ביג דאטה הוא תחום שפרץ בשנים האחרונות לתודעה הציבורית בעקבות השינוי המקיף שהתרחש בתחום של צבירת מידע, ניהולו ואיכותו. למעשה ביג דאטה מתייחס למאגרי מידע גדולים, שמכילים נתונים ממקורות שונים אשר אינם מאורגנים בשום צורה שהיא, מרביתם מגיעים בפורמטים ובאיכויות שונות, והמערכות השונות צריכות לקטלג אותם למאגרי מידע קטנים כך שיהיה ניתן להשתמש בהם בצורה נכונה ויעילה.
ביג דאטה הפך להיות הנשא החם של עולם ההייטק בשניים האחרונות בעקבות השינויים הרבים שהתרחשו בנושא של איסוף מידע וניהולו. כידוע אנחנו חיים בעידן של מידע חופשי ונרחב, כל עסק מחזיק במאגרי מידע גדולים, כמעט אינסופיים. המידע הזה מגיע בצורה לא מסודרת ממקורות שונים. המידע לא מאופיין בצורה מסוימת. הרעיון של "ביג דאטה" וכל המערכות שנבנו סביבו הוא, לקחת את המידע שהארגון צובר ולנסות לקטלג אותו בצורה מסוימת כל שיווצר סדר מסוים ואז יהיה ניתן לעבוד איתו.
כיצד נוהגים לחלק את הביג דאטה
כפי שציינו, המידע שמצטבר, מתחלק בין מאגרי מידע קטנים יותר. לרוב החלוקה תהיה על פי הנפח של המידע, מהירות המידע, הגיוון שלו ורמת הנדיפות שלו.
חלק אחר בתהליך של קטלוג המידע מתייחס לנושאים סביב העבודה עליו. למשל, היכן מאחסנים אותו, כך שהוא יישמר בצורה טובה (יש לוודא שמדובר במערכות שמאפשרות אחסון כמויות מידע גדולות) ובטוחה, כיצד הופכים את המידע ליעיל ואחיד הרי הוא מגיע בפרמטרים ובפורמטים שונים, יש לדאוג שניתן לשלוף אותו בקלות, לשם כך יש ליצור שאילתות מתאימות שיאפשרו למצוא אותו במהירות, הדוגמא שאנחנו מכירים בהקשר זה היא גוגל. במאגרי המידע של גוגל יש אינסוף מידע מקוון, כשאנחנו כותבים שאילתא מסוימת אנחנו מגיעים ישירות למידע שאנחנו מחפשים, כיצד זה קורה? אלגוריתמים שונים של גוגל מאפשרים זאת.
בשנים האחרונות אנחנו רואים גם עיסוק משמעותי בנושא של פרטיות, המידע שארגונים אוספים חייב להישמר תחת כל הדינים והתקנות של שמירת פרטיות, לא משנה אם מדובר בהקשר של גורם ספציפי, קרי לקוח, או מבחינת הארגון שהפרטים שקשורים אליו (קרי לארגון) לא יידלפו החוצה).
אנחנו רואים כאן למעשה שרשרת עצומה שיוצרת את סביבת העבודה של ביג דאטה ומאפשרת לארגונים ליהנות מכך.
יש לציין, בשנים האחרונות, יותר ויותר חברות פועלות בתחום זה. מדובר בחברות מובילות בתחום ההייטק לצד חברות שאנחנו מכירים מעולמות אחרים, כמו גוגל, אמזון ועוד. על פי הנחת המומחים, התחום של ביג דאטה, כריית מידע וקטלוגו, יהיה הנושא החשוב ביותר בעתיד הקרוב בעולם ההייטק והאינטרנט.
