מי אוסף ביג דאטה ולמה?

בסתיו 2019 פרצה שערורייה עם שירות אפל קארד: בעת ההרשמה הוא הנפיק גבולות אשראי שונים לגברים ולנשים. אפילו לסטיב ווזניאק לא היה מזל:

שנה קודם לכן נחשף שפלטפורמת נטפליקס מציגה למשתמשים פוסטרים וטיזרים שונים, בהתאם למינם, גילם ולאום. על כך הואשם השירות בגזענות.

לבסוף, מארק צוקרברג ננזף באופן קבוע על כך שאסף, מכירה ותמרן לכאורה את הנתונים של המשתמשים שלו על ידי פייסבוק. במהלך השנים הוא הואשם ואף נשפט על מניפולציה במהלך הבחירות האמריקאיות, סיוע לשירותים המיוחדים הרוסים, הסתה לשנאה ודעות רדיקליות, פרסום לא הולם, הדלפת נתוני משתמשים, שיבוש חקירות נגד פדופילים.

פוסט בפייסבוק מאת zuck

במקביל, השירות המקוון Pornhub מפרסם מדי שנה דוחות על איזה סוג של פורנו אנשים בני לאומים, מגדר וגיל שונים מחפשים. ומשום מה זה לא מפריע לאף אחד. למרות שכל הסיפורים הללו דומים: בכל אחד מהם אנו עוסקים ב-Big Data, אשר במאה ה- XNUMXst נקרא "נפט חדש".

ביג דאטה - הם גם ביג דאטה (אנגלית ביג דאטה) או מטא נתונים - הוא מערך של נתונים שמגיע באופן קבוע ובכמויות גדולות. הם נאספים, מעובדים ומנתחים, וכתוצאה מכך נוצרים מודלים ודפוסים ברורים.

אבל נתונים גדולים באינטרנט הם לא רק סטטיסטיקה למחקר מדעי. ניתן להשתמש בהם כדי לעקוב אחר האופן שבו משתמשים מקבוצות ולאומים שונים מתנהגים, למה הם שמים לב וכיצד הם מקיימים אינטראקציה עם תוכן. לפעמים, לשם כך, נתונים נאספים לא ממקור אחד, אלא מכמה, תוך השוואה ומזהה דפוסים מסוימים.

על כמה חשוב הנתונים הגדולים ברשת, הם התחילו לדבר כשהיה באמת הרבה מזה. בתחילת 2020 היו בעולם 4,5 מיליארד משתמשי אינטרנט, מתוכם 3,8 מיליארד רשומים ברשתות החברתיות.

על פי סקרים, יותר ממחצית מהמדינות שלנו מאמינות שהנתונים שלהן ברשת משמשים צדדים שלישיים. במקביל, רבים מפרסמים מידע אישי, תמונות ואפילו מספר טלפון ברשתות חברתיות ובאפליקציות.

צריך להסביר את זה כאן: האדם הראשון הוא המשתמש עצמו, שממקם את הנתונים שלו על כל משאב או יישום. יחד עם זאת, הוא מסכים (מכניס סימון בהסכם) לעיבוד הנתונים הללו צד שני - כלומר, הבעלים של המשאב. צד שלישי הוא אלו שבעלי המשאב יכולים להעביר או למכור להם נתוני משתמשים. לעתים קרובות זה כתוב בהסכם המשתמש, אבל לא תמיד.

הצד השלישי הוא סוכנויות ממשלתיות, האקרים או חברות שקונות נתונים למטרות מסחריות. הראשונים יכולים לקבל נתונים לפי החלטה של ​​בית משפט או רשות גבוהה יותר. האקרים, כמובן, אינם משתמשים בהרשאות כלשהן - הם פשוט פורצים את מסדי הנתונים המאוחסנים בשרתים. חברות (על פי חוק) יכולות לגשת לנתונים רק אם אתה בעצמך איפשרת אותן - על ידי סימון התיבה מתחת להסכם. אחרת, זה לא חוקי.

ביג דאטה בתחום המסחרי נעשה שימוש במשך עשרות שנים, זה פשוט לא היה אינטנסיבי כמו שהוא עכשיו. מדובר למשל ברשומות ממצלמות מעקב, נתונים מנווטי GPS או תשלומים מקוונים. כעת, עם התפתחות הרשתות החברתיות, השירותים והאפליקציות המקוונות, ניתן לחבר את כל זה ולקבל את התמונה השלמה ביותר: היכן גרים לקוחות פוטנציאליים, במה הם אוהבים לצפות, לאן הם יוצאים לחופשה ואיזה מותג רכב יש להם.

מהדוגמאות לעיל ברור שבעזרת ביג דאטה חברות קודם כל רוצות למקד מודעות. כלומר, להציע מוצרים, שירותים או אפשרויות בודדות רק לקהל המתאים ואף להתאים את המוצר למשתמש ספציפי. בנוסף, הפרסום בפייסבוק ובפלטפורמות גדולות אחרות מתייקר יותר ויותר, ולהראות אותו לכולם ברצף לא משתלם כלל.

אבל יש עוד משימה חשובה שנאבקת בשנים האחרונות: להתקרב לקהל הכי סולבנטי. זה לא כל כך קל לעשות, אם כי המשימה קלה משמעותית על ידי שירותי תשלום וצ'קים אלקטרוניים באמצעות OFD יחיד (מפעיל נתונים פיסקאלי). כדי להתקרב ככל האפשר, חברות אפילו מנסות להתחקות אחר לקוחות פוטנציאליים ו"לטפח" מילדותם.: באמצעות משחקים מקוונים, צעצועים אינטראקטיביים ושירותים חינוכיים.

ההזדמנויות הגדולות ביותר לאיסוף נתונים הן מתאגידים גלובליים שבבעלותם מספר שירותים בו-זמנית. לפייסבוק יש כיום יותר מ-2,5 מיליארד משתמשים פעילים. במקביל, החברה מחזיקה גם בשירותים נוספים: אינסטגרם - יותר ממיליארד, וואטסאפ - יותר מ-1 מיליארד ואחרים.

אבל לגוגל יש השפעה רבה עוד יותר: Gmail נמצא בשימוש על ידי 1,5 מיליארד אנשים בעולם, עוד 2,5 מיליארד על ידי מערכת ההפעלה הניידת של אנדרואיד, יותר מ-2 מיליארד על ידי YouTube. וזה לא סופר את האפליקציות של חיפוש Google ו-Google Maps, חנות Google Play ודפדפן Chrome. נותר להדק את הבנק המקוון שלך - וגוגל תוכל לדעת עליך ממש הכל. אגב, Yandex כבר צעד קדימה בהקשר הזה, אבל היא מכסה רק את הקהל דובר הרוסית.

??? קודם כל, חברות מתעניינות במה שאנחנו מפרסמים ואוהבים ברשתות החברתיות. לדוגמה, אם הבנק רואה שאתה נשוי ואתה אוהב בנות באופן פעיל באינסטגרם או טינדר, יש סיכוי גבוה יותר שתאשר הלוואה צרכנית. והמשכנתא על המשפחה נעלמה.

חשוב גם על אילו מודעות לוחצים, באיזו תדירות ועם איזו תוצאה.

(כלומר השלב הבא הוא הודעות פרטיות: הן מכילות הרבה יותר מידע. הודעות הודלפו ב-VKontakte, בפייסבוק, בוואטסאפ ובשליחים מיידיים אחרים. לדבריהם, אגב, קל לעקוב אחר המיקום הגיאוגרפי בזמן שליחת ההודעה. בטח שמתם לב: כשאתם מדברים על קנייה של משהו או סתם מזמינים פיצה עם מישהו, מיד מופיעה פרסום רלוונטי בפיד.

🚕 ביג דאטה נעשה שימוש פעיל ו"דולף" על ידי שירותי משלוחים ומוניות. הם יודעים איפה אתה גר ועובד, מה אתה אוהב, מה ההכנסה המשוערת שלך. אובר, למשל, מציגה את המחיר גבוה יותר אם אתם נוסעים הביתה מהבר וברור שהגזמתם. וכאשר יש לך חבורה של אגרגטורים אחרים בטלפון שלך, להיפך, הם יציעו זולים יותר.

(כלומר ישנם שירותים המשתמשים בתמונות ובסרטונים כדי לאסוף מידע רב ככל האפשר. לדוגמה, ספריות ראייה ממוחשבת - לגוגל יש אחת. הם סורקים אותך ואת הסביבה שלך כדי לראות באיזה מידה או גובה אתה, אילו מותגים אתה לובש, באיזו מכונית אתה נוהג, אם יש לך ילדים או חיות מחמד.

(כלומר מי שמספק שערי SMS לבנקים עבור הדיוור שלהם יכול לעקוב אחר הרכישות שלך בכרטיס - לדעת את 4 הספרות האחרונות ומספר טלפון - ואז למכור את הנתונים האלה למישהו אחר. מכאן כל הספאם הזה עם הנחות ופיצה במתנה.

🤷️️ לבסוף, אנו בעצמנו מדליפים את הנתונים שלנו לשירותים ויישומים משמאל. זכור את ההייפ הזה סביב Getcontact, כשכולם שמחו למלא את מספר הטלפון שלו כדי לגלות איך הוא נכתב על ידי אחרים. ועכשיו מצא את ההסכם שלהם וקרא את מה שכתוב על העברת הנתונים שלך (ספוילר: הבעלים יכולים להעביר אותם לצדדים שלישיים לפי שיקול דעתם):

תאגידים יכולים לאסוף בהצלחה ואף למכור נתוני משתמשים במשך שנים, עד שזה מגיע לתביעה - כפי שקרה עם אותה פייסבוק. ואז את התפקיד המכריע מילאה הפרת ה-GDPR של החברה - חוק באיחוד האירופי שמגביל את השימוש בנתונים בצורה קפדנית הרבה יותר מהאמריקאי. דוגמה נוספת מהתקופה האחרונה היא שערוריית האנטי וירוס של Avast: אחד משירותי הבת של החברה אסף ומכר נתונים מ-100 עד 400 מיליון משתמשים.

אבל האם לכל זה יש יתרונות עבורנו?

כן, יש גם צד חיובי.

ביג דאטה עוזרים לתפוס פושעים ולמנוע פיגועים, למצוא ילדים נעדרים ולהגן עליהם מפני סכנה.

בעזרתם, אנחנו אנו מקבלים הצעות מגניבות מבנקים והנחות אישיות. בזכותם אנחנו אנחנו לא משלמים עבור שירותים רבים ורשתות חברתיות שמרוויחים רק על פרסום. אחרת, אינסטגרם לבדה תעלה לנו כמה אלפי דולרים בחודש.

לסיום, לפעמים זה פשוט נוח: כשהשירותים כבר יודעים איפה אתם ומה אתם רוצים, ואתם לא צריכים לחפש בעצמכם את המידע שאתם צריכים.

תחום מבטיח נוסף ליישום Big Data הוא חינוך.

באחת האוניברסיטאות האמריקאיות בווירג'יניה, נערך מחקר לאיסוף נתונים על סטודנטים של מה שנקרא קבוצת סיכון. אלו אלו שלומדים גרוע, מפספסים שיעורים ועומדים לנשור. העובדה היא שבמדינות מדי שנה מנכים כ-400 איש. זה רע הן לאוניברסיטאות, שדירוגן ירד וקיצוץ במימון, והן לסטודנטים עצמם: רבים נוטלים הלוואות לחינוך, שאחרי ניכוי עדיין יהיה צורך להחזיר. שלא לדבר על זמן אבוד ועל סיכויי קריירה. בעזרת ביג דאטה ניתן לזהות את המשתחררים בזמן ולהציע להם מורה, שיעורים נוספים וסיוע ממוקד אחר.

זה, אגב, מתאים גם לבתי ספר: אז המערכת תודיע למורים ולהורים – הם אומרים, לילד יש בעיות, בואו נעזור לו ביחד. Big Data גם יעזור לכם להבין אילו ספרי לימוד עובדים טוב יותר ואילו מורים מסבירים את החומר ביתר קלות.

דוגמה חיובית נוספת היא פרופיל קריירה.: זה כאשר מסייעים לבני נוער להחליט על מקצועם העתידי. כאן, ביג דאטה מאפשרים לאסוף מידע שלא ניתן להשיג באמצעות מבחנים מסורתיים: איך המשתמש מתנהג, למה הוא שם לב, איך הוא מתקשר עם התוכן.

באותה ארה"ב קיימת תוכנית להכוונת קריירה - SC ACCELERATE. הוא, בין היתר, משתמש בטכנולוגיית CareerChoice GPS: הם מנתחים נתונים על אופי התלמידים, נטיותיהם לנושאים, חוזקות וחולשות. הנתונים משמשים לאחר מכן כדי לעזור לבני נוער לבחור את המכללות הנכונות עבורם.

הירשם ועקוב אחרינו ב-Yandex.Zen - טכנולוגיה, חדשנות, כלכלה, חינוך ושיתוף בערוץ אחד.