כשבתי הראשונה אריאל נולדה בשבוע 26 בבית חולים מקומי בניו יורק, נשארנו בפגיה חודשים ארוכים. שם זכיתי להכיר מקרוב כמה חזקים הם תינוקות רכים וכמה טוטאלית היא אהבת הורים לילדיהם.
במהלך השהות בבית החולים, ניסיתי להשלים קצת פערים אחרי העדרות ארוכה מהעבודה. בעודי מוקף בתינוקות פתחתי מחשב, והתחלתי לעבוד. לחצתי על לינק לתוכן רלוונטי, שהפנה אותי למקום אחר, ומשם לקובץ, ואז הגעתי לתיקייה בפלטפורמת שיתוף קבצים שחשפה אותי לצד האפל של האינטרנט. התכנים שראיתי שם הציגו פגיעה בילדים שעד אז אפילו לא יכולתי לדמיין, והניגוד החזק בין הסביבה התמימה והנקייה בה שהיתי, לבין התכנים שראיתי שם, שינתה אותי והסיטה את מסלול הקריירה שלי משם ואילך.
מאז גיליתי שלא רק אני נחשף לעולמות הללו, כל העולם רואה את זה.
מי מאיתנו לא שמע על תכנים זדוניים ברשת? בריונות על ילדים, הסתה לטרור, הפצת דיסאינפורמציה, פגיעה מינית בילדים, מרמה ועוד - כל אלו חלק ממה שאנחנו קוראים תכנים זדוניים. כולנו קיבלנו הודעות פישינג על ״חבילה שהזמנת״ ו״מתנה מיוחדת״, וכולנו נחשפנו לתכנים של דיסאינפורמציה - בפרט סביב בחירות, אבל גם סביב חיסונים מצילי חיים.
אנשי ה-Trust&Safety פועלים מאחורי הקלעים של כל מה שאני ואתם מכירים ברשת, כדי לאפשר לנו, ויותר חשוב, לילדינו ליהנות מגלישה בטוחה יותר. אבל מעבר לרצון לשמור על המשתמשים ברשת, הצוותים הללו מתמודדים עם בעיות קשות ומורכבות
כשאתם נתקלים בתופעות הללו, אתם נחשפים, ולו במעט לעולם ה-Trust&Safety - אמון ובטיחות. למי שלא שמע על התחום מעולם, זה נשמע כמו משטרת האינטרנט, או כמו שהרבה נוטים לחשוב עליהם - הצנזורה של האינטרנט - אבל זה לא כל כך פשוט. אנשי ה-Trust&Safety פועלים מאחורי הקלעים של כל מה שאני ואתם מכירים ברשת, כדי לאפשר לנו, ויותר חשוב, לילדינו ליהנות מגלישה בטוחה יותר. אבל מעבר לרצון לשמור על המשתמשים ברשת, הצוותים הללו מתמודדים עם בעיות קשות ומורכבות - שאני אפרט כאן.
בעיה שאינה פתירה
זו בעיה שאף אחד לא ממש יודע איך לפתור: מעבר לקיומו של תוכן פוגעני, צוותי האמון ובטיחות מתמודדים עם דרישות סותרות מכל עבר. המשתמשים מצד אחד מבקשים לשמור על סביבה נקייה, ומצד שני, מתרעמים על כל פגיעה בפרטיותם. התקשורת מצד אחד צולבת אותם על כך שמצנזרים דעות כאשר הם מסירים תכנים שעלולים להיות פוגעניים, ומצד שני על חוסר הבטיחות כאשר נחשף כי תכנים פוגעניים קיימים. ומצד שלישי, ממשלות מחייבות אותם לעבור בין הטיפות של חוקים חדשים (ולפעמים סותרים) המשתנים באופן תכוף בכל העולם, כאשר אותם מחוקקים שקובעים את חוקי המשחק לא תמיד מבינים את מנעד השיקולים הרחב שנכנס להחלטות אלו.
תוסיפו לבעיות הללו את הקשיים באיתור והבנת תוכן מסוגים שונים (תמונות, סרטונים, טקסט), בכל שפה אפשרית, המנצל, וגם פוגע בניואנסים תרבותיים מקומיים, שעולה באופן מיידי, ועלול להיות חוקי במדינה אחת ואסור באחרת, ועוד ועוד. התוצאה - כאוס מוחלט. וכשאתה נמצא בלב הסערה, קשה מאוד למצוא את סירת ההצלה.
כלים לא מספקים
על מנת להתמודד עם מנעד הבעיות הרחב הזה, הצוותים עובדים עם שני סוגים עיקריים של כלים: זיהוי אוטומטי מבוסס בינה מלאכותית וזיהוי ידני. אך גם אלו, באים עם מגוון של בעיות משלהן.
קחו את הכלים האוטומטיים. אלו כלים יעילים מאוד, המנצלים בינה מלאכותית כדי לנתח טקסטים, תמונות, וסרטונים, מזהים את התכנים הנמצאים בהם, ומשווים למאגרי מידע עצומים של תכנים פוגעניים. כך, הכלים מאפשרים ניתוח של מסות גדולות של תוכן, ומזהים פגיעה באופן כמעט מיידי. אך היעילות באה במחיר של דיוק. שימוש אקסקלוסיבי של זיהוי אוטומטי מייצר מצב של שגיאות - תכנים גבוליים, שבפועל אינם פוגעניים, עלולים להיות מוסרים, ולהיפך - תכנים פוגעניים עלולים לא להיות מזוהים ככאלה, ובכך להישאר ולפגוע במשתמשים. הכלים הללו לרוב לא יודעים לעבוד במגוון של שפות, הם לא יודעים לעבוד עם קונטקסט של פיסת תוכן, והם חסרי יכולת להעמיק ולבחון בעיה בצורה אינטליגנטית - והמחיר הוא דיוק.
מצד שני, ניתוח ידני של התוכן מאפשר לנו לדייק בזיהוי תכנים גבוליים, בהבנת הקונטקסט והשפות. ופה, המחיר הוא שונה - גם כלכלי - הרי כוח אדם הוא דבר יקר, וגם - חמור יותר - אנושי. ברחבי העולם, בעיקר העולם המתפתח, עשרות אלפי מודרטורים עובדים בתנאים ירודים ונחשפים באופן יום-יומי לתכנים הקשים ביותר שניתן לדמיין. אותו תוכן פוגעני שזעזע אותי ושינה את מסלול הקריירה שלי לפני אי אלו שנים - אותם מודרטורים נחשפים אליו מדי יום, עם מעט כלים להתמודדות אפקטיבית.
במשחק הזה, בין יעילות לבין דיוק - מאוד קשה לנצח עם הכלים הנוכחיים.
אז הפלטפורמות משלבות בין הכלים הללו, לעוד מגוון של כלים כמו כלי תמלול, תרגום אוטומטי, פיענוח תמונות ועוד. השילוב הזה מאפשר להם לכסות את רוב הבעיות ה״קלות״ יותר, אבל על פוגעים סדרתיים - כמו פדופילים, סוחרי דיסאינפורמציה וגופי טרור - שמנצלים את חולשות המערכת כדי להמשיך ולהפיץ תוכן - שם הם מתקשים.
כאשר גורמים זדוניים מנצלים פלטפורמות להפצת תוכן פוגעני, הם לא עושים את זה בשפה האנגלית - הם ישתמשו בשפה כמו אינדונזית, בה אין כלים אוטומטיים להבנת השפה. הם לא יעלו תמונות ישירות לפלטפורמה, אלא יפיצו לינק לתיקיית שיתוף קבצים הכוללת תמונות של פגיעה בילדים
כאשר גורמים זדוניים מנצלים פלטפורמות להפצת תוכן פוגעני, הם לא עושים את זה בשפה האנגלית - הם ישתמשו בשפה כמו אינדונזית, בה אין כלים אוטומטיים להבנת השפה. הם לא יעלו תמונות ישירות לפלטפורמה, אלא יפיצו לינק לתיקיית שיתוף קבצים הכוללת תמונות של פגיעה בילדים. הם גם לא ישתמשו במילים ספציפיות כמו ״פורנוגרפיית ילדים״ אלא ישמתשו במילים שמוכרות רק להם (כמו ״קאלדו די פויו״ - מרק עוף בספרדית), ואף ישנו את המילים שהם משתמשים בהן, כאשר אלו ייתפסו על ידי המערכת ויוסרו. כדי לפתור את הבעיות המורכבות יותר, נדרשת גישה פרואקטיבית.
הגישה הפרואקטיבית
ברגע שפלטפורמות מחכות לתוכן להגיע אליהם ולהיות מנותחים בכלים לזיהוי אוטומטי, זה כבר מאוחר מדי. עד שאותן פלטפורמות יכירו בבעיה, ילמדו אותה ויפתחו כלים להתגבר על השיטות החדשות של הפוגעים הסדרתיים, אלו כבר ימציאו שיטות חדשות להתגבר על אמצעי האכיפה, וחזור חלילה. אז מה כן ניתן לעשות?
אנחנו באקטיבפנס דוגלים בגישה הפרואקטיבית, מונחית הקשר. מה זה אומר בפועל? אנחנו לא מחכים שהתכנים הזדוניים יגיעו לפלטפורמות ויגרמו נזק, אלא אנחנו מאתרים אותם עוד לפני. מומחי התוכן שלנו מכירים את עולמות הפגיעה ברשת לעומק, ובכך הם יכולים להגיע אל מקור התוכן הזדוני, אל הקהילות הסגורות של גורמים זדוניים ולזהות דפוסי התנהגות. עם הממצאים שלהם, אנחנו מאמנים את מערכת הזיהוי שלנו, ובכך מלמדים את הבינה המלאכותית שלנו איך לזהות את התכנים הללו באופן יעיל. השילוב הזה של בינה מלאכותית מונחית מודיעין מאפשר לנו להגיע לרמה גבוהה ביותר של דיוק ויעילות, תוך מניעת חשיפה של מודרטורים נוספים לתכנים פוגעניים.
בגלל שאנחנו נמצאים במקור התוכן הפוגעני, אנחנו גם מצליחים לתת קונטקטס לכל ממצא, כך שלא רק שאני יודע להגיד שהמילה החדשה לשים לב אליה היא ״בננה,״ לצורך העניין, אלא אני גם מסוגל להגיד למה ומאיפה זה הגיע. כך, הלקוחות שלנו לא מחכים שבעיה תיווצר, כדי לעצור אותה.
בנוסף, הבנו מהר מאוד שהבעיה הגדולה הזו מחייבת פתרונות יקרים, שלא כל חברה יכולה לפתח בעצמה. לכן, בנינו פלטפורמה לניהול תהליכי Trust&Safety כולל בניית כללי התנהגות ותהליכי עבודה, איתור והסרה אוטומטית על ידי מגוון כלים משולבים, אסקלציה למודרטורים אנושיים, וגישה לחומר מחקרי רלוונטי. אנחנו מאמינים שכל פלטפורמה, מהגדולה לקטנה צריכה לדאוג לבטיחות המשתמשים שלה, ועד היום כלים כאלה היו שמורים רק למי שיכול להרשות לעצמו לבנות אותם in-house.
עולם הבטיחות ברשת משתנה - החל ממודעות הציבור לבעיות, עד לדרישה ליותר שקיפות בנוגע לתהליכים, וביסוסם של חוקים חדשים ופורצי דרך. מבלי לשנות את הגישה הנוכחית, צוותי ה-Trust&Safety שאמונים על שמירת הבטיחות ברשת, לא יוכלו לעמוד בקצב השינוי. כדי לעמוד בדרישות החדשות של העולם, נדרשת שינוי בגישה - הגישה הפרואקטיבית היא הכרחית.
הכותב הינו נועם שוורץ, מנכ״ל ומייסד שותף בחברת אקטיבפנס