נכנסה לאירוע: מטא חשפה אתמול כלי GenAI חדש, שנקרא I-JEPA (Image Joint Embedding Predictive Architecture), שיודע להשלים מידע ויזואלי בדרך חדשה.
מטא (לשעבר פייסבוק) נמצאת בחודשים האחרונים בעיצומו של שינוי פוקוס תקשורתי ואסטרטגי: אחרי הימור עצום ויקר על המטאוורס, בחברה הבינו שהיא לא יכולה להרשות לעצמה להישאר מאחור בתחום ה-AI (בינה מלאכותית). הכלי החדש ישוחרר בשלב זה ככלי בקוד פתוח לקהילה המדעית והמחקרית.
משנה את הפוקוס
החידוש העיקרי במערכת, לדברי מטא, הוא בארכיטקטורה שלה שמבוססת לא על השלמה של תמונות פיקסל אחר פיקסל, כמו מערכות קיימות, אלא על ניבוי של אזורים בלתי צפויים. כדי לעשות זאת, המערכת יוצרת מודל פנימי של העולם החיצוני, אותו היא משווה לייצוגים מופשטים של תמונות. התוצאה היא יכולת לבצע משימות מורכבות יותר. לפי מטא, מדובר בצעד בדרך ליצירת בינה מלאכותית שמבינה כיצד העולם עובד, להבדיל מהבנה סטטית של דימויים ויזואלים: הפשטה במקום חיזוי.
יאן לקון, מדען הבינה המלאכותית הראשי במטא: "מה שאני לא מסכים איתו הוא הרעיון של השארת מחקר תחת מנעול או המחשבה שיום אחד תהיה פריצת דרך שתאפשר לנו לפתח מערכת AI שתשתלט על העולם תוך דקות"
המוצר החדש פותח והוצג לתקשורת במעבדת ה-AI הראשית של החברה בפריז FAIR (Fundamental AI Research) שפועלת שמונה שנים וצורפה אליה במהלך השנים גם פעילות בלונדון ובתל אביב. מי שהקים את המעבדה בפריז ואחראי בעצם על התחום בחברה הוא יאן לקון (Yann LeCun), סגן נשיא ומדען הבינה המלאכותית הראשי במטא ומי שנחשב לאחד הסנדקים של התחום בעשורים האחרונים.
לקון הסביר באירוע ההשקה כיצד המערכת במטא שונה ממודלים קיימים של LLM (מודל שפה גדול) והקדיש לא מעט זמן לתיאור חזון עתידי של מערכות שיודעות להסיק מסקנות ולהקיש היקשים, על סמך הקשר רחב יותר. לצד כל אלה, בחברה מתגאים שהפוקוס הייחודי הזה מאפשר לבנות מערכת חסכונית הרבה יותר.
"רק" 65 מיליארד פרומפטים
כבר היום, אומרים במטא, המערכת אומנה על כמויות קטנות יותר של מידע מאלה של המתחרות - רק 65 מיליארד פרומפטים והמשמעות היא כוח מחשוב קטן יותר. הטרייד אין הוא שבשביל לעשות זאת, המידע שמוזן אליה צריך להיות איכותי יותר. זאת אומרת, במקום לזרוק הכל לתוך הקופסה השחורה בהליך יקר וממושך - להזין אליה רק דאטה נבחר כדי לקצר ולהוזיל את התהליך.
כאמור, המערכת לא פונה כרגע - ואולי בכלל לא - למשתמשי קצה. כמו מרבית הכלים שמפותחים במעבדה בפריז היא מבוססת על קוד פתוח ובחברה מדגישים את ההחלטה הזו כדי לבדל את עצמם מהמתחרים. הרבה מהמערכות הפופולריות הקיימות, מסבירה ז'ואל פינו (Joelle Pineau) סגנית נשיא למחקר ובינה מלאכותית במטא, מסתירות את מאגרי הדאטה עליהן אימנו את המודל שלהן ולכן לא ניתן לבקר את המוצר.
ז'ואל פינו, סגנית נשיא למחקר ובינה מלאכותית במטא: "אנחנו לא אומרים שמודלים לא יכולים לגרום נזק ולא חוזים את העתיד. אנחנו בודקים מה היכולות בהווה ואיך אפשר לבנות מערכות בטוחות יותר היום"
ככלל, הדגש באירוע העיתונאים שמטא קיימה בפריז היה מחקרי. זה כנראה נובע גם מבחירה של החברה להדגיש את הצד הזה של מוצריה, את השקיפות והמחויבות האתית של הצוות, אבל אולי גם בגלל ששינוי הפוקוס המהיר מהמטאוורס ל-GenAI לא השאיר לה הרבה ברירות.
גוף הפיתוח העיקרי בתחום שהחברה מפעילה כיום הוא עדיין מעבדת מחקר בפריז, שראשיה מתקשים קצת לענות על שאלות לגבי מוניטיזציה.
הפיתוחים שלנו מוטמעים במוצרי החברה כבר שנים, מדגישים ראשי FAIR, אבל כשלקון מתבקש לתת דוגמאות לשימוש בכלי בחברה הוא מציע שתיים: הראשונה לזהות תכנים בעייתיים כמו עירום והשניה היא לאפשר ללקוחות לאתר מוצרים שלהם בתוכני גולשים, למשל כל התיקים של לואי ויטון בתמונות האינסטגרם (בכל זאת פריז).
חייבים להודות שבשלב זה נראה שמטא דומה יותר לאמזון מאשר לגוגל או למיקרוסופט בשימוש שלה בכלי AI. ענקית הקמעונאות הזכירה, למשל, פיתוח כלים שיאפשרו לסוחרים לייצר פרסומות טובות וזולות יותר על הפלטפורמה ונראה שזה בהחלט כיוון מונטיזציה אפשרי גם עבור מטא.
בזמן שבכירים אחרים מתחרים זה בזה מי יכול לספק נבואת זעם מפחידה יותר לכלי ה-AI החדשים, במטא נראים הרבה יותר רגועים. "אני לא נגד רגולציה", אומר לקון כשהוא נשאל על הנושא. "אני חושב שיש בה הגיון ברגע ששמים מוצר ביד של אנשים - מה שאני לא מסכים איתו הוא הרעיון של השארת מחקר תחת מנעול או המחשבה שיום אחד תהיה פריצת דרך שתאפשר לנו לפתח מערכת AI שתשתלט על העולם תוך דקות ואז פשוט נסובב מפתח ונאפשר לזה לקרות".
"אנחנו לא אומרים שמודלים לא יכולים לגרום נזק ולא חוזים את העתיד" אומרת פינו. "אנחנו בודקים מה היכולות בהווה ואיך אפשר לבנות מערכות בטוחות יותר היום". כשהיא נשאלת לגבי התרעות מצד שמות מוכרים והאם יש להם מוטיבציה עסקית לקדם רגולציה בתחום פינו, שבמקביל מכהנת כמרצה וחוקרת באוניברסיטת מקגיל, עונה: "יש הרבה שמות על המכתבים האלה וקשה לייחס מוטיבציה לכל אחד ואחד מהם. כמה מהם אני מאוד מכבדת ועבדתי איתם בעבר. יש הרבה אנשים שעשו עבודה אמיתית והקדישו את הקריירה שלהם לסכנות כאלה וחלקם לא חתמו על המכתבים האלה. כמה מהקריירה שלו ג'פרי הילטון (בכיר שפרש מגוגל לאחרונה והתריע שצריך לעצור את הפיתוחים בתחום, ה"ר) הקדיש לחקר סכנות ה-AI? כמה פעמים הוא השתמש במיקרופון שלו כדי לתת קול לאנשים שכן חקרו את זה?".
"מודאגים מדיסאינפורמציה"
פינו מוסיפה כי "אני לא מאמינה שהמודלים שיש לנו היום מסוכנים ברמה כזו שעדיף לנו בלעדיהם. אם היינו מאמינה בזה לא הייתי משחררת אותם. האם אפשר לשאול מודל כזה איך בונים פצצה? כן, אבל גם בגוגל אפשר. זה זול ומהיר יותר אבל איכותית זה לא שונה. אני מודאגת משימוש למיסאינפורמציה ודיסאינפורמציה ובניית פתרונות טובים יותר. אבל אני מאמינה שהדרך לעשות זאת היא באמצעות שקיפות ואני לא מאמינה שאם רק שתי חברות יבנו כלי AI נפתור את הבעיה".
גם לקון סבור שלחלק מהמתריעים יש מניעים פיננסים חזקים, אבל הוא סבור שכמה מהם באמת מפחדים מתסריט יום הדין, כפי שהוא מכנה זאת. "אני לא חושש מתסריט כזה כי אנחנו אלה שבונים את הכלים האלה ויש לנו שליטה עליהם" הוא אומר.
ממה אתה כן מפחד, הוא נשאל ועונה מיד "Bad Actors": "בחודשים האחרונים ראינו שגם אם אתה מודאג מסיכון זה או אחר, לא תוכל לחסום אנשים שבונים מודלים רעים למטרה כזו. יש כמה כאלה בחודשים האחרונים. כמו בכל דבר, זה בסוף משחק של חתול ועכבר שבו מישהו מגלה שימוש רע בכלי ואז אתה צריך לעצור אותו לפני שייגרם נזק. אבל להפסיק לפתח זה לא הפתרון. להפסיק פיתוח של כלים מדעיים וטכנולוגיים כי מפחדים מהם שקול למה שעשתה האימפריה העות'מאנית כשהחליטה לאסור את הדפוס. אני לא יודע בדיוק איזה אפקט היה לזה, אבל יודע שהם קרסו לא הרבה אחרי זה".
יאן לקון: "בקרוב מאוד לא יהיה טקסט שלא נעשה שימוש כלשהו בכלי AI על מנת לייצר אותו ובמקרה הזה זה בלתי ניתן לזיהוי"
לקון מסביר שהוא סבור שצריכים להיות כלים לזהות תוכן מזויף, לאתר מי יצר את התמונה, אבל מזכיר שזה בלתי אפשרי בטקסט: "בקרוב מאוד לא יהיה טקסט שלא נעשה שימוש כלשהו בכלי AI על מנת לייצר אותו ובמקרה הזה זה בלתי ניתן לזיהוי".
כשאני שואלת האם הוא בטוח שמטא, החברה שבה הוא עצמו עובד, לא תעשה שימוש לרעה בכלים שהוא מפתח הוא עונה: "יש סיבה שגוגל או מטא לא שחררו את כלי ה-LLM שלהן לציבור הרחב - כי הן ידעו שזה מסוכן ולא בשל. לעומת זאת, לסטארט אפ כמו OpenAI אין שום סיכון או קהל משתמשים שיתעצבן עליו".
הכותבת הייתה אורחת מטא בפריז