"דאטה הוא המלך"; "דאטה דריבן", "דאטה, דאטה, דאטה" – כולם ביטויים שמספרים סיפור אחד: הדאטה הוא הפרמטר החשוב ביותר בחברה, וצריך לקבל החלטות על בסיס דאטה. אבל איך מתחילים?
השלב הראשון: הרעיון
קודם כל צריך אוריינטציה והכוונה – כי הדאטה לא יעזור אם לא תדעו מה לבדוק. לצורך הדוגמה, בואו נדמיין שיש לכם אתר אינטרנט, ואתם מעוניינים להגדיל את יחסי ההמרה של הגולש שמבקר בו (יחס המרה כלומר היחס שבין ביקור של גולש לפעולה כלשהי שהוא מבצע - רכישה, הקלקה, יצירה קשר ועוד). ללא כיוון, רעיון או חידוש שיש סבירות גבוהה שיעבוד ויביא תוצאות – תוכלו לשקוע במאות פעילויות וניסויים שלא יתנו ערך וידרשו המון משאבים מהצוות. כלומר, תהיו "דאטה דריבן" לפי הספר, אבל תפשטו רגל על הקצאת משאבים לא מדויקת.
העולם מוקף בהזדמנויות והדרך הכי טובה לזהות מה ההזדמנות הטובה ביותר מבחינתי היא לקבל הוכחת היתכנות. הוכחה יכולה להיות הצלחה של מוצר מקביל בחברה שדומה לי במאפיינים, או לחלופין אינטואציה חזקה ששותפים לה כמה גורמים בארגון (ולא רק אצלי בראש). וכשיש סימני נפט כאלה – אפשר לעלות לניסוי.
השלב השני: להבין את הנתונים
דאטה הם נתונים, ונתונים יכולים להיתפס כעובדה. אבל מסתבר שגם נתונים תלויים מאוד בזווית ההשקפה ובהתעמקות. ובהרבה מקרים התובנה הראשונית היא לא בהכרח הנכונה.
אתן דוגמה מהפעילות שלנו ב-kueez. העלינו ניסוי ברשת אתרים שבבעלותינו: נוסף על המפרסמים הקיימים שכבר הופיעו באתרים, העלינו אלמנט חדש של פרסומות בווידאו, ורצינו לראות את התוצאות שלו. ראינו שהוא מכניס הרבה כסף והתלהבות, ולכן השארנו אותו. עבדנו לפי דאטה והיינו מרוצים. הרי דאטה מנצח, ואם הוא מכניס אחוז משמעותי מההכנסות אז הוא בטוח משמעותי, נכון? טוב, חכו להמשך.
דאטה זה נתונים, ונתונים יכולים להיתפס כעובדה. אבל מסתבר שגם נתונים תלויים מאוד בזווית ההשקפה ובהתעמקות והתובנה הראשונית היא לא בהכרח הנכונה
השלב השלישי: להבין את הנתונים בעולם אלטרנטיבי (A/B טסטינג)
במקרה שתיארתי, העלינו שתי גרסאות: גרסת בסיס וגרסה עם שינוי. במקרה הזה, השינוי הוא תוספת של פרסומות וידיאו. למרות התוצאות המבטיחות, שהתבטאו בהכנסות גבוהות של פרסומות הוידיאו – התוצאה בניסוי עצמו לא הוסיפה ערך מוסף. זאת משום שנגן הוידיאו הכניס אחוז משמעותי מההכנסות, אבל הנוכחות שלו פגעה דרסטית בשאר המפרסמים. כך שבשני המקרים ביחד, ההכנסה הכוללת הממוצעת לביקור הייתה זהה.
התובנה כאן הייתה שמעבר לגיוון מסויים של המפרסמים – למרות שהדאטה הראה הכנסות נאות מנגן הווידיאו - נדמה היה שבתמונה הכללית, אין ערך בניסוי הזה.
השלב הרביעי: ניתוח מעמיק של ה-A/B טסטינג
בשביל לייצר ניתוח מעמיק צריך להבין מי הלקוחות שלנו – כלומר לייצר סגמנטים. העולם מתחלק לסוגים שונים של לקוחות: לקוח שגולש באייפון מתנהג שונה לחלוטין מגולש באנדרואיד, לקוח דובר פורטוגזית שונה מלקוח דובר אנגלית – וגם לקוח דובר אנגלית מארה"ב שונה מלקוח דובר אנגלית מהפיליפינים. ההשפעות של המפרסמים על הלקוחות השונים, שונות גם כן.
בקהל לקוחות (סגמנטים) מסוימים, ההכנסה הממוצעת לביקור הייתה גדולה משמעותית עם השינוי, ובסגמנטים אחרים בדיוק ההפך. בסגמנטים רבים הניסוי הוסיף לנו ערך כלכלי משמעותי, ולכן בחרנו להשאיר אותו במקומות האלה. כלומר, הפילוחים השונים של הלקוחות אפשרו לנו לזהות את המקומות שבהם הניסוי עובד היטב ולהשתמש בו רק שם וכך לייצר uplift במקומות שבהם הוא מייצר אותו, למנוע נזק במקומות שהוא גורם נזק וכך להשפיע על הממוצע שלו.
כלומר, אף שבתוצאות הכלליות (הממוצע) של ה-A/B טסטינג לא ראינו שינוי או ערך מיוחד, כן מצאנו ערך רב במוצר. רק שהערך בא לידי ביטוי בסגמנטים מסוימים ובאחרים לא שביטלו זה את זה בראייה הכוללת.
אז מה התובנה הכללית שאפשר להסיק מהסיפור הזה?
שיגעתי אתכם כמו שהניסוי הזה שיגע אותנו. אבל היה שווה להתעקש עליו, כי למרות הרצון לפשט את הדברים בכן או לא – ברוב המקרים התשובה תדרוש התאמות מורכבות יותר. השאלה אינה "האם זה עובד?", אלא "היכן זה עובד?" ולפעמים גם "מתי זה עובד?", שכן מה שעבד עכשיו לא בהכרח יעבוד בעוד חצי שנה.
להיות אופטימלי בהחלטות מבוססות דאטה אומר בדרך כלל לא להתבסס על תשובה חד משמעית של כן או לא, אלא לעבוד באופן שוטף עם דאטה גרנולרי (מחולק לחתכים רבים) ולהגיב בהתאם לכל השאלות. לא להתאהב בממוצעים - הם אמנם הכי קלים למדידה אך לא תמיד יספרו את כל התמונה. ולהתבסס על היסודות האלה שעוזרים לקבל את ההחלטות הנכונות ולהתאים אותם באופן קבוע.
הכותב: אורי מנדי, יזם סדרתי, מייסד ומנכ"ל פרפל בעברו. כיום מייסד ומנכ"ל של פלטפורמת הפאבלישינג "Kueez" המשרתת מעל 100 מיליון גולשים בחודש