מה זה A/B Testing ולמה זה חשוב?

ב-7 השנים שאני מנהל את siteIT אני חושב שהשאלה שנשאלתי הכי הרבה פעמים היא "אבל איך אתה יודע שזה עובד?" – שאלה די מתבקשת שהרי קידום אתרים ובכלל שיווק באינטרנט הם לא מוצר שאפשר לראות או שירות כמו תיקון מזגנים שכל אחד מרגיש מיד אם הוא התבצע באופן מקצועי או שעדיין חם כמו בתוך תנור. תשובה אפשרית אחת לשאלה הנ"ל היא חיוך בשילוב המבט הזה שאומר "אני פשוט יודע", ויש עוד תשובה, יותר מדויקת: A/B Testing.

מבחני A/B הם כלי יעיל מאוד שנמצא בשימוש במגוון רחב מאוד של תחומים. הרעיון פשוט: רוצים לדעת אם מרכיב מסוים בשיווק שלכם – דף נחיתה, מודעה, עמוד כלשהו באתר וכו' – הוא מספיק טוב או שאפשר לשפר אותו עוד? כל מה שעליכם לעשות הוא ליצור גרסה נוספת, דומה אבל עם הבדל מסוים. לדוגמה, מודעה זהה למודעה הקיימת עם שורה תחתונה שונה – נניח במקום "קנו עכשיו ותיהנו גם אתם!" אפשר לנסות את "אל תחכו למחר – זה עלול להיות מאוחר מדי…" או כל משפט הנעה לפעולה אחר שאתם מאמינים שיש לו פוטנציאל ורוצים לבחון האם אכן כך.

את שתי הגרסאות של המודעה או הדף (או כל מרכיב אחר שאתם רוצים לבחון) מריצים במקביל זו לזו ורואים מי מנצחת במירוץ: נניח למשל שבעל חברת קייטרינג מעוניין בדף נחיתה שמטרתו שכנוע הגולשים להשאיר פרטי יצירת קשר, ולשם כך הוא יוצר שתי גרסאות – בראשונה המסגרת שבה ממלאים פרטים ממוקמת מתחת לבאנר גדול של תמונות מתחלפות (של מנות מפתות מן הסתם), ובשנייה טופס השארת הפרטים מופיע על גבי התמונות. הפניית חלק מהגולשים אל הדף הראשון וחלק אחר לדף השני, באופן שרירותי, ומדידת אחוז השארת הפרטים בכל אחת מהגרסאות של דף הנחיתה יאפשרו לו לדעת מהו הלוקיישן המתאים יותר לטופס יצירת הקשר בתוך דף הנחיתה – כשמתחילים לבצע מבחני A/B מגלים שלפעמים פרטים לכאורה שוליים מייצרים שינוי משמעותי!

על מה חשוב להקפיד כשמבצעים A/B Testing?

על-מנת שנהיה בטוחים שהגענו לאופציה הטובה יותר, חשוב להקפיד על 2 דברים:

1. 1. קודם כל שה-A וה-B יהיו שונים זה מזה באמת, אבל לא יותר מדי. המצב האידיאלי הוא שהשונות באה לידי ביטוי במרכיב אחד בלבד, שניתן לבודד אותו – כך שנדע בדיוק מה יוצר את ההבדל, כלומר מה עובד ומה לא עובד. כמובן שחשוב גם לוודא ש-A ו-B תקינים לחלוטין מבחינה טכנית (אף אחד לא רוצה לגלות אחרי שבוע של A/B Testing לשני דפים שבאחד מהם היה לינק שבור).

1. 1. אם אני והחברים שלי נשחק כדורסל מול מכבי ת"א במשך חצי דקה יש לנו סיכוי להפתיע אותם. במשחק שאורכו 40 דקות מן הסתם היתרון שלהם עלינו יבוא לידי ביטוי (אפילו בעונה גרועה במיוחד של מכבי…). באופן דומה, חשוב לאפשר ל-A ול-B שבחרנו להתחרות מספיק זמן כדי למנוע הטיות מקריות (הביטוי המקובל הוא "תוצאות מובהקות מבחינה סטטיסטית" ואין צורך להיבהל – יש אתרי אינטרנט שמאפשרים ניתוח מדויק של מבחני A/B כולל הערכה עד כמה הם אכן תקפים).

ועוד המלצה קטנה: אפשר בקלות להתמכר למבחני A/B ולנסות עוד ועוד גרסאות של אותו דף נחיתה, או עוד ועוד גרסאות של אותה מודעה. מצד אחד, כשאנחנו מאתגרים את עצמנו שוב ושוב אנחנו מגיעים לתוצאות יותר ויותר טובות. מצד שני, כדי ליצור עוד ועוד A-ים ו-B-ים נדרשים משאבים (בעיקר זמן אבל לא רק) ולפעמים השיפור שנקבל כבר לא מצדיק את ההשקעה. איך יודעים אם לבצע עוד מבחן A/B או להפנות את המשאבים אל מרכיב אחר, חשוב לא פחות, בשיווק? אפשר להסתמך על האינטואיציה, אפשר לקבוע מראש רף מסוים (למשל יחס המרה רצוי עבור מודעה בגוגל אדוורדס) – ואולי אפשר לעשות מבחן A/B גם להחלטה אם להמשיך לבצע מבחני A/B או לא…