תובנות מרכזיות
- חסימת GPTBot לא פוגעת בהופעה בתשובות של ChatGPT היום, היא שולטת רק על אימון מודלים עתידיים.
- Google-Extended שולט באימון Gemini בלבד, לא בדירוג בחיפוש ולא בהופעה ב-AI Overviews.
- אי אפשר להיעלם לגמרי מ-ChatGPT-User או מ-Perplexity-User דרך robots.txt בלבד, כי שניהם פועלים לפי בקשת משתמש ספציפית.
ChatGPT (OpenAI): שלושה בוטים
OpenAI לא מפעילה בוט אחד אלא כמה, וכל אחד מהם עושה משהו אחר לגמרי. ההבחנה ביניהם היא הבסיס לכל החלטה נכונה בנושא, בין אם מדובר בקידום ב-ChatGPT ובין אם בקידום כללי במנועי AI:
- GPTBot, אוסף תוכן לאימון מודלים גנרטיביים עתידיים. מכבד robots.txt, כך שחסימה שלו (Disallow: /) מסמנת ל-OpenAI לא להשתמש בתוכן לאימון, בלי להשפיע על הופעה בתשובות בזמן אמת.
- OAI-SearchBot, אחראי על הופעה בתוצאות החיפוש בתוך ChatGPT, כשהמנוע מחפש מקורות עדכניים ברשת ומצטט אותם. גם הוא מכבד robots.txt, וזהו הבוט שבאמת קובע הופעה בתשובות מבוססות חיפוש.
- ChatGPT-User, פועל כשמשתמש בתוך שיחה מבקש במפורש לבדוק דף מסוים או להשתמש ב-Custom GPT שניגש לאתר. לא סריקה אוטונומית, אלא פעולה בזמן אמת לפי בקשה אנושית, ולרוב כללי robots.txt לא חלים עליה באותו אופן.
קיים גם בוט רביעי, OAI-AdsBot, שתפקידו לבדוק בטיחות של דפי נחיתה שהוגשו לפרסום ב-ChatGPT. הוא רלוונטי רק למי שמריץ קמפיינים בפלטפורמה, לא לתוכן אורגני.
ההבחנה הקריטית: חסימת GPTBot לא פוגעת בהופעה בתשובות של ChatGPT. מי שרוצה למנוע אימון עתידי אבל להישאר נראה בתשובות היום, חוסם רק את GPTBot ומשאיר את OAI-SearchBot פתוח. מי שרוצה להבין גם את הערך הכלכלי של תנועה שמגיעה מ-ChatGPT, מוזמן לקרוא את המדריך המורחב בנושא.
Gemini וה-AI Overviews של גוגל: Google-Extended
גוגל מפרידה בין הסריקה הרגילה של האתר לצורך דירוג בחיפוש (Googlebot) לבין השימוש בתוכן לאימון מודלי ה-AI שלה, דרך user-agent נפרד בשם Google-Extended.
- חסימת Google-Extended מסמנת שהתוכן לא ישמש לשיפור Gemini ומוצרי ה-AI הגנרטיביים של גוגל.
- היא לא משפיעה על הדירוג הרגיל בתוצאות החיפוש, כי Googlebot ממשיך לסרוק ולדרג את האתר בלי קשר להגדרה הזו.
- חסימת Google-Extended לא בהכרח מסירה את האתר מ-AI Overviews, כי אלה מבוססים במידה רבה על אינדקס החיפוש הרגיל בזמן החיפוש, לא רק על נתוני האימון.
במילים אחרות, אפשר לחסום את Google-Extended בלי לפגוע ב-SEO הקלאסי, אבל זה לא כלי לשליטה מלאה על הופעה בתשובות AI של גוגל. להרחבה על איך בכל זאת משפרים דירוג שם, ר' המדריך הייעודי לדירוג ב-Google AI.
Perplexity: ההבדל הקריטי בין שני הבוטים שלו
פרפלקסיטי מפעילה שני בוטים עם תפקידים שונים לגמרי, וההבדל ביניהם קובע כמה שליטה יש בפועל לבעל האתר:
- PerplexityBot, סורק ומאנדקס אתרים כדי להציג אותם בתוצאות חיפוש בתוך פרפלקסיטי. מכבד robots.txt, ופרפלקסיטי ממליצה במפורש לאפשר לו גישה.
- Perplexity-User, פועל כשמשתמש שואל שאלה ופרפלקסיטי צריכה לגשת לדף ספציפי בזמן אמת כדי לענות ולצטט אותו. בדרך כלל מתעלם מ-robots.txt, מהנימוק שהבקשה הגיעה ישירות מהמשתמש.
המשמעות המעשית: אי אפשר להיעלם מפרפלקסיטי רק דרך robots.txt. גם אתר שחוסם את PerplexityBot לגמרי עשוי עדיין להופיע בתשובה בודדת אם משתמש שאל עליו ישירות. שליטה מלאה דורשת התמודדות ברמת השרת, לא רק בקובץ robots.txt. להרחבה על בניית סמכות ייעודית לפרפלקסיטי, ר' מדריך ה-GEO הייעודי לפרפלקסיטי.
טבלת השוואה מרכזת
| מנוע | שם הבוט | מטרה | מכבד robots.txt |
|---|---|---|---|
| ChatGPT | GPTBot | אימון מודלים עתידיים | |
| ChatGPT | OAI-SearchBot | תוצאות חיפוש בתוך ChatGPT | |
| ChatGPT | ChatGPT-User | פעולה שיוזם משתמש בזמן אמת | |
| Gemini / AI Overviews | Google-Extended | אימון Gemini ומוצרי AI | |
| Perplexity | PerplexityBot | אינדוקס לתוצאות חיפוש | |
| Perplexity | Perplexity-User | שליפת דף לפי בקשת משתמש |
דוגמת קוד robots.txt מלאה
הדוגמה הבאה מאפשרת הופעה בתשובות בזמן אמת של שלושת המנועים, תוך חסימת שימוש בתוכן לאימון מודלים עתידיים בלבד:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Google-Extended
Disallow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /השורות שנוגעות ל-ChatGPT-User ו-Perplexity-User משפיעות בעיקר על סריקה אוטומטית, לא בהכרח על כל פעולה שמתבצעת לפי בקשת משתמש ספציפית, כפי שהוסבר למעלה.
איך בודקים בפועל אילו בוטים כבר ניגשים לאתר
לפני שמחליטים מה לחסום, כדאי לדעת מה כבר קורה היום. שתי דרכים מעשיות לבדוק:
- access logs של השרת, מחפשים בהם את שמות ה-user agent מהטבלה למעלה (GPTBot, OAI-SearchBot, Google-Extended, PerplexityBot וכו') ובודקים תדירות ותאריך גישה אחרונה.
- דוחות בוטים באירוח, אירוח שמבוסס על Cloudflare, למשל, מציג פילוח בוטים מוכר בפאנל הניהול, בלי צורך לחפור בלוגים גולמיים.
שווה לחזור לבדיקה הזו אחרי כל שינוי ב-robots.txt, כדי לוודא שהבוט הרצוי אכן ממשיך לגשת לאתר ושהבוט שנחסם אכן נעלם מהלוגים בתוך כמה שבועות.
המלצת עבודה: מה לחסום ומה להשאיר פתוח
ברוב המקרים, כשהמטרה היא נראות מקסימלית במנועי AI לצד שליטה על אימון עתידי, ההמלצה המעשית היא:
- לחסום את GPTBot ואת Google-Extended, כדי למנוע שימוש בתוכן לאימון מודלים, בלי לוותר על הופעה בתשובות היום.
- להשאיר פתוחים את OAI-SearchBot ואת PerplexityBot, כי אלה הבוטים שבאמת קובעים אם האתר מצוטט בתשובות בזמן אמת.
- להיות מודעים לכך ש-ChatGPT-User ו-Perplexity-User לא ניתנים לחסימה אמינה דרך robots.txt בלבד, ולכן שליטה מלאה בהם דורשת פתרון ברמת השרת.
הגדרה שגויה בנקודה אחת בקובץ robots.txt יכולה להסתיר אתר שלם ממנוע AI שלם, בלי שאף אחד ישים לב במשך חודשים.
סיכום
שלושת המנועים מתנהגים אחרת, וההבדל בין אימון להופעה בזמן אמת הוא מה שקובע מה בעצם חוסמים. GPTBot ו-Google-Extended שולטים על אימון בלבד ולא פוגעים בהופעה היום. OAI-SearchBot ו-PerplexityBot הם אלה שבאמת קובעים אם האתר מופיע בתשובות.
אני דני שקד, ובעבודה השוטפת שלי עם לקוחות אני רואה כל שבוע כמה קל לטעות בהגדרות האלה ולחסום בטעות את הדבר הלא נכון. אם אתם רוצים לבדוק את ההגדרות הנוכחיות של האתר שלכם או לבנות אסטרטגיית GEO מסודרת, אפשר לפנות אליי דרך האתר, בוואטסאפ, או להגיע ישירות למשרד. זה חלק מהמדריך המקיף שלי לקידום במנועי AI, שמסביר את התהליך המלא מ-Entity Authority ועד Schema Markup.
