רוב האתרים בישראל לא חוסמים בוטים של AI. הם גם לא מאפשרים אותם במפורש, וזה בדרך כלל בסדר, כי ברירת המחדל של robots.txt היא היתר. הבעיה מתחילה כשמישהו מחליט לעשות סדר, מוסיף שורת חסימה אחת, ומוציא את האתר מהתשובות של ChatGPT בלי לדעת.
הבלבול נובע מנקודה אחת: לאותה חברה יש כמה בוטים שונים, וכל אחד עושה משהו אחר. מי שחוסם את הלא נכון משלם על זה בנראות.
שני סוגי בוטים, שני תפקידים
ההבחנה החשובה ביותר היא בין בוט שאוסף תוכן לאימון המודל, לבין בוט שמביא תוכן לתשובה שהמשתמש רואה עכשיו.
שני מסלולים שונים לגמרי. רק הימני מייצר לך נראות.
- בוט אימון אוסף דפים כדי ללמד את המודל. חסימה שלו לא פוגעת בנראות שלך בתשובות, היא רק מונעת מהתוכן שלך להיכנס לאימון.
- בוט חיפוש נשלח בזמן אמת, כשמשתמש שואל שאלה. אם תחסום אותו, לא תופיע בתשובה. נקודה.
הטעות הנפוצה: חוסמים את בוט האימון מתוך מחשבה שמגנים על התוכן, ובטעות חוסמים גם את בוט החיפוש שיושב תחת אותה חברה.
מפת הבוטים ל-2026
| בוט | מה הוא עושה | המלצה |
|---|---|---|
OAI-SearchBot | מביא תוצאות לחיפוש בתוך ChatGPT | לאפשר בלעדיו לא תצוטט |
ChatGPT-User | נשלח כשמשתמש מבקש לגלוש לאתר תוך כדי שיחה | לאפשר |
GPTBot | איסוף לאימון המודל | שיקול עסקי חסימה לא פוגעת בציטוט |
PerplexityBot | אינדוקס עבור Perplexity | לאפשר |
Perplexity-User | שליפה בזמן אמת | לאפשר |
ClaudeBot | סורק של Anthropic | לאפשר |
Google-Extended | אופט-אאוט מאימון Gemini | שיקול עסקי לא משפיע על דירוג או על AI Overview |
CCBot | Common Crawl, מזין הרבה מודלים | שיקול עסקי |
הנקודה שרוב האתרים מפספסים
זה אומר שאפשר לבחור עמדה מורכבת: לא לתרום לאימון, אבל כן להיות מצוטט. הרבה מו"לים בעולם בחרו בדיוק בזה.
איך זה נראה בפועל
מבנה מינימלי שמשאיר אותך כשיר לציטוט:
# בוטי חיפוש - לאפשר תמיד User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: ClaudeBot Allow: / # איך הם מגלים מה קיים אצלך Sitemap: https://example.co.il/sitemap.xml
סטודיו פרו בונה לעסק שלכם מחלקת שיווק שלמה
אסטרטגיה, תוכן, קמפיינים ואוטומציות — צוות אחד שמוביל את השיווק שלכם מקצה לקצה. נתחיל בשיחה קצרה שבה נבין לאן אתם רוצים להגיע. ללא עלות וללא התחייבות.
שלוש בדיקות שכדאי לעשות היום
לפתוח את robots.txt
פשוט להוסיף /robots.txt לכתובת האתר. אם יש שם Disallow גורף תחת User-agent כוכבית, זה חוסם הכל.
לוודא שהסייטמאפ שם ונכון
קובץ שמחזיר 200 אבל לא מקושר מהאינדקס הראשי הוא קובץ שגוגל לא מכיר. בדקנו את זה אצלנו ומצאנו בדיוק את הפער הזה.
לבדוק חסימות ישנות
קבצי robots.txt מצטברים לאורך שנים. שורות שנוספו לחסום סורק שכבר לא קיים ממשיכות לחיות שם, ולפעמים תופסות יותר ממה שהתכוונו.
מה robots.txt לא עושה
הוא לא מנגנון אבטחה
הוא בקשה, לא חומה. סורק שמתעלם ממנו פשוט יתעלם. הוא גם לא מונע אינדוקס בפני עצמו, לשם כך צריך תג noindex בדף עצמו.
המלכודת שכדאי להכיר
אם תחסום דף ב-robots.txt, הסורק לא יוכל לקרוא את תג ה-noindex שבו, וייתכן שהדף יופיע בתוצאות בלי תיאור. חסימה ואי-אינדוקס הם שני דברים שונים.
השורה התחתונה
בוטי חיפוש של AI הם היום ערוץ גילוי, לא איום. מי שחוסם אותם בטעות מוותר על נראות שהמתחרים מקבלים בחינם. הכלל פשוט: לאפשר תמיד את בוטי החיפוש, ולהחליט בנפרד ובמודע לגבי בוטי האימון.
שאלות ותשובות
אם אחסום את GPTBot, אעלם מ-ChatGPT?
לא. חסימת GPTBot מונעת רק מהתוכן שלך להיכנס לאימון המודל. כל עוד OAI-SearchBot ו-ChatGPT-User מותרים, אתה עדיין יכול להופיע בתשובות ולקבל תנועה. זו עמדה לגיטימית שהרבה מו״לים בעולם בחרו בה: לא לתרום לאימון, אבל כן להיות מצוטט.
מה קורה אם אין לי robots.txt בכלל?
ברירת המחדל היא היתר, אז היעדר הקובץ בדרך כלל לא מזיק לנראות. הבעיה מתחילה דווקא כשמישהו מחליט לעשות סדר ומוסיף שורת חסימה גורפת. מה שכן כדאי שיהיה בקובץ הוא הפניה לסייטמאפ, כי כך סורקים מגלים מה קיים אצלך.
robots.txt מונע מהדף להופיע בתוצאות?
לא. הוא בקשת סריקה, לא הוראת אינדוקס, והוא גם לא מנגנון אבטחה — סורק שמתעלם ממנו פשוט יתעלם. כדי למנוע אינדוקס צריך תג noindex בדף עצמו. ויש כאן מלכודת: אם תחסום דף ב-robots.txt, הסורק לא יוכל לקרוא את תג ה-noindex שבו, וייתכן שהדף יופיע בלי תיאור.
איך אני יודע אם חסמתי בוט בטעות?
להוסיף /robots.txt לכתובת האתר ולפתוח בדפדפן. מחפשים שתי צורות: Disallow גורף תחת User-agent: *, וחסימות ישנות שנוספו לסורקים שכבר לא קיימים ותופסות יותר ממה שהתכוונו. קבצי robots.txt מצטברים לאורך שנים.
עוד באשכול GEO
המשך קריאה
מוכנים לקחת את העסק צעד קדימה?
סטודיו פרו מרכזת לעסק את כל מערך השיווק — מאסטרטגיה ועד הביצוע היומיומי. בשיחה קצרה נבין מה חשוב לכם ונבדוק יחד אם יש התאמה.
