seomaestro

Poradniki · Technika

ClaudeBot, GPTBot i PerplexityBot: które boty AI wpuścić w robots.txt

ClaudeBot, GPTBot, PerplexityBot i Google-Extended: który bot AI trenuje modele, który zasila wyszukiwanie. Gotowe warianty robots.txt do skopiowania.

Redakcja SEO Maestro06.11.20268 min czytaniaźródła sprawdzone 06.11.2026

W logach serwera widzisz ClaudeBota, GPTBota i kilka innych nazw z dopiskiem „bot”. Zastanawiasz się, czy je zablokować. Zanim dopiszesz Disallow: /, sprawdź, czym każdy z nich się zajmuje. Jedne zbierają treści do trenowania modeli, inne pobierają stronę po to, żeby pokazać ją w odpowiedziach z wyszukiwania. Zablokujesz niewłaściwego, a twoja firma zniknie z odpowiedzi ChatGPT czy Claude, choć chciałeś tylko, żeby nikt nie uczył modeli na twoich tekstach.

Trening i wyszukiwanie to dwie różne decyzje

Firmy AI rozdzieliły swoje roboty według celu. Dla ciebie to dobra wiadomość, bo możesz podjąć dwie osobne decyzje zamiast jednej.

Pierwsza decyzja dotyczy treningu. Bot treningowy działa jak ktoś, kto kseruje książki z biblioteki, żeby z nich się uczyć. Twoje treści mogą trafić do danych, na których powstaje kolejna wersja modelu. Ten bot nie zapamiętuje adresu, żeby potem odesłać do ciebie klienta.

Druga decyzja dotyczy wyszukiwania. Bot wyszukiwarki przypomina bibliotekarza, który układa katalog. Kiedy ktoś zada pytanie, asystent wie, że twoja strona istnieje, i może ją zacytować z linkiem. Jeśli zablokujesz tego bota, wypadniesz z katalogu.

Jest jeszcze trzecia grupa: pobieranie na prośbę użytkownika. Ktoś wkleja w czat adres twojej strony albo prosi asystenta o sprawdzenie czegoś w sieci, więc asystent otwiera stronę w jego imieniu. Robots.txt działa tu słabiej, o czym niżej.

OpenAI mówi to wprost: każde ustawienie jest niezależne. Możesz wpuścić bota wyszukiwarki, żeby pojawiać się w wynikach, i jednocześnie zablokować bota treningowego.

Lista botów z oficjalnych dokumentacji

Poniżej znajdziesz nazwy, które wpisuje się w linii User-agent:. Pochodzą z dokumentacji OpenAI, Anthropic, Perplexity i Google.

FirmaBotCelCo daje blokada
OpenAIGPTBottrening modelitreść nie powinna trafić do treningu
OpenAIOAI-SearchBotwyszukiwanie w ChatGPTstrona znika z odpowiedzi wyszukiwania ChatGPT (może zostać jako link nawigacyjny)
OpenAIChatGPT-Userdziałania na prośbę użytkownikarobots.txt może nie mieć zastosowania
AnthropicClaudeBottrening modeliprzyszłe materiały strony wypadają z danych treningowych
AnthropicClaude-SearchBotjakość wyników wyszukiwaniaClaude nie indeksuje strony do wyszukiwania, widoczność może spaść
AnthropicClaude-Userpobieranie na prośbę użytkownikaClaude nie pobierze strony w odpowiedzi na pytanie użytkownika
PerplexityPerplexityBotwyszukiwanie w Perplexity, nie treningstrona przestaje być pokazywana i linkowana w wynikach
PerplexityPerplexity-Userdziałania na prośbę użytkownikaten bot na ogół ignoruje robots.txt
GoogleGoogle-Extendedtrening Gemini i groundingnie wpływa na obecność w wyszukiwarce Google

Kilka szczegółów z dokumentacji przyda ci się w praktyce.

ClaudeBot zbiera treści, które mogą posłużyć do trenowania modeli Anthropic. Blokada działa na przyszłość: Anthropic pisze o wyłączeniu przyszłych materiałów strony. Anthropic obsługuje też niestandardową dyrektywę Crawl-delay. Możesz więc nie blokować bota całkowicie, tylko kazać mu odwiedzać stronę rzadziej. Wpis robots.txt trzeba powtórzyć na każdej subdomenie, z której chcesz się wypisać. Anthropic odradza też blokowanie adresów IP, bo wtedy bot nie może przeczytać twojego robots.txt, a samo wypisanie nie musi działać trwale.

Po zmianie robots.txt OpenAI potrzebuje około 24 godzin, żeby uwzględnić ją w wynikach wyszukiwania. Jeśli wpuścisz oba boty OpenAI, firma może wykorzystać jedno pobranie strony do obu celów, żeby nie odwiedzać jej dwa razy. W dokumentacji jest jeszcze OAI-AdsBot. Odwiedza on wyłącznie strony zgłoszone jako reklamy w ChatGPT, a zebranych danych nie używa do treningu. Jeśli nie reklamujesz się w ChatGPT, możesz go pominąć.

Perplexity podkreśla, że PerplexityBot nie zbiera treści do trenowania modeli. Blokując go, nic nie zyskujesz po stronie treningu, a tracisz obecność w wynikach.

Google-Extended działa inaczej niż reszta

Google-Extended nie jest osobnym robotem i nie zobaczysz go w logach. Google pobiera strony swoimi zwykłymi botami, a Google-Extended to tylko znacznik w robots.txt, którym wyrażasz zgodę albo sprzeciw. Dotyczy dwóch rzeczy: trenowania przyszłych modeli Gemini (aplikacje Gemini i Vertex AI API) oraz groundingu, czyli podawania modelowi treści z indeksu Google w chwili zadania pytania, żeby odpowiedź była trafniejsza.

Google zapewnia, że Google-Extended nie wpływa na obecność strony w wyszukiwarce i nie jest czynnikiem rankingowym. Blokując go, nie wypadasz z Google. Pamiętaj jednak, że blokada obejmuje też grounding w aplikacjach Gemini. Twoja strona może więc rzadziej służyć Gemini jako źródło, a nie tylko zniknąć z danych treningowych. Dokumentacja nie twierdzi, że Google-Extended steruje AI Overviews albo trybem AI. Tym tematom poświęciliśmy osobne teksty: AI Overviews i AI Mode.

Google zapowiada też obsługę wspólnego sygnału preferencji treningowych AIPREF (z wpisem user-agent: __usage_ai-training) na początek 2027 roku. To na razie zapowiedź, więc dziś nie opieraj na niej konfiguracji.

Jak robots.txt czyta twoje reguły

Standard opisuje RFC 9309. Wynika z niego kilka zasad, które łatwo przeoczyć.

  • Bot szuka grupy ze swoją nazwą i wielkość liter nie ma znaczenia. claudebot i ClaudeBot to dla niego to samo.
  • Jeśli bot znajdzie swoją grupę, stosuje tylko ją, a grupę User-agent: * pomija. Gdy w grupie GPTBota napiszesz tylko Allow: /, nie obejmą go blokady katalogów, które wpisałeś dla gwiazdki. Ważne ścieżki trzeba powtórzyć.
  • Kilka grup z tą samą nazwą bot scala w jedną.
  • Przy konflikcie wygrywa najdłuższa, czyli najbardziej szczegółowa ścieżka. Gdy allow i disallow są równoważne, pierwszeństwo ma allow.
  • Plik musi leżeć pod adresem /robots.txt w katalogu głównym, w kodowaniu UTF-8, jako zwykły tekst.

Najważniejsza zasada brzmi: reguły robots.txt nie są zabezpieczeniem dostępu. To prośba, którą przyzwoite boty spełniają. Boty działające na prośbę użytkownika, jak Perplexity-User czy ChatGPT-User, mogą jej nie respektować. Treści, które naprawdę mają być niedostępne, chroń hasłem, a nie robots.txt.

Gotowe warianty robots.txt

Wszystkie przykłady dotyczą strony przyklad.pl firmy Pracownia Kowalski. Wybierz jeden wariant i dopasuj ścieżki do swojej strony.

Wariant 1: widoczność wszędzie, trening też dozwolony. Jeśli nie masz nic przeciwko trenowaniu modeli, nie musisz niczego dopisywać. Wystarczy brak blokad. Jawne grupy pomagają jednak, gdy reszta pliku jest restrykcyjna:

# robots.txt - Pracownia Kowalski, przyklad.pl
User-agent: *
Disallow: /koszyk/

User-agent: OAI-SearchBot
User-agent: GPTBot
User-agent: Claude-SearchBot
User-agent: ClaudeBot
User-agent: PerplexityBot
Disallow: /koszyk/

Sitemap: https://przyklad.pl/sitemap.xml

Wariant 2: obecność w wyszukiwaniu AI, bez treningu. Ten wariant wybiera większość firm, które chcą być polecane, ale nie chcą oddawać tekstów do trenowania modeli:

User-agent: *
Disallow: /koszyk/

# Trening - nie
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

# Wyszukiwanie AI - tak
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Disallow: /koszyk/

Sitemap: https://przyklad.pl/sitemap.xml

Google-Extended celowo pominąłem, bo jego blokada obejmuje także grounding w Gemini. Jeśli mimo to nie chcesz treningu Gemini, dopisz osobną grupę:

User-agent: Google-Extended
Disallow: /

Wariant 3: bez AI, z normalnym Google. Blokujesz wszystkie boty AI, które respektują robots.txt, a Googlebot dalej indeksuje stronę do zwykłej wyszukiwarki:

User-agent: *
Disallow: /koszyk/

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Google-Extended
Disallow: /

Ten wariant ma swoją cenę: strona przestaje być źródłem w odpowiedziach ChatGPT, Claude i Perplexity. Pamiętaj też, że boty działające na prośbę użytkownika mogą go obejść.

Wariant 4: bez blokady, ale wolniej. Gdy ClaudeBot mocno obciąża serwer, możesz go spowolnić:

User-agent: ClaudeBot
Crawl-delay: 1

Crawl-delay to rozszerzenie spoza standardu. Anthropic deklaruje, że je obsługuje. W przypadku innych botów dokumentacja tego nie potwierdza.

Sprawdź swój plik jeszcze dziś

  1. Otwórz https://twojadomena.pl/robots.txt w przeglądarce. Jeśli widzisz błąd 404, plik nie istnieje i żadne reguły nie obowiązują.
  2. Wyszukaj w pliku nazwy GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot i Google-Extended. Przy każdej zapisz, czy ma Disallow: /.
  3. Sprawdź, czy nie blokujesz botów wyszukiwania przez pomyłkę. Częsty błąd to wrzucenie wszystkiego z „AI” w nazwie do jednej grupy blokującej.
  4. Zdecyduj osobno o treningu i o wyszukiwaniu, a potem wybierz jeden z wariantów powyżej.
  5. Jeśli w grupach konkretnych botów piszesz Allow, powtórz w nich blokady katalogów z grupy *.
  6. Zmianę wprowadź na każdej subdomenie, np. sklep.przyklad.pl ma własny robots.txt.
  7. Jeśli używasz zapory sieciowej (WAF), np. Cloudflare, sprawdź, czy nie zatrzymuje botów, które wpuszczasz. Perplexity w swojej dokumentacji opisuje reguły łączące nazwę bota z opublikowanymi zakresami IP. Uprzedza też, że trybu Bot Fight Mode w Cloudflare nie da się pominąć regułami własnymi.
  8. Po około dobie zajrzyj do logów i sprawdź, kto odwiedza stronę. OpenAI podaje, że tyle trwa uwzględnienie zmiany w wynikach wyszukiwania.

Wpuszczenie botów niczego nie gwarantuje. Daje szansę, że asystent zacytuje twoją stronę, ale o tym, czy to zrobi, decyduje treść. Piszemy o tym w poradnikach o GEO SEO i pozycjonowaniu w ChatGPT. Plik llms.txt nie zastępuje robots.txt. Bot, który ma zakaz wstępu, i tak go nie przeczyta.

Źródła

Jeśli chcesz sprawdzić, czy po zmianach ChatGPT, Gemini, Perplexity, Claude i Grok cytują twoją stronę, uruchom darmowy test SEO Maestro. Wynik dostaniesz po około 90 sekundach.