Poradniki · Technika
ClaudeBot, GPTBot i PerplexityBot: które boty AI wpuścić w robots.txt
ClaudeBot, GPTBot, PerplexityBot i Google-Extended: który bot AI trenuje modele, który zasila wyszukiwanie. Gotowe warianty robots.txt do skopiowania.
Redakcja SEO Maestro06.11.20268 min czytaniaźródła sprawdzone 06.11.2026
W logach serwera widzisz ClaudeBota, GPTBota i kilka innych nazw z dopiskiem „bot”. Zastanawiasz się, czy je zablokować. Zanim dopiszesz Disallow: /, sprawdź, czym każdy z nich się zajmuje. Jedne zbierają treści do trenowania modeli, inne pobierają stronę po to, żeby pokazać ją w odpowiedziach z wyszukiwania. Zablokujesz niewłaściwego, a twoja firma zniknie z odpowiedzi ChatGPT czy Claude, choć chciałeś tylko, żeby nikt nie uczył modeli na twoich tekstach.
Trening i wyszukiwanie to dwie różne decyzje
Firmy AI rozdzieliły swoje roboty według celu. Dla ciebie to dobra wiadomość, bo możesz podjąć dwie osobne decyzje zamiast jednej.
Pierwsza decyzja dotyczy treningu. Bot treningowy działa jak ktoś, kto kseruje książki z biblioteki, żeby z nich się uczyć. Twoje treści mogą trafić do danych, na których powstaje kolejna wersja modelu. Ten bot nie zapamiętuje adresu, żeby potem odesłać do ciebie klienta.
Druga decyzja dotyczy wyszukiwania. Bot wyszukiwarki przypomina bibliotekarza, który układa katalog. Kiedy ktoś zada pytanie, asystent wie, że twoja strona istnieje, i może ją zacytować z linkiem. Jeśli zablokujesz tego bota, wypadniesz z katalogu.
Jest jeszcze trzecia grupa: pobieranie na prośbę użytkownika. Ktoś wkleja w czat adres twojej strony albo prosi asystenta o sprawdzenie czegoś w sieci, więc asystent otwiera stronę w jego imieniu. Robots.txt działa tu słabiej, o czym niżej.
OpenAI mówi to wprost: każde ustawienie jest niezależne. Możesz wpuścić bota wyszukiwarki, żeby pojawiać się w wynikach, i jednocześnie zablokować bota treningowego.
Lista botów z oficjalnych dokumentacji
Poniżej znajdziesz nazwy, które wpisuje się w linii User-agent:. Pochodzą z dokumentacji OpenAI, Anthropic, Perplexity i Google.
| Firma | Bot | Cel | Co daje blokada |
|---|---|---|---|
| OpenAI | GPTBot | trening modeli | treść nie powinna trafić do treningu |
| OpenAI | OAI-SearchBot | wyszukiwanie w ChatGPT | strona znika z odpowiedzi wyszukiwania ChatGPT (może zostać jako link nawigacyjny) |
| OpenAI | ChatGPT-User | działania na prośbę użytkownika | robots.txt może nie mieć zastosowania |
| Anthropic | ClaudeBot | trening modeli | przyszłe materiały strony wypadają z danych treningowych |
| Anthropic | Claude-SearchBot | jakość wyników wyszukiwania | Claude nie indeksuje strony do wyszukiwania, widoczność może spaść |
| Anthropic | Claude-User | pobieranie na prośbę użytkownika | Claude nie pobierze strony w odpowiedzi na pytanie użytkownika |
| Perplexity | PerplexityBot | wyszukiwanie w Perplexity, nie trening | strona przestaje być pokazywana i linkowana w wynikach |
| Perplexity | Perplexity-User | działania na prośbę użytkownika | ten bot na ogół ignoruje robots.txt |
| Google-Extended | trening Gemini i grounding | nie wpływa na obecność w wyszukiwarce Google |
Kilka szczegółów z dokumentacji przyda ci się w praktyce.
ClaudeBot zbiera treści, które mogą posłużyć do trenowania modeli Anthropic. Blokada działa na przyszłość: Anthropic pisze o wyłączeniu przyszłych materiałów strony. Anthropic obsługuje też niestandardową dyrektywę Crawl-delay. Możesz więc nie blokować bota całkowicie, tylko kazać mu odwiedzać stronę rzadziej. Wpis robots.txt trzeba powtórzyć na każdej subdomenie, z której chcesz się wypisać. Anthropic odradza też blokowanie adresów IP, bo wtedy bot nie może przeczytać twojego robots.txt, a samo wypisanie nie musi działać trwale.
Po zmianie robots.txt OpenAI potrzebuje około 24 godzin, żeby uwzględnić ją w wynikach wyszukiwania. Jeśli wpuścisz oba boty OpenAI, firma może wykorzystać jedno pobranie strony do obu celów, żeby nie odwiedzać jej dwa razy. W dokumentacji jest jeszcze OAI-AdsBot. Odwiedza on wyłącznie strony zgłoszone jako reklamy w ChatGPT, a zebranych danych nie używa do treningu. Jeśli nie reklamujesz się w ChatGPT, możesz go pominąć.
Perplexity podkreśla, że PerplexityBot nie zbiera treści do trenowania modeli. Blokując go, nic nie zyskujesz po stronie treningu, a tracisz obecność w wynikach.
Google-Extended działa inaczej niż reszta
Google-Extended nie jest osobnym robotem i nie zobaczysz go w logach. Google pobiera strony swoimi zwykłymi botami, a Google-Extended to tylko znacznik w robots.txt, którym wyrażasz zgodę albo sprzeciw. Dotyczy dwóch rzeczy: trenowania przyszłych modeli Gemini (aplikacje Gemini i Vertex AI API) oraz groundingu, czyli podawania modelowi treści z indeksu Google w chwili zadania pytania, żeby odpowiedź była trafniejsza.
Google zapewnia, że Google-Extended nie wpływa na obecność strony w wyszukiwarce i nie jest czynnikiem rankingowym. Blokując go, nie wypadasz z Google. Pamiętaj jednak, że blokada obejmuje też grounding w aplikacjach Gemini. Twoja strona może więc rzadziej służyć Gemini jako źródło, a nie tylko zniknąć z danych treningowych. Dokumentacja nie twierdzi, że Google-Extended steruje AI Overviews albo trybem AI. Tym tematom poświęciliśmy osobne teksty: AI Overviews i AI Mode.
Google zapowiada też obsługę wspólnego sygnału preferencji treningowych AIPREF (z wpisem user-agent: __usage_ai-training) na początek 2027 roku. To na razie zapowiedź, więc dziś nie opieraj na niej konfiguracji.
Jak robots.txt czyta twoje reguły
Standard opisuje RFC 9309. Wynika z niego kilka zasad, które łatwo przeoczyć.
- Bot szuka grupy ze swoją nazwą i wielkość liter nie ma znaczenia.
claudebotiClaudeBotto dla niego to samo. - Jeśli bot znajdzie swoją grupę, stosuje tylko ją, a grupę
User-agent: *pomija. Gdy w grupie GPTBota napiszesz tylkoAllow: /, nie obejmą go blokady katalogów, które wpisałeś dla gwiazdki. Ważne ścieżki trzeba powtórzyć. - Kilka grup z tą samą nazwą bot scala w jedną.
- Przy konflikcie wygrywa najdłuższa, czyli najbardziej szczegółowa ścieżka. Gdy
allowidisallowsą równoważne, pierwszeństwo maallow. - Plik musi leżeć pod adresem
/robots.txtw katalogu głównym, w kodowaniu UTF-8, jako zwykły tekst.
Najważniejsza zasada brzmi: reguły robots.txt nie są zabezpieczeniem dostępu. To prośba, którą przyzwoite boty spełniają. Boty działające na prośbę użytkownika, jak Perplexity-User czy ChatGPT-User, mogą jej nie respektować. Treści, które naprawdę mają być niedostępne, chroń hasłem, a nie robots.txt.
Gotowe warianty robots.txt
Wszystkie przykłady dotyczą strony przyklad.pl firmy Pracownia Kowalski. Wybierz jeden wariant i dopasuj ścieżki do swojej strony.
Wariant 1: widoczność wszędzie, trening też dozwolony. Jeśli nie masz nic przeciwko trenowaniu modeli, nie musisz niczego dopisywać. Wystarczy brak blokad. Jawne grupy pomagają jednak, gdy reszta pliku jest restrykcyjna:
# robots.txt - Pracownia Kowalski, przyklad.pl
User-agent: *
Disallow: /koszyk/
User-agent: OAI-SearchBot
User-agent: GPTBot
User-agent: Claude-SearchBot
User-agent: ClaudeBot
User-agent: PerplexityBot
Disallow: /koszyk/
Sitemap: https://przyklad.pl/sitemap.xml
Wariant 2: obecność w wyszukiwaniu AI, bez treningu. Ten wariant wybiera większość firm, które chcą być polecane, ale nie chcą oddawać tekstów do trenowania modeli:
User-agent: *
Disallow: /koszyk/
# Trening - nie
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /
# Wyszukiwanie AI - tak
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Disallow: /koszyk/
Sitemap: https://przyklad.pl/sitemap.xml
Google-Extended celowo pominąłem, bo jego blokada obejmuje także grounding w Gemini. Jeśli mimo to nie chcesz treningu Gemini, dopisz osobną grupę:
User-agent: Google-Extended
Disallow: /
Wariant 3: bez AI, z normalnym Google. Blokujesz wszystkie boty AI, które respektują robots.txt, a Googlebot dalej indeksuje stronę do zwykłej wyszukiwarki:
User-agent: *
Disallow: /koszyk/
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Google-Extended
Disallow: /
Ten wariant ma swoją cenę: strona przestaje być źródłem w odpowiedziach ChatGPT, Claude i Perplexity. Pamiętaj też, że boty działające na prośbę użytkownika mogą go obejść.
Wariant 4: bez blokady, ale wolniej. Gdy ClaudeBot mocno obciąża serwer, możesz go spowolnić:
User-agent: ClaudeBot
Crawl-delay: 1
Crawl-delay to rozszerzenie spoza standardu. Anthropic deklaruje, że je obsługuje. W przypadku innych botów dokumentacja tego nie potwierdza.
Sprawdź swój plik jeszcze dziś
- Otwórz
https://twojadomena.pl/robots.txtw przeglądarce. Jeśli widzisz błąd 404, plik nie istnieje i żadne reguły nie obowiązują. - Wyszukaj w pliku nazwy GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot i Google-Extended. Przy każdej zapisz, czy ma
Disallow: /. - Sprawdź, czy nie blokujesz botów wyszukiwania przez pomyłkę. Częsty błąd to wrzucenie wszystkiego z „AI” w nazwie do jednej grupy blokującej.
- Zdecyduj osobno o treningu i o wyszukiwaniu, a potem wybierz jeden z wariantów powyżej.
- Jeśli w grupach konkretnych botów piszesz
Allow, powtórz w nich blokady katalogów z grupy*. - Zmianę wprowadź na każdej subdomenie, np. sklep.przyklad.pl ma własny robots.txt.
- Jeśli używasz zapory sieciowej (WAF), np. Cloudflare, sprawdź, czy nie zatrzymuje botów, które wpuszczasz. Perplexity w swojej dokumentacji opisuje reguły łączące nazwę bota z opublikowanymi zakresami IP. Uprzedza też, że trybu Bot Fight Mode w Cloudflare nie da się pominąć regułami własnymi.
- Po około dobie zajrzyj do logów i sprawdź, kto odwiedza stronę. OpenAI podaje, że tyle trwa uwzględnienie zmiany w wynikach wyszukiwania.
Wpuszczenie botów niczego nie gwarantuje. Daje szansę, że asystent zacytuje twoją stronę, ale o tym, czy to zrobi, decyduje treść. Piszemy o tym w poradnikach o GEO SEO i pozycjonowaniu w ChatGPT. Plik llms.txt nie zastępuje robots.txt. Bot, który ma zakaz wstępu, i tak go nie przeczyta.
Źródła
- OpenAI: Overview of OpenAI Crawlers - opis GPTBota, OAI-SearchBota, ChatGPT-User i OAI-AdsBota oraz czas uwzględniania zmian.
- Anthropic: Does Anthropic crawl data from the web - role ClaudeBota, Claude-SearchBota i Claude-User, obsługa Crawl-delay i subdomen.
- Perplexity: Perplexity Crawlers - PerplexityBot i Perplexity-User oraz konfiguracja zapór WAF.
- Google: List of Google's common crawlers - działanie znacznika Google-Extended i zapowiedź AIPREF.
- RFC 9309: Robots Exclusion Protocol - zasady dopasowania grup i reguł w robots.txt.
Jeśli chcesz sprawdzić, czy po zmianach ChatGPT, Gemini, Perplexity, Claude i Grok cytują twoją stronę, uruchom darmowy test SEO Maestro. Wynik dostaniesz po około 90 sekundach.
Czytaj dalej
Jak działa wyszukiwarka Google: skanowanie, indeksowanie i AI
Jak działa wyszukiwarka Google: trzy etapy z dokumentacji, miejsce AI Overviews i AI Mode, czego Google nie gwarantuje i co sprawdzić na swojej stronie.
22.11.2026 · 8 minAdres kanoniczny (canonical): jedna wersja strony dla Google i AI
Adres kanoniczny krok po kroku: rel=canonical, przekierowania, sygnały Google, zasady RFC 6596 i typowe błędy w sklepach i na blogach.
21.11.2026 · 8 minRSS a boty AI: kanał RSS i Atom, który czytają wyszukiwarki
RSS a boty AI: jak zbudować poprawny kanał RSS 2.0 lub Atom, zgłosić go Google jako sitemap i powiadamiać o zmianach przez WebSub. Z przykładami kodu.