Poradniki · Technika
Agent AI w przeglądarce: co widzi na twojej stronie i jak go obsłużyć
Agent AI w przeglądarce i fetchery na żądanie: Perplexity-User, ChatGPT-User, Claude-User. Kiedy omijają robots.txt i jak chronić formularze oraz koszyk.
Redakcja SEO Maestro17.11.20267 min czytaniaźródła sprawdzone 17.11.2026
Klient pyta ChatGPT, Perplexity albo Claude'a o twoją ofertę, a asystent w tej samej chwili otwiera twoją stronę, czyta ją i streszcza. W logach serwera nie zobaczysz wtedy Chrome'a ani Firefoksa. Zobaczysz ChatGPT-User, Perplexity-User albo Claude-User. Takie wejścia nie podlegają tym samym regułom co zwykłe crawlery, więc robots.txt nie wystarczy, żeby nimi sterować. Ten poradnik pokazuje, jak je rozpoznać, które reguły na nie działają i co z tego wynika dla formularzy i koszyka.
Trzy boty, które przychodzą na wezwanie
Crawler przypomina listonosza: obchodzi rejon według własnego planu, niezależnie od tego, czy ktoś czeka na list. Fetcher działa jak kurier wezwany do jednego adresu. Pojawia się, bo konkretny człowiek zadał konkretne pytanie. Agent AI w przeglądarce należy do tej drugiej grupy i właśnie to rozróżnienie decyduje o wszystkim, co dalej.
Każda z trzech dużych firm ma osobny identyfikator do takich wizyt:
| Bot | Firma | Do czego służy | Robots.txt według dokumentacji |
|---|---|---|---|
| Perplexity-User | Perplexity | Odwiedza stronę, gdy użytkownik pyta Perplexity, i może podać do niej link w odpowiedzi | Zwykle ignoruje reguły, bo pobranie zlecił użytkownik |
| ChatGPT-User | OpenAI | Wybrane akcje użytkownika w ChatGPT i w Custom GPTs | Reguły mogą nie mieć zastosowania, bo akcję zainicjował użytkownik |
| Claude-User | Anthropic | Pobiera strony, gdy ktoś zadaje pytanie Claude'owi | Wyłączenie Claude-User blokuje pobieranie treści na zapytanie użytkownika |
Wszystkie trzy firmy podkreślają to samo: fetchery nie służą do automatycznego crawlowania ani do zbierania danych treningowych. Perplexity w dokumentacji botów pisze wprost, że Perplexity-User nie zbiera treści do trenowania modeli. OpenAI na stronie o swoich botach dodaje, że ChatGPT-User nie decyduje o tym, czy treść pojawi się w wyszukiwarce ChatGPT. Do tego służy OAI-SearchBot.
Te boty przedstawiają się takimi user-agentami:
Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Perplexity zastrzega, że numer wersji może się zmienić. Filtruj więc po nazwie bota, a nie po całym ciągu.
Robots.txt to prośba, nie zamek
Robots.txt to kartka na drzwiach z napisem „prosimy nie wchodzić”. Kto ją szanuje, nie wejdzie. Kto uznaje, że przyszedł na zaproszenie gościa, może ją pominąć. Przy fetcherach dwie z trzech firm mówią otwarcie, że tę kartkę traktują inaczej niż przy crawlerach.
Perplexity pisze, że Perplexity-User „generally ignores robots.txt rules”, bo pobranie zlecił użytkownik. OpenAI jest ostrożniejsze: przy ChatGPT-User reguły robots.txt „may not apply”. Po polsku: jeśli wpiszesz Disallow dla tych botów, nie licz, że zatrzymasz wizyty wywołane pytaniem użytkownika.
Anthropic stawia sprawę inaczej. W artykule o crawlerach Anthropic firma pisze, że jej boty respektują dyrektywy robots.txt. O Claude-User mówi, że pozwala właścicielom stron kontrolować, które witryny są dostępne przez zapytania użytkowników. Wyłączenie go uniemożliwia pobranie treści w odpowiedzi na pytanie, ale może też zmniejszyć widoczność strony w wyszukiwaniu, które zleca użytkownik.
Blokada samego Claude'a wygląda tak:
User-agent: Claude-User
Disallow: /
Anthropic zaznacza, że regułę trzeba dodać na każdej subdomenie, którą chcesz wyłączyć. Ostrzega też, że blokowanie adresów IP zamiast wpisu w robots.txt może nie działać poprawnie, bo uniemożliwia botom odczytanie samego pliku.
Jest jeszcze jedna rzecz. Ta sama strona Anthropic odsyła do osobnego artykułu o przeglądarkach hostowanych przez Anthropic, których Claude używa do wykonywania zadań za użytkownika, między innymi w Claude Duet. Przedstawiają się one jako Claude-Agent. To już nie fetcher, który pobiera jedną stronę, tylko przeglądarka wykonująca zadanie. Szczegółów jej działania w tym materiale nie ma, więc nie opisuję ich i nie obiecuję, jak Claude-Agent potraktuje twoje reguły.
Do porządkowania zwykłych crawlerów (GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot) służy osobny poradnik: ClaudeBot, GPTBot, PerplexityBot: które boty AI wpuścić. Tutaj chodzi tylko o wizyty na wezwanie.
Formularze, koszyk i logowanie zabezpieczaj po stronie serwera
Skoro robots.txt nie zatrzyma fetchera, to nie on chroni formularze kontaktowe, koszyk czy panel klienta. Właściwie nigdy ich nie chronił, bo zwykły złośliwy bot też go ignoruje. Fetchery AI tylko to przypominają.
Ostrożnie z wnioskami. Dokumentacja opisuje, że fetchery odwiedzają strony, żeby odpowiedzieć na pytanie. Nie opisuje, czy wypełniają formularze albo dodają produkty do koszyka. OpenAI wspomina tylko, że użytkownicy ChatGPT mogą korzystać z zewnętrznych aplikacji przez GPT Actions. Anthropic deklaruje, że jego boty respektują zabezpieczenia przed obejściem i nie próbują obchodzić CAPTCHA na stronach, które crawlują. Poniższe zasady wynikają więc z ogólnej logiki: zakładaj, że każdy adres dostępny bez logowania może zostać pobrany automatycznie.
Z tego wynikają trzy reguły:
- Akcje zmieniające stan (wysłanie formularza, złożenie zamówienia, zapis do newslettera) wykonuj tylko przez żądania POST, z tokenem formularza. Link GET w stylu
/koszyk/dodaj?id=123może kliknąć każdy, kto pobiera stronę. - Wszystko, co dotyczy konkretnego klienta (zamówienia, faktury, dane konta), trzymaj za logowaniem. Fetcher nie ma sesji twojego klienta, więc nie zobaczy tego, co jest za hasłem.
- Strony, które mają być czytane i cytowane (opisy usług, karty produktów, cennik, FAQ), zostaw otwarte i czytelne bez JavaScriptu. Jeśli treść ładuje się dopiero po skryptach, sprawdź to według poradnika Treść ładowana JavaScriptem a boty AI.
W praktyce agent AI w przeglądarce bardziej pomaga ci w sprzedaży, niż ją psuje. Zjawia się, bo ktoś właśnie pyta o produkt taki jak twój. Jeśli zablokujesz go odruchowo, odpowiedź powstanie z cudzych stron. Dobre dane na kartach produktów opisuje poradnik Sklep internetowy w odpowiedziach AI.
Podróbki i WAF
Każdy może wpisać w nagłówku „ChatGPT-User” i udawać asystenta. Dlatego wszystkie trzy firmy publikują listy adresów IP, z których działają ich boty:
- Perplexity-User:
https://www.perplexity.ai/perplexity-user.json - ChatGPT-User:
https://openai.com/chatgpt-user.json - Anthropic: w artykule pomocy podaje listę adresów i pisze, że crawler z adresem z tej listy pochodzi od Anthropic.
Perplexity radzi łączyć dopasowanie user-agenta ze sprawdzeniem IP, bo sam nagłówek łatwo podrobić. Jeśli twoją stronę chroni firewall aplikacyjny (WAF), czyli filtr przepuszczający lub odrzucający ruch przed serwerem, może on odcinać prawdziwe fetchery. Dla Cloudflare Perplexity proponuje regułę niestandardową z akcją Skip:
(http.user_agent contains "PerplexityBot" and ip.src in {<zakresy PerplexityBot>})
or (http.user_agent contains "Perplexity-User" and ip.src in {<zakresy Perplexity-User>})
Zakresy wstawiasz z oficjalnych plików JSON i aktualizujesz, gdy się zmienią. Regułę ustawiasz nad regułami, które blokują albo wyświetlają wyzwanie, bo Skip omija tylko reguły uruchamiane po nim. Dwa haczyki z dokumentacji: Bot Fight Mode w Cloudflare nie da się pominąć regułą niestandardową, więc może nadal zatrzymywać boty, a darmowy plan pozwala na jedną listę IP, co nie wystarcza na dwa boty. W AWS WAF tworzysz zbiory IP i reguły Allow łączące IP z nagłówkiem User-Agent, z niższym numerem priorytetu niż reguły blokujące. Więcej o Cloudflare znajdziesz w poradniku Cloudflare blokuje boty AI?.
Sprawdź dziś, kto u ciebie bywa
Zrób to w ciągu godziny, zanim zmienisz jakąkolwiek regułę:
- Pobierz z hostingu surowe logi serwera z ostatnich dwóch tygodni.
- Wyszukaj w nich trzy nazwy:
Perplexity-User,ChatGPT-User,Claude-User. Zanotuj, które adresy URL pobierały i z jakim kodem odpowiedzi (200, 403, 503). - Kilka adresów IP z tych wpisów porównaj z oficjalnymi listami w plikach JSON. Wpis z nazwą bota i obcym IP to podróbka i możesz go blokować bez wahania.
- Jeśli prawdziwe fetchery dostają 403 albo stronę z wyzwaniem, znajdź regułę WAF, która to robi, i dodaj nad nią wyjątek według instrukcji z poprzedniej sekcji.
- Przejdź swoje formularze i koszyk. Każdą akcję wykonywaną linkiem GET przepisz na POST z tokenem. Wszystko, co dotyczy danych klienta, zostaw za logowaniem.
- Otwórz robots.txt i sprawdź, czy przypadkiem nie blokujesz
Claude-User. To jedyny z trzech fetcherów, przy którym Anthropic potwierdza, że blokada działa, więc taki wpis odcina cię od odpowiedzi Claude'a. - Po zmianach przez kilka dni obserwuj logi. Perplexity uprzedza, że zmiany w WAF mogą wchodzić w życie z opóźnieniem.
Pełniejszą listę kontrolną, od robots.txt po pomiar, znajdziesz w poradniku Audyt widoczności w AI w 7 krokach.
Kiedy już wiesz, kto przychodzi, zostaje pytanie, po co przychodzi. Wejście ChatGPT-User w logach oznacza, że ktoś zadał pytanie, przy którym twoja strona się przydała. Nie wiesz natomiast, czy w odpowiedzi trafiła do źródeł, czy asystent przeczytał ją i polecił konkurencję.
Źródła
- Perplexity: Perplexity Crawlers - opis PerplexityBot i Perplexity-User, informacja o pomijaniu robots.txt, listy IP i konfiguracja WAF w Cloudflare i AWS.
- OpenAI: Overview of OpenAI Crawlers - opis ChatGPT-User, jego stosunek do robots.txt, user-agent i lista adresów IP.
- Anthropic: Does Anthropic crawl data from the web - rola Claude-User, skutki jego blokady, zasady robots.txt, CAPTCHA i wzmianka o Claude-Agent.
To, czy po takiej wizycie twoja strona trafia do źródeł odpowiedzi, sprawdzisz w darmowym teście SEO Maestro. Narzędzie zadaje trzy branżowe pytania pięciu silnikom AI i pokazuje, kogo cytują zamiast ciebie.
Czytaj dalej
Jak działa wyszukiwarka Google: skanowanie, indeksowanie i AI
Jak działa wyszukiwarka Google: trzy etapy z dokumentacji, miejsce AI Overviews i AI Mode, czego Google nie gwarantuje i co sprawdzić na swojej stronie.
22.11.2026 · 8 minAdres kanoniczny (canonical): jedna wersja strony dla Google i AI
Adres kanoniczny krok po kroku: rel=canonical, przekierowania, sygnały Google, zasady RFC 6596 i typowe błędy w sklepach i na blogach.
21.11.2026 · 8 minRSS a boty AI: kanał RSS i Atom, który czytają wyszukiwarki
RSS a boty AI: jak zbudować poprawny kanał RSS 2.0 lub Atom, zgłosić go Google jako sitemap i powiadamiać o zmianach przez WebSub. Z przykładami kodu.