Poradniki · Technika
Cloudflare blokuje boty AI: sprawdź, czy twój hosting nie odcina ChatGPT i Perplexity
Cloudflare blokuje boty AI domyślnie? Sprawdź w logach, robots.txt i regułach WAF, czy OAI-SearchBot i PerplexityBot docierają do twojej strony.
Redakcja SEO Maestro15.11.20268 min czytaniaźródła sprawdzone 15.11.2026
Masz porządny robots.txt, wpuszczasz OAI-SearchBot i PerplexityBot, a mimo to ChatGPT i Perplexity nie cytują twojej strony. Jeśli domena stoi za Cloudflare, powód może leżeć piętro niżej niż robots.txt. Cloudflare zmienił domyślne ustawienie i blokuje crawlery AI, chyba że płacą twórcom za treść. Do tego jego mechanizmy ochrony przed botami potrafią zatrzymać ruch, który sam chcesz wpuścić. Poniżej sprawdzisz, co się dzieje na twojej stronie i jak to ustawić świadomie.
Content Independence Day, czyli nowa domyślna blokada
1 lipca Cloudflare ogłosił coś, co nazwał Content Independence Day. Matthew Prince, szef firmy, opisał we wpisie na blogu Cloudflare zmianę domyślnego ustawienia: crawlery AI są blokowane, chyba że płacą twórcom za ich treść. Według Cloudflare zmianę wspiera większość czołowych wydawców i firm AI na świecie.
Prince tłumaczy ją umową, na której przez prawie 30 lat stał internet. Wyszukiwarka kopiowała twoją treść i w zamian przysyłała ruch. Asystenci AI też kopiują, ale ruchu oddają dużo mniej. Prince podaje własne szacunki Cloudflare. W porównaniu z Google sprzed lat zdobycie tej samej liczby odwiedzin z OpenAI ma być 750 razy trudniejsze, a z Anthropic 30 000 razy trudniejsze. Z samego Google'a, przez zmiany w interfejsie wyszukiwania, ma to być prawie 10 razy trudniejsze niż dekadę temu.
Pay per crawl to kierunek, który z tego wynika: bot AI płaci za dostęp do treści, zamiast brać ją za darmo. Cloudflare zapowiada też rynek, na którym twórcy i firmy AI mają się rozliczać według tego, ile nowej wiedzy wnosi dana treść, a nie ile ruchu generuje. Na razie to zapowiedź. Prince sam pisze, że firma nie zna jeszcze wszystkich odpowiedzi.
Dla wydawcy, który żyje z reklam i subskrypcji, taka blokada może być sensowną obroną. Firma usługowa albo sklep często chce czegoś odwrotnego: żeby asystent AI wymienił ją z nazwy i podlinkował, kiedy klient pyta o branżę. Wtedy blokada domyślna działa przeciwko tobie, a ty możesz nawet o niej nie wiedzieć.
Trening, wyszukiwanie i agent to trzy różne boty
Najważniejsza rzecz w tym temacie: „bot AI” to nie jedna kategoria. W dokumentacji o botach Cloudflare dzieli je według tego, co robią na stronie, a nie według etykiety. Każdy klient Cloudflare może osobno zarządzać trzema zachowaniami:
| Zachowanie | Co robi bot | Co oznacza dla ciebie |
|---|---|---|
| Search | zbiera lub indeksuje treść, żeby później odpowiadać na pytania o nią | od tego zależy, czy trafisz do źródeł w odpowiedzi |
| Agent | działa w czasie rzeczywistym w imieniu konkretnej osoby, np. pobiera stronę na prośbę czatu | to wizyta wywołana pytaniem użytkownika |
| Training | pobiera treść do trenowania modelu, który na stałe ją wchłania | nie daje cytowania ani linku w odpowiedzi |
Cloudflare zaznacza też, że jeden bot może mieć kilka zachowań naraz. Dlatego nie wystarczy jeden przełącznik „blokuj AI”. Lepiej zdecydować osobno dla każdego zachowania.
Tak samo podzielili swoje boty OpenAI i Perplexity. W dokumentacji botów OpenAI są trzy, które cię interesują:
- OAI-SearchBot służy wyszukiwaniu w ChatGPT. Strony, które go blokują, nie pojawią się w odpowiedziach ChatGPT search, choć mogą jeszcze wystąpić jako linki nawigacyjne.
- GPTBot pobiera treści, które mogą trafić do treningu modeli. Zablokowanie go oznacza, że nie chcesz, by twoja treść służyła do trenowania.
- ChatGPT-User odwiedza stronę, kiedy użytkownik zada pytanie w ChatGPT albo w Custom GPT. OpenAI pisze, że reguły robots.txt mogą go nie obejmować, bo akcję zlecił człowiek.
Dokumentacja Perplexity opisuje dwa boty. PerplexityBot pokazuje i linkuje strony w wynikach Perplexity i według firmy nie służy do zbierania treści dla modeli bazowych. Perplexity-User pobiera stronę, gdy użytkownik zada pytanie. Ponieważ pobranie zlecił człowiek, ten bot zazwyczaj pomija reguły robots.txt.
Wniosek jest prosty. Możesz zablokować trening (GPTBot) i jednocześnie zostać w wynikach wyszukiwania (OAI-SearchBot, PerplexityBot). OpenAI pisze wprost, że te ustawienia są od siebie niezależne. Szczegółowo opisaliśmy to w poradniku ClaudeBot, GPTBot, PerplexityBot: które boty AI wpuścić w robots.txt.
robots.txt to prośba, zapora to zamknięte drzwi
Plik robots.txt działa jak kartka na drzwiach: grzeczny bot ją czyta i stosuje się do niej. Zapora sieciowa Cloudflare (WAF) i jego tryby walki z botami działają inaczej. One fizycznie nie wpuszczają żądania albo pokazują mu wyzwanie, z którym crawler sobie nie poradzi.
Dlatego najczęstsza pułapka wygląda tak. W robots.txt wszystko jest otwarte, ale bot dostaje odmowę, zanim w ogóle przeczyta plik. W logach wygląda to tak, jakby OAI-SearchBot nigdy nie przyszedł, choć w rzeczywistości odbił się od zapory.
Odwrotna sytuacja też się zdarza. Ustawienia Cloudflare przepuszczają ruch, a robots.txt blokuje bota wyszukiwania, bo ktoś kiedyś wpisał tam Disallow: / dla wszystkich nieznanych crawlerów. Musisz sprawdzić oba poziomy.
Przykładowy robots.txt dla Pracowni Kowalski, która chce być cytowana w wyszukiwaniu, ale nie chce oddawać treści do treningu OpenAI:
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
Sitemap: https://przyklad.pl/sitemap.xml
OpenAI podaje, że po zmianie robots.txt jego systemy wyszukiwania dostosowują się w ciągu około 24 godzin. Nie licz więc na efekt od razu.
Sprawdź swoją stronę w pięciu krokach
Na te kroki wystarczy jedno popołudnie. Potrzebujesz dostępu do panelu Cloudflare i do logów serwera albo do zdarzeń bezpieczeństwa w Cloudflare.
- Otwórz robots.txt w przeglądarce. Wejdź na przyklad.pl/robots.txt (podstaw swoją domenę). Poszukaj sekcji dla OAI-SearchBot i PerplexityBot oraz reguły
User-agent: *zDisallow: /, która może je obejmować. Jeśli pliku nie ma, boty traktują stronę jako otwartą. - Przejrzyj w Cloudflare ustawienia botów AI. Sprawdź, czy dla zachowań Search, Agent i Training masz takie ustawienia, jakie wybrałeś sam, a nie odziedziczone domyślne. Podejmij decyzję osobno dla każdego zachowania.
- Sprawdź, czy włączony jest Bot Fight Mode. Perplexity ostrzega, że tego trybu nie da się ominąć regułą WAF. Jeśli jest aktywny, może dalej stawiać wyzwania jego botom, nawet gdy masz dla nich regułę zezwalającą.
- Przeszukaj logi według user-agenta. Szukaj ciągów
OAI-SearchBot,GPTBot,ChatGPT-User,PerplexityBotiPerplexity-User. Zwróć uwagę na kody odpowiedzi: 200 oznacza, że bot dostał treść, a 403 albo strona wyzwania oznacza, że ktoś go zatrzymał. OpenAI dodaje znacznikrobots.txtdo user-agenta, gdy pobiera ten plik, co ułatwia rozróżnienie wizyt nawet w logach bez ścieżek. - Zweryfikuj adresy IP. User-agenta łatwo podrobić. Porównaj IP z oficjalnymi listami: openai.com/searchbot.json i openai.com/gptbot.json dla OpenAI oraz perplexity.ai/perplexitybot.json i perplexity.ai/perplexity-user.json dla Perplexity. Ruch, który podaje się za bota, ale przychodzi spoza tych zakresów, możesz blokować bez obaw.
Jeśli w krokach 4 i 5 widzisz prawdziwe boty z kodem 403, problemem nie jest robots.txt, tylko zapora.
Wpuść boty wyszukiwania regułą WAF
Perplexity w swojej dokumentacji podaje konkretną instrukcję dla Cloudflare. Ten sam schemat możesz zastosować do OAI-SearchBot z adresami IP OpenAI.
- W panelu Cloudflare przejdź do Security → Security rules.
- Wybierz Create rule → Custom rules.
- W Edit expression połącz user-agenta z zakresem IP konkretnego bota. Każdy bot ma własne zakresy:
(http.user_agent contains "PerplexityBot" and ip.src in {<zakresy PerplexityBot>})
or (http.user_agent contains "Perplexity-User" and ip.src in {<zakresy Perplexity-User>})
- Ustaw akcję Skip i zaznacz, co te żądania mają pomijać, np. All remaining custom rules, All managed rules, All rate limiting rules albo All Super Bot Fight Mode rules.
- Umieść regułę nad regułami, które blokują albo stawiają wyzwania. Skip pomija tylko reguły uruchamiane po nim.
Zakresy wklejasz rozdzielone spacjami. Zmieniają się, więc reguła wymaga aktualizacji. Na płatnych planach Cloudflare możesz trzymać zakresy w listach IP (np. ip.src in $perplexitybot) i aktualizować same listy. Na planie darmowym masz tylko jedną listę niestandardową, czyli za mało dla dwóch botów. Perplexity zaleca automatyczne, okresowe pobieranie zakresów z oficjalnych plików JSON. Zmiany w zaporze potrzebują chwili, zanim zaczną działać, więc po wdrożeniu przez kilka dni obserwuj logi.
Pamiętaj jednak, że wpuszczenie bota to warunek konieczny, a nie wystarczający. Odblokowany OAI-SearchBot może przeczytać stronę, ale nikt nie gwarantuje, że ChatGPT ją zacytuje. O tym decyduje treść, jej struktura i to, czy odpowiada na pytania klientów. Więcej znajdziesz w poradnikach o treści cytowanej przez AI i o audycie widoczności w AI. Jeśli twoja strona ładuje treść JavaScriptem, sprawdź też, co widzą boty AI.
Zdecyduj, czego chcesz, zanim zrobi to za ciebie ustawienie domyślne
Domyślna blokada Cloudflare to ustawienie zaprojektowane z myślą o wydawcach, którzy chcą zarabiać na dostępie do treści. Nie musi pasować do twojej firmy. Sensowny układ dla większości firm usługowych i sklepów wygląda tak: boty wyszukiwania (Search) i agenty działające na prośbę użytkownika wpuszczone, trening według własnego uznania. Wydawca, który liczy na pay per crawl, może wybrać inaczej. Ważne, żeby ten wybór był twój, a nie odziedziczony.
Zanim cokolwiek zmienisz, zapisz w logach, ile wizyt OAI-SearchBot i PerplexityBot było z kodem 200, a ile z 403. Po zmianie porównasz te dwie liczby i od razu zobaczysz, czy drzwi naprawdę się otworzyły.
Źródła
- Cloudflare Blog: Content Independence Day - domyślne blokowanie crawlerów AI, idea pay per crawl i szacunki Cloudflare dotyczące ruchu.
- Cloudflare Docs: Bots - podział botów AI na zachowania Search, Agent i Training.
- OpenAI: Overview of OpenAI Crawlers - rola OAI-SearchBot, GPTBot i ChatGPT-User, listy IP oraz czas aktualizacji po zmianie robots.txt.
- Perplexity: Perplexity Crawlers - PerplexityBot i Perplexity-User, konfiguracja reguły WAF w Cloudflare i ograniczenie Bot Fight Mode.
Gdy już otworzysz dostęp, możesz sprawdzić, czy ChatGPT, Gemini, Perplexity, Claude i Grok rzeczywiście cytują twoją stronę. Zrobisz to w darmowym teście SEO Maestro, bez zakładania konta.
Czytaj dalej
Jak działa wyszukiwarka Google: skanowanie, indeksowanie i AI
Jak działa wyszukiwarka Google: trzy etapy z dokumentacji, miejsce AI Overviews i AI Mode, czego Google nie gwarantuje i co sprawdzić na swojej stronie.
22.11.2026 · 8 minAdres kanoniczny (canonical): jedna wersja strony dla Google i AI
Adres kanoniczny krok po kroku: rel=canonical, przekierowania, sygnały Google, zasady RFC 6596 i typowe błędy w sklepach i na blogach.
21.11.2026 · 8 minRSS a boty AI: kanał RSS i Atom, który czytają wyszukiwarki
RSS a boty AI: jak zbudować poprawny kanał RSS 2.0 lub Atom, zgłosić go Google jako sitemap i powiadamiać o zmianach przez WebSub. Z przykładami kodu.