seomaestro

Poradniki · Technika

Common Crawl i CCBot: skąd modele AI mogą znać twoją stronę

Czym jest Common Crawl i jego bot CCBot, jak go zablokować albo spowolnić w robots.txt i co realnie zmienia taka blokada. Z przykładami kodu.

Redakcja SEO Maestro12.11.20266 min czytaniaźródła sprawdzone 12.11.2026

W logach serwera widzisz wpis CCBot/2.0 (https://commoncrawl.org/faq/) i nie wiesz, czy to wróg, czy sojusznik. To robot Common Crawl, organizacji, która robi kopię internetu i udostępnia ją za darmo każdemu, kto chce ją analizować. Możesz go wpuścić, spowolnić albo zablokować dwiema linijkami w robots.txt. Ten poradnik pokazuje, jak to zrobić i czego taka decyzja nie załatwi.

Darmowa kopia internetu dla każdego

Według FAQ Common Crawl to organizacja non-profit (status 501(c)(3) w USA), która udostępnia kopię internetu badaczom, firmom i osobom prywatnym, bez opłat, do badań i analiz. Działa jak publiczna biblioteka, która co jakiś czas fotografuje fragment sieci i wystawia zdjęcia na półkę dla wszystkich.

Dane leżą w usłudze Amazon S3, więc da się je pobrać hurtowo albo przetwarzać bezpośrednio w chmurze. FAQ wymienia przykładowe zastosowania: ulepszanie oprogramowania do tłumaczeń, przewidywanie trendów, śledzenie rozprzestrzeniania się chorób. Na pytanie, czemu nie zostawić tego Google czy Microsoftowi, organizacja odpowiada, że chce „zdemokratyzować dane”, tak żeby wysokiej jakości analizy mogły robić nie tylko duże firmy. Warunki korzystania ograniczono do minimum, głównie po to, by zapobiegać nadużyciom i użyciu niezgodnemu z prawem.

To wyjaśnia tytuł. Skoro zbiór jest otwarty i darmowy dla firm, może z niego skorzystać także ktoś, kto buduje model językowy. Trzeba jednak uczciwie zaznaczyć, że FAQ nie podaje listy firm ani modeli, które korzystają z tych danych. Nie wiesz więc z tego dokumentu, czy konkretny asystent AI zna twoją stronę akurat z Common Crawl. Wiesz tylko tyle, że twoja strona mogła trafić do zbioru, który każdy może pobrać.

Ważny jest jeszcze jeden szczegół. Common Crawl nie archiwizuje całych witryn. Zbiór to próbka sieci, z każdej strony losowo wybrany podzbiór podstron. Brak twojego artykułu w archiwum nie oznacza więc błędu, tylko zasadę działania.

Jak CCBot chodzi po twojej stronie

CCBot to robot oparty na Apache Nutch i Hadoop. Kandydatów do pobrania wybiera z własnej bazy, sortuje według domen i rozdziela między serwery. Zachowanie robota opisane w FAQ ma kilka praktycznych skutków dla ciebie:

  • Najpierw sprawdza robots.txt, a stronę pobiera tylko wtedy, gdy reguły na to pozwalają.
  • Nie wykonuje JavaScriptu i nie używa ciasteczek. Jeśli treść twojej strony dociera do przeglądarki dopiero po załadowaniu skryptów, CCBot zobaczy pustą skorupę. Więcej o tym problemie piszemy w poradniku o treści ładowanej JavaScriptem.
  • Podąża za maksymalnie czterema przekierowaniami pod rząd, a przy pobieraniu robots.txt za pięcioma, zgodnie z RFC 9309. Długie łańcuchy przekierowań mogą więc odciąć część adresów.
  • Obsługuje mapy witryny zgłoszone w robots.txt, zapytania warunkowe i kompresję gzip, Brotli oraz ZStandard.
  • Respektuje atrybut nofollow w linkach na twojej stronie.
  • Może trafić na podstrony, do których sam nie linkujesz, bo znajduje je przez linki z innych witryn.

Obciążenia serwera raczej nie musisz się obawiać. Robot domyślnie czeka kilka sekund między kolejnymi zapytaniami do tej samej witryny. Gdy serwer odpowiada kodem 429 albo 5xx, automatycznie zwalnia.

Zablokuj albo spowolnij CCBot w robots.txt

Blokada jest prosta. Common Crawl podaje w FAQ, że jego robot przedstawia się w robots.txt jako CCBot. Żeby całkowicie zatrzymać pobieranie strony, dopisujesz:

User-agent: CCBot
Disallow: /

Jeśli przeszkadza ci tylko tempo, a nie sam fakt pobierania, możesz go spowolnić. CCBot respektuje dyrektywę Crawl-delay. Poniższy zapis oznacza najwyżej jedno zapytanie na dwie sekundy:

User-agent: CCBot
Crawl-delay: 2

Tu kryje się pułapka, o której łatwo zapomnieć. RFC 9309 mówi, że robot szuka grupy ze swoją nazwą, a regułami dla wszystkich (User-agent: ) kieruje się tylko wtedy, gdy takiej grupy nie znajdzie. Jeśli więc w sekcji blokujesz katalog /panel/, a potem dodajesz osobną grupę dla CCBot z samym Crawl-delay, CCBot przestaje widzieć blokadę /panel/. Grupa dla niego musi zawierać wszystkie reguły, które mają go obowiązywać:

# robots.txt dla przyklad.pl (Pracownia Kowalski)
User-agent: *
Disallow: /panel/

User-agent: CCBot
Crawl-delay: 2
Disallow: /panel/

Sitemap: https://przyklad.pl/sitemap.xml

Wielkość liter w nazwie robota nie ma znaczenia, bo według RFC dopasowanie musi być niewrażliwe na wielkość liter. Ścieżki w regułach Allow i Disallow są już porównywane z rozróżnieniem wielkości liter, a przy konflikcie wygrywa reguła najbardziej szczegółowa, czyli najdłuższa.

Blokada CCBot nie dotyczy innych robotów. Googlebot, GPTBot czy ClaudeBot mają własne nazwy i własne grupy. Decyzje o nich opisujemy w poradnikach o ClaudeBot, GPTBot i PerplexityBot oraz o Google-Extended.

Co naprawdę zmienia blokada

Robots.txt to prośba, nie zamek. RFC 9309 mówi to wprost: reguły nie są formą autoryzacji dostępu. Dokumentacja Google dodaje, że plik nie wymusza zachowania robota i to od robota zależy, czy go posłucha. Szanowane roboty słuchają, inne mogą nie słuchać. Jeśli coś ma pozostać prywatne, potrzebujesz hasła, a nie wpisu w robots.txt.

Po blokadzie Common Crawl obiecuje, że robot przestanie pobierać twoją stronę, i będzie co jakiś czas sprawdzał, czy plik się zmienił. FAQ opisuje tylko zatrzymanie przyszłego pobierania. Nie mówi, że kopie zebrane wcześniej znikną z archiwum. Kto pobrał starszy zbiór, nadal go ma. Dla osób, które chcą pójść dalej, FAQ wspomina o rejestrze rezygnacji (opt-out registry), opisanym w osobnym wpisie na blogu organizacji. Szczegóły jego działania warto sprawdzić u źródła, bo FAQ ich nie podaje.

Jest też druga strona. Blokując CCBot, rezygnujesz z obecności w otwartym zbiorze, z którego korzystają badacze i firmy. Jeśli twoim celem jest, żeby jak najwięcej narzędzi znało twoją markę, blokada działa przeciwko temu celowi. Gwarancji nie ma w żadną stronę. Wpuszczenie CCBot nie oznacza, że jakikolwiek model wspomni o twojej firmie. Blokada nie usuwa jej z odpowiedzi, które powstają dziś. Asystenci z wyszukiwaniem na żywo sięgają po strony w chwili zadania pytania, swoimi robotami. O tym, jak zdobywają źródła, piszemy w poradniku o ChatGPT search.

Najprościej ujmuje to następujące rozróżnienie: CCBot decyduje o tym, czy twoja strona trafi do publicznego archiwum. O tym, czy asystent AI zacytuje cię jutro, decydują inne roboty i treść, którą zobaczą.

Sprawdź i zdecyduj dziś

Całość zajmie ci kwadrans:

  1. Przeszukaj logi serwera pod kątem frazy CCBot. Wpis CCBot/2.0 oznacza obecną wersję robota, CCBot/1.0 starszą.
  2. Zweryfikuj, czy to prawdziwy CCBot, bo nazwę może podać każdy. Robot działa na wydzielonych adresach IP z odwrotnym DNS. Polecenie host z adresem IP z logów powinno zwrócić nazwę w domenie crawl.commoncrawl.org, a zapytanie o tę nazwę powinno wrócić do tego samego IP. Aktualne zakresy adresów Common Crawl publikuje w pliku JSON pod adresem index.commoncrawl.org/ccbot.json.
  3. Zdecyduj, czego chcesz: obecności w otwartym zbiorze, wolniejszego pobierania czy blokady.
  4. Otwórz robots.txt w katalogu głównym domeny, na przykład https://przyklad.pl/robots.txt. Plik musi nazywać się dokładnie tak, małymi literami, i być zapisany w UTF-8. Jeśli korzystasz z CMS-a, edycja może odbywać się w ustawieniach wyszukiwania, a nie bezpośrednio w pliku.
  5. Dopisz grupę User-agent: CCBot z wybranymi regułami i przepisz do niej zakazy z grupy *, które mają nadal obowiązywać.
  6. Jeśli zostawiasz CCBot, dodaj linię Sitemap: z adresem mapy witryny. Robot korzysta z map zgłoszonych w robots.txt.
  7. Otwórz plik w przeglądarce i sprawdź, czy serwer zwraca nową wersję. Po kilku dniach zajrzyj do logów, żeby zobaczyć, czy zachowanie robota się zmieniło.

Jeśli chcesz zrozumieć szerszy obraz, czyli różnicę między robotami, które zbierają dane do archiwów, a tymi, które szukają źródeł do odpowiedzi, zacznij od poradnika o skrótach AEO, GEO i LLM SEO.

Źródła

Jeśli chcesz sprawdzić, czy ChatGPT, Gemini, Perplexity, Claude i Grok cytują dziś twoją stronę jako źródło, uruchom darmowy test SEO Maestro. Wynik dostaniesz po około półtorej minuty, bez zakładania konta.