Poradniki · Podstawy
Claude wyszukiwanie w internecie: skąd bierze źródła i jak się do nich dostać
Claude wyszukiwanie w internecie w praktyce: rola ClaudeBot, Claude-User i Claude-SearchBot, narzędzie web search w API i lista rzeczy do sprawdzenia w robots.txt.
Redakcja SEO Maestro17.11.20269 min czytaniaźródła sprawdzone 17.11.2026
Klient pyta Claude'a o firmę z twojej branży. Model szuka w sieci i podaje kilka linków, a twojej strony wśród nich nie ma. Zanim zaczniesz poprawiać treści, sprawdź rzecz prostszą: czy boty Anthropic w ogóle mogą do ciebie wejść. Za wyszukiwanie w internecie odpowiadają u Claude'a trzy różne boty i jedno narzędzie w API, a jedna linijka w robots.txt potrafi wyłączyć cię z wyników.
Trzy boty, trzy różne zadania
Anthropic nie wysyła po sieci jednego robota, tylko trzy, i każdy ma inną robotę. Rozdzielenie jest celowe. Właściciel strony może się zgodzić na jedno, a odmówić drugiego, na przykład wpuścić wyszukiwanie i zablokować zbieranie danych do trenowania modeli. Opis wszystkich trzech znajdziesz na stronie pomocy Anthropic o swoich crawlerach:
| Bot | Do czego służy | Co się dzieje, gdy go zablokujesz |
|---|---|---|
| ClaudeBot | zbiera treści, które mogą trafić do trenowania modeli | twoje przyszłe materiały mają być wyłączone z danych treningowych |
| Claude-User | pobiera strony, gdy użytkownik zadaje Claude'owi pytanie | Claude nie pobierze twojej treści w odpowiedzi na pytanie, więc twoja widoczność w wyszukiwaniu na prośbę użytkownika może spaść |
| Claude-SearchBot | przegląda sieć, żeby poprawić trafność wyników wyszukiwania | twoja treść nie zostanie zindeksowana na potrzeby wyszukiwania, więc twoja widoczność w wynikach może spaść |
Jeśli zależy ci na cytowaniach w odpowiedziach, ważne są dwa ostatnie wiersze. ClaudeBot dotyczy trenowania, czyli tego, co model „wie" sam z siebie. Claude-User i Claude-SearchBot dotyczą tego, co Claude znajduje i podaje jako źródło, kiedy szuka na żywo. Działa to jak z gościem na targach: Claude-SearchBot spisuje wcześniej katalog wystawców, a Claude-User idzie do konkretnego stoiska, bo klient o nie zapytał. Jeśli zamkniesz drzwi przed oboma, nie pomoże ci ani dobra treść, ani porządne dane strukturalne.
Istnieje jeszcze czwarta nazwa, Claude-Agent. Tak przedstawiają się przeglądarki uruchamiane przez Anthropic, kiedy Claude wykonuje zadanie w imieniu użytkownika. Ta sama strona pomocy odsyła w tej sprawie do osobnego artykułu, więc tutaj ją tylko odnotowuję.
Pełne porównanie botów różnych firm, w tym GPTBota i PerplexityBota, opisaliśmy w poradniku ClaudeBot, GPTBot, PerplexityBot: które boty AI wpuścić w robots.txt. Tu zostajemy przy Claudzie.
Jak Claude decyduje, że trzeba szukać
Mechanikę wyszukiwania najlepiej widać w dokumentacji dla programistów, czyli w opisie narzędzia web search w API Claude'a. To narzędzie dostaje firma, która buduje na Claudzie własnego asystenta, chatbota w sklepie albo wewnętrzne narzędzie dla handlowców. Twoja strona może więc trafić do odpowiedzi nie tylko w aplikacji Claude'a, ale też w cudzych produktach zbudowanych na tym modelu.
Proces ma trzy etapy:
- Claude na podstawie pytania sam ocenia, czy potrzebuje wyszukiwania.
- API wykonuje wyszukiwania i przekazuje mu wyniki. W jednym zapytaniu może się to powtórzyć kilka razy.
- Na koniec Claude podaje odpowiedź z cytowanymi źródłami.
Według dokumentacji Claude szuka, gdy pytanie dotyczy rzeczy bieżących, zmiennych albo spoza danych treningowych. Chodzi o świeże wydarzenia i ogłoszenia, aktualne ceny, stawki i statystyki, informacje o konkretnych firmach, osobach lub produktach, które mogły się zmienić, oraz sytuacje, w których użytkownik wprost prosi o wyszukanie. Bez wyszukiwania odpowiada na pytania o utrwaloną wiedzę, matematykę, podstawy nauki i programowania, przy pisaniu tekstów, analizie materiału podanego w rozmowie i w zwykłej pogawędce.
Pytania klientów o usługodawców pasują do pierwszej grupy. Ktoś, kto pyta o pracownię meblową w Poznaniu albo o ceny wdrożenia systemu, prosi właśnie o „informacje o konkretnych organizacjach i produktach, które mogły się zmienić". W takich chwilach Claude sięga do sieci, a ty możesz zostać źródłem.
Dokumentacja podaje też skalę: proste pytania o jeden fakt zwykle zużywają od 1 do 3 wyszukiwań, porównania i analizy wielu podmiotów potrafią zużyć 10 i więcej. Przy pytaniu porównawczym („który producent okien w Wielkopolsce…") konkurencja o miejsce w źródłach rozkłada się więc na wiele wyszukiwań.
Co widzi programista, a co z tego masz ty
Odpowiedź z narzędzia web search ma kilka pól, które mówią sporo o tym, jak twoja strona jest „czytana".
Każdy wynik wyszukiwania zawiera adres (url), tytuł strony (title) i pole page_age, czyli informację, kiedy strona była ostatnio aktualizowana. Wynika z tego, że tytuł i data aktualizacji to dane, które model dostaje dosłownie. Nieczytelny tytuł w rodzaju „Strona główna" albo brak sygnału świeżości to słabszy start.
Cytowania są w tym narzędziu zawsze włączone. Każde zawiera pole cited_text, czyli do 150 znaków cytowanego fragmentu. 150 znaków to mniej więcej jedno zdanie. Zdanie, które samo w sobie odpowiada na pytanie, z nazwą firmy, miejscem i konkretem, łatwiej przytoczyć niż akapit, w którym odpowiedź rozmywa się w trzech zdaniach wstępu. Jak budować takie fragmenty, opisujemy w poradniku Treść cytowana przez AI: struktura strony krok po kroku.
Dokumentacja zobowiązuje też twórców aplikacji: jeśli pokazują wyniki z API bezpośrednio użytkownikom, muszą dołączyć cytowania do oryginalnego źródła. Link do twojej strony nie jest więc dodatkiem, tylko częścią odpowiedzi.
Są jeszcze ustawienia, na które nie masz wpływu, ale warto o nich wiedzieć:
allowed_domainsiblocked_domainspozwalają twórcy aplikacji ograniczyć wyszukiwanie do wybranych domen albo wykluczyć niektóre. Nie można użyć obu naraz. Administrator organizacji może też ograniczyć domeny w Claude Console. Jeśli jakiś chatbot branżowy przeszukuje tylko „zaufane" serwisy, a ciebie na tej liście nie ma, nie zobaczy cię niezależnie od robots.txt.user_locationlokalizuje wyniki według miasta, regionu, kraju (dwuliterowy kod, dla PolskiPL) albo strefy czasowej. Dla lokalnej firmy to istotne: asystent ustawiony na Polskę i Wrocław może dostawać inne wyniki niż ten bez lokalizacji. Więcej o lokalnych sygnałach w poradniku Lokalna firma w odpowiedziach AI.max_usesogranicza liczbę wyszukiwań w jednej turze. Przy niskim limicie Claude ma mniej okazji, żeby do ciebie dotrzeć.
Uczciwie trzeba dodać, że dokumentacja nie mówi, według jakich kryteriów Claude wybiera z wyników te strony, które cytuje. Nie ma tu przepisu na pierwsze miejsce. Masz natomiast wpływ na to, czy w ogóle możesz się w wynikach znaleźć i czy twój fragment da się zacytować.
Robots.txt, który mówi to, co myślisz
Anthropic deklaruje, że jego boty respektują dyrektywy robots.txt, nie obchodzą CAPTCHA i obsługują niestandardowe rozszerzenie Crawl-delay. Plik robots.txt działa według standardu RFC 9309, a kilka zapisanych w nim reguł tłumaczy większość błędów, które widujemy u firm.
Po pierwsze, bot szuka grupy ze swoją nazwą, a wielkość liter przy tym nie ma znaczenia. Jeśli żadna grupa go nie wymienia, stosuje się do grupy User-agent: . Częsta pułapka wygląda tak: ktoś kiedyś wpisał User-agent: z Disallow: /, żeby zamknąć stronę w trakcie budowy, i nigdy tego nie usunął. Claude-User i Claude-SearchBot podlegają wtedy tej blokadzie, choć nikt ich nie wymienił z nazwy.
Po drugie, przy konflikcie reguł wygrywa najbardziej szczegółowa, czyli najdłuższa pasująca ścieżka. Gdy Allow i Disallow są równoważne, pierwszeństwo ma Allow.
Po trzecie, plik musi leżeć pod adresem /robots.txt (małymi literami) w głównym katalogu, w kodowaniu UTF-8 i jako text/plain. Anthropic przypomina też, że każda subdomena potrzebuje własnego pliku. Blokada na przyklad.pl nie obejmuje sklep.przyklad.pl i odwrotnie.
Po czwarte, standard mówi wprost, że reguły robots.txt nie są formą autoryzacji dostępu. To prośba, którą uczciwe boty respektują, a nie zamek. Anthropic dodaje, że blokowanie adresów IP jego botów może nie działać poprawnie ani trwale, bo bot nie zdoła wtedy odczytać twojego robots.txt.
Przykład dla firmy, która chce być widoczna w wyszukiwaniu Claude'a, ale nie chce oddawać treści do trenowania modeli:
# robots.txt dla przyklad.pl - Pracownia Kowalski
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
Disallow: /panel/
User-agent: Claude-User
Allow: /
Disallow: /panel/
User-agent: *
Disallow: /panel/
Decyzja o ClaudeBocie należy do ciebie. To kwestia polityki wobec trenowania, a nie widoczności w wyszukiwaniu na żywo. Anthropic informuje też, że zaczyna uwzględniać nowy, maszynowo czytelny sygnał „no AI training", oparty na szkicu grupy aipref w IETF. Zaznacza jednak, że standard się zmienia, a reguły wymieniające ClaudeBota z nazwy mają pierwszeństwo przed ogólnym ustawieniem. Jeśli chcesz mieć pewność, nazwij ClaudeBota wprost. Szerszy kontekst trenowania opisujemy w poradniku Common Crawl i CCBot.
Sprawdź swoją stronę dziś
Poniższa lista zajmie ci kwadrans, a odpowie na podstawowe pytanie: czy Claude może cię znaleźć i zacytować.
- Otwórz w przeglądarce przyklad.pl/robots.txt, wstawiając swoją domenę. Sprawdź, czy plik w ogóle istnieje i czy nie przekierowuje w dziwne miejsce. Standard zaleca, żeby boty podążały za co najmniej pięcioma kolejnymi przekierowaniami, ale prosty plik bez przekierowań to mniej niespodzianek.
- Poszukaj grupy
User-agent: *. Jeśli jest w niejDisallow: /, to w praktyce blokujesz Claude-User i Claude-SearchBot, o ile nie mają własnych grup. - Poszukaj nazw ClaudeBot, Claude-User i Claude-SearchBot. Zapisz, co każda grupa pozwala, a czego zabrania, i porównaj z tabelą z początku tekstu. Czy to naprawdę twoja decyzja?
- Powtórz kroki 1-3 dla każdej subdomeny, na której masz treści dla klientów: bloga, sklepu, bazy wiedzy.
- Zapytaj osobę od hostingu lub serwera, czy nie ma blokad adresów IP albo reguł zapory wymierzonych w boty AI. Takie blokady działają poza robots.txt i często nikt o nich nie pamięta. Jeśli korzystasz z Cloudflare, przejdź poradnik Cloudflare blokuje boty AI?.
- Przejrzyj tytuły trzech najważniejszych podstron. Czy z samego tytułu widać, czego dotyczy strona i czyja jest? To pole Claude dostaje dosłownie w wynikach.
- Na stronie z ofertą znajdź zdanie, które w 150 znakach odpowiada na pytanie klienta: kto, co, gdzie. Jeśli go nie ma, napisz je.
Jeśli twoja treść ładuje się dopiero po wykonaniu JavaScriptu, dodaj ósmy punkt i sprawdź, co bot widzi w surowym HTML-u. Opisujemy to w poradniku Treść ładowana JavaScriptem a boty AI. Całą procedurę, od robots.txt po pomiar, zebraliśmy w audycie widoczności w AI w 7 krokach.
Otwarte drzwi nie gwarantują cytowania. Dokumentacja Anthropic nie obiecuje nikomu miejsca w źródłach. Zamknięte drzwi gwarantują natomiast, że cytowania nie będzie, a to jedyna część tej układanki, którą możesz naprawić w kilka minut.
Źródła
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? - opis ClaudeBota, Claude-User i Claude-SearchBota, skutków ich blokowania, Crawl-delay, subdomen i sygnału dotyczącego trenowania.
- Claude Docs: Web search tool - jak Claude decyduje o wyszukiwaniu, pola wyników i cytowań, filtrowanie domen, lokalizacja i limity wyszukiwań.
- RFC 9309: Robots Exclusion Protocol - zasady dopasowania grup i reguł w robots.txt, wymagania co do pliku i przekierowań.
Kiedy robots.txt jest już w porządku, sprawdź, czy Claude i inne asystenty rzeczywiście cytują twoją stronę. W darmowym teście SEO Maestro zobaczysz to dla trzech pytań z twojej branży w pięciu silnikach, w tym w Claudzie.
Czytaj dalej
Jak działa wyszukiwarka Google: skanowanie, indeksowanie i AI
Jak działa wyszukiwarka Google: trzy etapy z dokumentacji, miejsce AI Overviews i AI Mode, czego Google nie gwarantuje i co sprawdzić na swojej stronie.
22.11.2026 · 8 minAdres kanoniczny (canonical): jedna wersja strony dla Google i AI
Adres kanoniczny krok po kroku: rel=canonical, przekierowania, sygnały Google, zasady RFC 6596 i typowe błędy w sklepach i na blogach.
21.11.2026 · 8 minRSS a boty AI: kanał RSS i Atom, który czytają wyszukiwarki
RSS a boty AI: jak zbudować poprawny kanał RSS 2.0 lub Atom, zgłosić go Google jako sitemap i powiadamiać o zmianach przez WebSub. Z przykładami kodu.