Jak ověřit, zda se k vašemu webu dostanou AI roboti

To, že se stránka zobrazuje ve vyhledávači, automaticky neznamená, že ji dokážou načíst všechny AI systémy. Různí roboti mají vlastní pravidla, technické možnosti a účel. Někteří procházejí web kvůli trénování modelů, jiní mohou vyhledávat aktuální obsah nebo jej použít při tvorbě odpovědi.

Technická dostupnost je jen jedna podmínka. Sama o sobě nezaručuje citaci ani návštěvnost. Je však vhodné vědět, kteří roboti na web přicházejí, zda dostávají obsah, který očekáváte, a jestli jim v přístupu nebrání nechtěná překážka.

Nejdřív rozlište typy botů

Pojem „AI robot“ označuje různé automatizované klienty. Není bezpečné ani užitečné zacházet se všemi stejně. Provozovatelé služeb mohou používat odlišné roboty pro procházení webu, trénování modelů nebo načítání stránky na vyžádání.

Než začnete měnit pravidla, ujasněte si, co chcete povolit. Pokud chcete omezit využití obsahu pro trénování, ale zachovat možnost jeho načítání při vyhledávání, ověřte, zda daná služba tyto účely skutečně odděluje a jaké názvy botů k nim používá. Pravidla robots.txt nejsou univerzálním vypínačem pro všechny systémy.

Robots.txt je žádost adresovaná robotům, kteří se rozhodnou ji respektovat. Není to řízení přístupu ani ochrana citlivých dat. Důvěrný obsah proto zabezpečte přihlášením nebo jiným technickým omezením, nikoli pouze zápisem v tomto souboru.

Prověřte robots.txt a hlavičky odpovědí

Otevřete robots.txt v kořenové části webu a zkontrolujte pravidla pro jednotlivé uživatelské agenty. Hledejte zejména zákazy, které se týkají důležitých adresářů, například článků, produktů nebo dokumentace. Zvláštní pozornost věnujte obecným pravidlům pro všechny roboty: mohou mít širší dopad, než jejich autor zamýšlel.

Samotný robots.txt ale neukazuje celý stav. Prohlédněte také odpovědi serveru a stránky, které se do něj dostanou. Direktiva noindex v HTML nebo v hlavičce X-Robots-Tag může bránit zařazení stránky do indexu. Přesměrování, chyba 403, chyba 404 nebo opakovaná chyba serveru mohou způsobit, že robot místo obsahu získá jen chybovou odpověď.

Otestujte reprezentativní adresy: hlavní stránku, důležitý článek, kategorii, stránku s parametrem i obsah za případným přesměrováním. Nestačí ověřit jednu URL a předpokládat, že se zbytek webu chová stejně.

Zjistěte, jaký obsah robot skutečně obdrží

Část webů vytváří hlavní obsah až v prohlížeči pomocí JavaScriptu. Vyhledávače mohou mít pro vykreslení stránky své postupy, ale nelze předpokládat, že každý AI crawler spustí stejné skripty a načte všechny následné požadavky.

Prakticky porovnejte HTML odpověď serveru s obsahem zobrazeným v běžném prohlížeči. Pokud server vrací jen prázdný kontejner a text se doplní až po načtení aplikace, může být pro některé roboty hůře dostupný. Řešením může být vykreslení obsahu na serveru nebo předgenerování HTML, nikoli automaticky přidání dalšího skriptu či speciální verze textu pro boty.

Zkontrolujte také, zda hlavní text není schovaný za přihlášením, souhlasovým oknem, interakcí nebo voláním externího API, které robot nemůže dokončit. Důležitý obsah by měl být v odpovědi stránky přístupný srozumitelně a bez zbytečných kroků.

Využijte serverové logy

Logy serveru pomohou zjistit, které požadavky skutečně dorazily, na jaké adresy mířily a jaký stavový kód web vrátil. Všímejte si opakovaných chyb, pomalých odpovědí, neobvykle častých požadavků a cest, které robot navštěvuje.

Uživatelský agent v logu se dá napodobit. Pokud je potřeba ověřit, že požadavek skutečně pochází od konkrétní služby, postupujte podle jejích pokynů pro ověřování botů. Bez ověření může návštěvnost v logu pocházet od jiného klienta, který pouze používá stejný text v hlavičce.

Logy využijte také k odlišení technické dostupnosti od pouhého nastavení. To, že robots.txt přístup povoluje, nedokazuje, že robot stránku navštívil. A zaznamenaná návštěva ještě nedokazuje, že systém stránku zařadil do své odpovědi.

Kontrolujte obsah, ne pouze přístup

Dostupná stránka může být pro člověka i automatizovaný systém obtížně použitelná. Každá důležitá stránka by měla mít jasné téma, popisné nadpisy, dostatek konkrétních informací a text, který dává smysl i bez vizuálního rozvržení. Tabulky, seznamy a popisky obrázků používejte tam, kde skutečně pomáhají pochopit obsah.

Strukturovaná data mohou vyjadřovat informace o stránce, například její typ, neslouží však jako náhrada za viditelný a srozumitelný obsah. Údaje ve značkách musí odpovídat tomu, co uživatel na stránce skutečně vidí. Nepřidávejte schéma jen s představou, že tím vynutíte citaci v odpovědi AI.

Stejně tak není důvod vytvářet samostatnou „AI verzi“ článku, která se liší od obsahu pro návštěvníky. Udržujte jednu kvalitní, dostupnou stránku a kontrolujte její technické zpracování.

Jak postupovat při auditu

1. Sepište důležité typy stránek, například články, kategorie, produkty a nástroje.

2. Pro každý typ vyberte několik reprezentativních adres a ověřte robots.txt, stavový kód, přesměrování i direktivy indexace.

3. Porovnejte obsah vrácený serverem s tím, co se zobrazí po vykreslení v prohlížeči.

4. Prohlédněte serverové logy a zjistěte, zda očekávané roboty přistupují k důležitým částem webu a zda dostávají úspěšné odpovědi.

5. Opravy ověřte opakovaným testem a sledujte, zda nevznikly nové chyby nebo nechtěné povolení přístupu.

Výsledek auditu oddělujte podle účelu. Přístup robota, načtení obsahu, indexace a skutečné použití stránky v odpovědi jsou různé věci. Pokud je budete měřit odděleně, snáze zjistíte, zda je problém v technickém nastavení, kvalitě stránky, nebo v tom, že daná služba obsah jednoduše nevybrala.