AI crawlery na webu: co blokovat a jak to ověřit

Automatizované crawlery navštěvují weby z různých důvodů: některé indexují stránky pro vyhledávání, jiné sbírají obsah pro trénování modelů a další načítají konkrétní stránku na žádost uživatele. Označit všechny tyto požadavky za „AI boty“ a plošně je blokovat může být příliš hrubé rozhodnutí.

Pro SEO je důležité vědět, který robot žádá o přístup a jaký dopad bude mít jeho omezení. Blokace může snížit zátěž serveru nebo omezit použití obsahu, zároveň však může zabránit tomu, aby se stránky objevovaly v některých vyhledávacích či odpovědních službách.

Ne každý crawler plní stejnou funkci

Pod označením AI crawler se skrývají různé typy robotů. Jeden může sbírat data pro trénování jazykového modelu, jiný procházet web kvůli vyhledávání a další načítat stránku až ve chvíli, kdy o ni požádá uživatel. Rozdílné účely znamenají také rozdílné důsledky případné blokace.

Proto je vhodné hodnotit jednotlivé uživatelské agenty samostatně. Pokud web zakáže robota určeného pro vyhledávání v konkrétní službě, může přijít o možnost zobrazovat obsah v jejích výsledcích. Zákaz robota určeného pro trénink modelů naproti tomu nemusí mít stejný dopad na vyhledávací funkce.

Než pravidla změníte, ověřte si aktuální účel konkrétního crawleru a jeho označení. Názvy i funkce robotů se mohou měnit a nejasná nebo zastaralá pravidla se obtížně udržují.

Co robots.txt skutečně dělá

Soubor robots.txt obsahuje instrukce pro crawlery, které se jimi rozhodnou řídit. Pravidlo Disallow jim sděluje, že nemají procházet určitou část webu. Nejde ale o heslo, technickou ochranu stránky ani záruku, že se k obsahu nikdo nedostane.

To má dva praktické důsledky. Zaprvé může nepovolený nebo špatně nastavený robot pravidla ignorovat. Zadruhé robots.txt samo o sobě nezabrání přístupu běžných návštěvníků ani jiných automatizovaných nástrojů. Pokud má být obsah skutečně neveřejný, musí být chráněn například ověřováním přístupu na serveru.

Robots.txt také není totéž co direktiva noindex. Omezení procházení určuje, zda má crawler navštívit stránku; samo o sobě ale nezaručuje, že URL nebude nikde uvedena. Pro řízení indexace je potřeba pracovat s odpovídajícími signály a zajistit, aby je robot mohl načíst.

Jak nastavit selektivní blokování

Nejprve si sepište, čeho chcete dosáhnout. Jde o omezení zátěže serveru, ochranu části obsahu, odmítnutí využití dat k trénování, nebo o vyloučení z konkrétního vyhledávání? Bez jasného cíle se snadno zablokuje více, než je nutné.

1. Rozdělte obsah podle citlivosti. Veřejné články, produktové stránky, uživatelské účty a interní či placené části webu nemusejí mít stejný režim.

2. Rozlišujte crawlery podle účelu. Nezaměňujte robota pro trénink s robotem pro vyhledávání nebo s návštěvou vyvolanou uživatelem.

3. Upravte pravidla pro konkrétního agenta. Pokud chcete povolit jeden typ robota a omezit jiný, použijte samostatná pravidla místo plošného zákazu pro všechny.

4. Zkontrolujte zbytek souboru. Obecné pravidlo pro všechny roboty může v některých případech zablokovat i ty, které jste chtěli povolit.

5. Ověřte výsledek. Zkontrolujte, že robots.txt vrací správný obsah, pravidla jsou dostupná na očekávané doméně a nejsou v rozporu s nastavením CDN nebo serveru.

Pravidla se obvykle vztahují na konkrétní hostitele. Hlavní doména a subdoména proto mohou potřebovat odlišný robots.txt. Zkontrolujte například, zda samostatné prostředí pro obchod, blog nebo zákaznický portál nepřebírá jiné instrukce než hlavní web.

Jak poznat, kteří roboti web skutečně navštěvují

Robots.txt ukazuje zamýšlené pokyny, nikoli kompletní přehled provozu. Skutečné požadavky hledejte v serverových logách nebo nástrojích pro analýzu botů. Sledujte zejména uživatelského agenta, navštívenou cestu, četnost požadavků, stavové kódy a objem přenesených dat.

Samotný text uživatelského agenta není spolehlivým důkazem identity. Může jej napodobit kdokoli, proto u důležitých rozhodnutí ověřujte také další dostupné znaky požadavku, například IP adresu nebo potvrzený rozsah adres provozovatele robota. Pokud tyto údaje ověřit nelze, berte označení v logu jako vodítko, ne jako jistotu.

Než robota zablokujete kvůli vysokému provozu, zjistěte, zda požadavky skutečně zatěžují web a které části prochází. Vhodnější může být omezení rychlosti, ochrana konkrétních cest nebo pravidlo na úrovni firewallu. Plošný zákaz podle názvu agenta může zasáhnout i legitimní přístup.

Jak vyhodnotit dopad na SEO

Po změně pravidel sledujte, zda se nezměnil přístup běžných vyhledávačů k důležitým stránkám, zda neklesla jejich návštěvnost z organického vyhledávání a zda se neobjevily nové chyby při procházení. Zároveň kontrolujte vytížení serveru a počet požadavků od jednotlivých robotů.

U webu, který spoléhá na návštěvnost z vyhledávání, je rozumné oddělit ochranu před nežádoucím využitím obsahu od dostupnosti pro vyhledávací roboty. Přístup k trénovacímu crawleru lze posuzovat jinak než přístup k robotu, který zajišťuje vyhledávací výsledky. Konkrétní rozhodnutí závisí na obchodním cíli, typu obsahu a přínosu daného zdroje návštěvnosti.

Praktický kontrolní seznam

• Je jasné, jaký problém má blokace řešit?

• Víte, zda daný robot slouží k trénování, vyhledávání, nebo návštěvám na vyžádání?

• Neobsahuje robots.txt obecné pravidlo, které přebije zamýšlenou výjimku?

• Jsou správně nastavené také subdomény a případná pravidla na CDN či serveru?

• Ověřili jste změnu v logách a v organické návštěvnosti?

Blokování AI crawlerů není univerzální SEO opatření. Je to technické a obchodní rozhodnutí o tom, kdo smí veřejný obsah procházet a k jakému účelu. Nejbezpečnější postup je rozlišovat jednotlivé roboty, začínat od konkrétního cíle a po každé změně ověřit její skutečný dopad.