Co je robots.txt a sitemap.xml? Robots.txt je textový soubor v kořenovém adresáři vašeho webu, který říká vyhledávacím robotům (Googlebot, Bingbot, SeznamBot), které části webu smí procházet a které nikoliv. Sitemap.xml je naopak pozitivní signál – XML soubor obsahující seznam všech stránek, které chcete mít zaindexované.
Tyto dva soubory tvoří základní komunikační vrstvu mezi vaším webem a vyhledávači. Robots.txt funguje jako vrátný, který říká: „Sem můžeš, sem ne.“ Sitemap.xml funguje jako průvodce, který říká: „Tady jsou všechny důležité stránky, podívej se na ně.“ Bez správné konfigurace obou souborů riskujete, že Google bude plýtvat crawl budgetem na irelevantní stránky (administrace, interní vyhledávání) místo na váš hodnotný obsah. V roce 2026 navíc přibývá nová dimenze – AI crawlery (GPTBot, Claude-Web) a dalších LLM botů, jejichž přístup můžete v robots.txt explicitně řídit. Pojďme si oba soubory rozebrat a ukázat si optimální konfiguraci pro WordPress web.
Klíčové poznatky
- Robots.txt neblokuje indexaci: Soubor robots.txt zakazuje crawlování, ale NE indexaci. Pokud chcete, aby se stránka neobjevila ve výsledcích, použijte meta tag
noindex. - Sitemap v robots.txt: Vždy uveďte cestu k sitemapě na konci souboru robots.txt řádkem
Sitemap: https://vasedomena.cz/sitemap_index.xml - AI crawlery: V roce 2026 můžete v robots.txt explicitně povolit nebo zakázat přístup AI botům jako GPTBot, Google-Extended nebo ClaudeBot.
Robots.txt: Jak funguje a jak ho nastavit
Soubor robots.txt musí být umístěn v kořenovém adresáři webu (vasedomena.cz/robots.txt). Obsahuje jednoduchá pravidla ve formátu User-agent (komu pravidlo platí) a Disallow/Allow (co zakázat/povolit).
| Direktiva | Co dělá | Příklad |
|---|---|---|
| User-agent: * | Pravidlo platí pro všechny roboty. | User-agent: * |
| Disallow: | Zakáže procházení zadané cesty. | Disallow: /wp-admin/ |
| Allow: | Povolí procházení v rámci zakázané cesty. | Allow: /wp-admin/admin-ajax.php |
| Sitemap: | Odkazuje na XML mapu stránek. | Sitemap: https://example.cz/sitemap.xml |
⚠️ KRITICKÉ VAROVÁNÍ: Disallow ≠ Noindex
Velmi častý omyl: Disallow: /tajna-stranka/ v robots.txt nezabrání indexaci stránky. Google ji jen neprojde, ale pokud na ni existují zpětné odkazy, může se stále objevit ve výsledcích vyhledávání (s poznámkou „Pro tuto stránku není k dispozici žádný popis“). Pokud opravdu chcete zabránit indexaci, použijte meta tag <meta name="robots" content="noindex"> přímo na stránce.
Sitemap.xml: Mapa vašeho webu pro vyhledávače
Sitemap je XML soubor, který obsahuje seznam URL adres vašeho webu spolu s metadaty (datum poslední úpravy, priorita). Pomáhá vyhledávačům efektivněji procházet váš web, zejména pokud máte velký počet stránek nebo složitou strukturu.
💡 PRO TIP: Automatická sitemap ve WordPressu
Plugin Yoast SEO nebo Rank Math automaticky generuje a aktualizuje XML sitemapu pokaždé, když publikujete nebo smažete příspěvek. Výchozí URL je vasedomena.cz/sitemap_index.xml. Po instalaci pluginu ji odešlete do Google Search Console v sekci „Soubory Sitemap“. Nemusíte ji vytvářet ručně.
Správa AI crawlerů v robots.txt
Nový trend roku 2026: kromě tradičních vyhledávačů začíná váš web procházet řada AI botů, které sbírají data pro trénink velkých jazykových modelů. V robots.txt můžete jejich přístup explicitně řídit:
✅ Povolit AI pro SEO benefit
- Povolení Google-Extended umožní Googlu používat váš obsah v AI Overviews, což zvyšuje viditelnost.
- Kvalitní CSS a strukturovaná data pomáhají AI lépe interpretovat váš obsah.
❌ Blokovat tréninkové boty
- GPTBot (OpenAI) a CCBot (Common Crawl) sbírají data primárně pro trénink, ne pro vaši viditelnost.
- Blokování těchto botů nemá vliv na vaše pozice ve vyhledávačích.
Často kladené otázky
Kde najdu robots.txt na svém webu?
Vždy na adrese vasedomena.cz/robots.txt. Ve WordPressu ho generuje Yoast SEO automaticky, ale můžete ho také vytvořit ručně a nahrát přes FTP do kořenového adresáře.
Co se stane, když robots.txt neexistuje?
Vyhledávače budou procházet celý web bez omezení. To není nutně problém u malých webů, ale u velkých projektů to může vést k plýtvání crawl budgetem na irelevantní stránky.
Potřebuji sitemap pro malý web?
Pro weby s méně než 500 stránkami není sitemap kriticky nutná – Google většinu stránek najde přes interní odkazy. Přesto ji doporučujeme, protože urychluje indexaci nového obsahu.
Jak často aktualizovat sitemap?
Automaticky při každé změně obsahu. Pokud používáte Yoast SEO nebo Rank Math, stará se o to plugin sám. Ruční sitemap je nutné aktualizovat pokaždé, když přidáte nebo smažete stránku.
Mohu blokovat konkrétní AI boty?
Ano. Přidejte do robots.txt pravidla jako User-agent: GPTBot / Disallow: / pro blokování OpenAI botu. Každý AI poskytovatel má svůj identifikátor User-agent.
