robots.txt - to je důvod
Pokud provozujete web, pravděpodobně jste již v programu FTP objevili soubor s názvem robots.txt. V tomto praktickém tipu se dozvíte, co je za tímto textovým souborem a proč je to důležité.
robots.txt - Požadavky na vyhledávače
Každá doména by měla mít soubor robots.txt. Je to důležitá součást SEO.
- Vyhledávací stroje pracují s prolézacími moduly. Jedná se o malé, samostatně pracující programy. Hledají na internetu obsah. Webové stránky jsou čteny a indexovány.
- Protože prolézací moduly pracují nezávisle, nazývají se také roboty vyhledávacích strojů nebo roboti.
- Soubor robots.txt vašeho webu říká těmto prohledávačům, které adresáře lze a nelze přečíst.
- Chcete-li získat tyto informace, prolézací moduly nejprve hledají doménu robots.txt. Z tohoto důvodu musí být soubor robots.txt na nejvyšší úrovni struktury adresáře. Nesmí být přesunuta do adresáře - potom roboti tyto textové soubory nenajdou.
- Zjednodušeně řečeno, soubor robots.txt umožňuje vyhledávačům procházet dvě informace. Položka „User-agent:“ určuje, pro kterého robota - toto je adresováno v robots.txt jako user-agent - platí následující instrukce.
- Poté následuje položka „povolit:“ nebo „zakázat:“. Poté jsou uvedeny adresáře a podadresáře, které může robot procházet a které adresáře by měly být při indexování vynechány.
- Záznam „dovolit:“ je méně důležitý. Robot také indexuje vše, co není výslovně vyloučeno.
- Některé CMS, jako je Drupal, vytvářejí soubor robots.txt přímo během instalace. Ve WordPress můžete vytvořit soubor robots.txt pomocí pluginu.
Pokud obdržíte zprávu Google „Neobvykle mnoho požadavků“, můžete v našem dalším praktickém tipu zjistit, co můžete dělat.