Skrýt web před Googlem - jak to funguje
Pokud web skryjete před Googlem, nezobrazí se na stránkách s výsledky tohoto a mnoha dalších vyhledávačů. V této příručce vám ukážeme, jak to funguje.
Skrýt domovskou stránku před Googlem
Google a další vyhledávače vyhledávají internet pomocí takzvaných prolézacích modulů, které jsou známé také jako „roboti“ nebo „pavouci“. Tyto indexové soubory pro různé typy vyhledávacích služeb. Prohledávačům můžete zakázat přístup k určitým souborům, cestám nebo celému webu.
- V hlavním adresáři vaší adresy URL vytvořte soubor s názvem „robots.txt“.
- Napište tento "User-agent: *", abyste oslovili všechny prolézací moduly. Ve druhém odstavci vysvětlíme, jak oslovujete pouze určité prolézací moduly.
- Pokud chcete vyloučit soubor z výsledků vyhledávače, napište do řádku "Disallow: \ path \ file name. Přípona souboru". Napište příkaz bez uvozovek a nahraďte „cestu“, „název souboru“ a „příponu souboru“ podle vašich požadavků.
- Chcete-li vyloučit složku, napište "Disallow: \ path \". Ukončete název cesty jako v příkladu zpětným lomítkem.
- Chcete-li skrýt celou adresu URL z vyhledávačů, zadejte příkaz Zakázat: \
- Některé prohledávače postupují podle dodatečných pokynů. Můžete to zadat jako první řádek souboru robots.txt.
Skrýt web před určitými prolézacími moduly
Můžete zadat následující uživatelské agenty, aby se z vašeho webu nedostaly jen určité prolézací moduly:
- „Mozilla / 5.0“ a „Googlebot / 2.1“ pro běžné vyhledávání Google.
- „Googlebot-Image / 1.0“ pro vyhledávání obrázků Google.
- „Googlebot-Video / 1.0“ pro prohledávač videa Google.
- „Googlebot-Mobile / 2.1“ pro vyhledávání Google na mobilních zařízeních.
- „EmailCollector“, takže e-mailové adresy nebudou zaznamenány.
- "Lycos / xx" pro sprchu od Lycos.
- "Bingbot" pro Bingovo hledání.
- Google a Bing uvádí další prohledávače.
- Na webu Abakus Internet Marketing najdete ukázkový soubor, který obsahuje mnoho dalších prohledávačů.