GoogleBot

Pod tímto pojmem se skrývá robot vyhledávače Google. Jeho primárním úkolem je procházet stránky na internetu a tzv. je zaindexovat. To znamená, že je uloží do své vlastní databáze, z které čerpá ve chvíli, kdy uživatel zadá do vyhledávače hledaný výraz. Předem uložené informace jsou následně zobrazeny v podobě výsledků vyhledávání.

Chování Googlebota je předem dané direktivami souboru robots.txt. Ve chvíli, kdy není žádoucí, aby byly některé stránky webu procházeny, lze to robotovi jednoduše zakázat v již zmíněném textovém souboru. Ten je potřeba vystavit v kořenovém adresáři dané domény. Podobně lze v robots.txt omezit přístup i dalším robotům, např. od Seznam.cz, nástrojů jako je MOZ.com, Ahrefs.com apod.