Um per SEO (google, bing, etc) nicht erfasst zu werden: Die Datei robots.txt kann verwendet werden, um Crawler zu steuern. Du kannst sie bearbeiten, indem du folgenden Code hinzufügst: User-agent: *Disallow: / Wichtig: Dies blockiert nur Crawler, die sich an die robots.txt-Regeln halten. Bösartige Bots ignorieren diese.