Um per SEO (google, bing, etc) nicht erfasst zu werden:

1. Anpassung der robots.txt

Die Datei robots.txt kann verwendet werden, um Crawler zu steuern. Du kannst sie bearbeiten, indem du folgenden Code hinzufügst:

User-agent: *
Disallow: /

User-agent: * blockiert alle Crawler.
Disallow: / verweigert den Zugriff auf die gesamte Website.

Wichtig: Dies blockiert nur Crawler, die sich an die robots.txt-Regeln halten. Bösartige Bots ignorieren diese.