User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: bingbot
Allow: /


User-agent: Applebot
Allow: /


# SEO- und Analyse-Crawler sperren

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /




# Nicht benötigte und auffällige Crawler sperren


User-agent: Bytespider
Disallow: /


User-agent: PetalBot
Disallow: /


User-agent: FleebsBot
Disallow: /


User-agent: SleepBot
Disallow: /


User-agent: ShapBot
Disallow: /


User-agent: Baiduspider
Disallow: /


User-agent: Baiduspider-render
Disallow: /


User-agent: Baiduspider-image
Disallow: /


User-agent: meta-externalagent
Disallow: /


User-agent: meta-externalds
Disallow: /

User-agent: Amazonbot
Disallow: /


User-agent: Applebot-Extended
Disallow: /




# Optional, falls keine Sichtbarkeit gewünscht ist


# User-agent: PerplexityBot

# Disallow: /


# User-agent: Qwantbot

# Disallow: /