# ============================================================
# Norrtelje Tak — robots.txt
# Webbplats: https://norrteljetak.se
# Uppdaterad: 2026-08-31
# Strategi: tillåt sök-, citerings- och seriösa träningsbottar.
# Blockera kända aggressiva (Meta, ByteDance) + SEO-skrap.
# ============================================================

# Alla botar — grundregler (statisk sajt: inga admin- eller sökytor att spärra)
User-agent: *
Allow: /

# ============================================================
# AI-CRAWLERS — EXPLICIT TILLÅTNA
# RFC 9309: en bot som matchar en namngiven grupp läser BARA den
# gruppen — därför samlas alla tillåtna bottar i EN grupp med samma
# regler som *-gruppen.
# ============================================================

# OpenAI (ChatGPT, SearchGPT)
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
# Anthropic (Claude)
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Claude-Web
User-agent: anthropic-ai
# Google AI (Gemini, NotebookLM, Vertex, agenter)
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: Google-CloudVertexBot
User-agent: Google-NotebookLM
User-agent: GoogleAgent-Mariner
# Perplexity
User-agent: PerplexityBot
User-agent: Perplexity-User
# Mistral (Le Chat)
User-agent: MistralAI-User
# xAI (Grok)
User-agent: GrokBot
User-agent: xAI-Grok
User-agent: Grok-DeepSearch
# DuckDuckGo AI
User-agent: DuckAssistBot
# You.com
User-agent: YouBot
# Apple Intelligence (Siri, Spotlight)
User-agent: Applebot
User-agent: Applebot-Extended
# Common Crawl (träningsdata — gråzon, flytta till blockerade vid behov)
User-agent: CCBot
# Cohere AI
User-agent: cohere-ai
# Diffbot (strukturerad data)
User-agent: Diffbot
# Microsoft Copilot / Bing
User-agent: Bingbot
# Amazon (Alexa) — medvetet tillåten
User-agent: Amazonbot
# — delade regler för HELA gruppen ovan (spegel av *-gruppen) —
Allow: /

# ============================================================
# BLOCKERADE: aggressiva träningsbottar och scrapers
# ============================================================
User-agent: FacebookBot
User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: Bytespider
User-agent: ImagesiftBot
User-agent: DataForSeoBot
Disallow: /

# ============================================================
# SEO-BOTAR — BLOCKERADE
# ============================================================
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: PetalBot
Disallow: /

# ============================================================
# SITEMAPS
# ============================================================

Sitemap: https://norrteljetak.se/sitemap-index.xml

# ============================================================
# INFORMATION
# ============================================================
# Företag: Norrtelje Tak (en del av Norrtelje Eldstäder AB)
# AI-kontext: https://norrteljetak.se/llms.txt
# AI-kontext (utökad): https://norrteljetak.se/llms-full.txt
# Kontakt: info@norrteljetak.se
# ============================================================