# robots.txt IDN96 - https://idn96.id/
# Seluruh isi situs boleh dirayapi dan dipakai sebagai rujukan, termasuk oleh
# perayap model bahasa. Tidak ada satu pun jalur yang ditutup di sini.
#
# Halaman akun (/masuk/ dan /daftar/) memang tidak perlu masuk indeks, tetapi
# cara menutupnya BUKAN lewat Disallow. Disallow menghentikan perayapan, sehingga
# arahan noindex di halamannya tidak pernah terbaca — URL-nya justru bisa tetap
# muncul di hasil pencarian tanpa cuplikan. Keduanya kini memakai
# "noindex,follow" di halamannya masing-masing: dirayapi, tidak diindeks, dan
# tautan di dalamnya tetap ditelusuri.
#
# Ringkasan situs untuk model bahasa : https://idn96.id/llms.txt
# Seluruh isi dalam satu berkas teks   : https://idn96.id/llms-full.txt
# Umpan RSS                            : https://idn96.id/rss.xml

User-agent: *
Allow: /

# ---------------------------------------------------------------- perayap AI
# OpenAI - pelatihan
User-agent: GPTBot
Allow: /

# OpenAI - pencarian ChatGPT
User-agent: OAI-SearchBot
Allow: /

# OpenAI - kunjungan atas permintaan pengguna
User-agent: ChatGPT-User
Allow: /

# Anthropic - pelatihan
User-agent: ClaudeBot
Allow: /

# Anthropic - kunjungan atas permintaan pengguna
User-agent: Claude-Web
Allow: /

# Anthropic - pencarian
User-agent: Claude-SearchBot
Allow: /

# Anthropic - nama lama
User-agent: anthropic-ai
Allow: /

# Google - Gemini dan Vertex AI
User-agent: Google-Extended
Allow: /

# Perplexity - indeks
User-agent: PerplexityBot
Allow: /

# Perplexity - kunjungan atas permintaan pengguna
User-agent: Perplexity-User
Allow: /

# Apple - Siri dan Spotlight
User-agent: Applebot
Allow: /

# Apple - pelatihan Apple Intelligence
User-agent: Applebot-Extended
Allow: /

# Amazon - Alexa
User-agent: Amazonbot
Allow: /

# ByteDance
User-agent: Bytespider
Allow: /

# Common Crawl - dipakai banyak model
User-agent: CCBot
Allow: /

# Cohere
User-agent: cohere-ai
Allow: /

# Meta AI
User-agent: Meta-ExternalAgent
Allow: /

# Diffbot
User-agent: Diffbot
Allow: /

# Webz.io
User-agent: omgili
Allow: /

# Timpi
User-agent: Timpibot
Allow: /

# You.com
User-agent: YouBot
Allow: /

# ---------------------------------------------------------------- peta & umpan
Sitemap: https://idn96.id/sitemap-index.xml
Sitemap: https://idn96.id/sitemap.xml
Sitemap: https://idn96.id/sitemap-images.xml