Yapay Zeka Botları robots.txt Rehberi: Arama, Eğitim ve Kullanıcı Botları

Yapay zeka botları robots.txt'te nasıl sınıflandırılır?

Yapay zeka botları üç amaçla çalışır ve robots.txt’te üç ayrı karar gerektirir: arama (siteyi yanıtta göstermek), model eğitimi (içeriği eğitim verisi olarak kullanmak) ve kullanıcı isteğiyle sayfa açma. Aşağıdaki tablo OpenAI, Anthropic, Perplexity, Google, Microsoft ve Apple’ın resmî belgelerinden 17 Ekim 2026’da derlendi; “belgeye göre” sütunları şirketlerin kendi ifadesidir.

Şirket	robots.txt jetonu	Amaç	robots.txt (belgeye göre)	Engellerseniz (belgeye göre)
OpenAI	OAI-SearchBot	Arama	robots.txt’te izin verilmesi öneriliyor	ChatGPT arama yanıtlarında gösterilmezsiniz; yalnız gezinme bağlantısı olarak çıkabilirsiniz
OpenAI	GPTBot	Model eğitimi	Engellemek, içeriğin eğitimde kullanılmaması tercihini bildirir	Arama ayarından bağımsızdır
OpenAI	ChatGPT-User	Kullanıcı isteği	Kullanıcı başlattığı için robots.txt kuralları uygulanmayabilir	Arama görünürlüğünü belirlemez; arama tercihi OAI-SearchBot ile yönetilir
OpenAI	OAI-AdsBot	Reklam sayfası kontrolü	Belge robots.txt uyumundan söz etmiyor	Yalnız ChatGPT’de reklam olarak gönderilen sayfaları ziyaret eder; verisi eğitimde kullanılmaz
Anthropic	Claude-SearchBot	Arama	Anthropic botlarının robots.txt yönergelerine uyduğunu söylüyor	Arama için dizine alınmayı engeller; aramada görünürlük ve doğruluk azalabilir
Anthropic	ClaudeBot	Model eğitimi	Aynı uyum ifadesi; Crawl-delay destekleniyor	Sitenin gelecekteki içeriği eğitim veri setlerinden hariç tutulur
Anthropic	Claude-User	Kullanıcı isteği	Aynı uyum ifadesi	Kullanıcı sorgusuna yanıt için içeriğin alınmasını engeller; kullanıcı yönlendirmeli aramada görünürlük azalabilir
Perplexity	PerplexityBot	Arama	Arama sonuçlarında görünmek için izin verilmesi öneriliyor; temel model eğitimi için kullanılmıyor	Belge sonucu ayrıca açıklamıyor
Perplexity	Perplexity-User	Kullanıcı isteği	Kullanıcı istediği için bu getirici robots.txt kurallarını genellikle yok sayar	Eğitim için kullanılmıyor
Google	Googlebot	Arama (AI Bakışı ve AI Modu dahil)	Arama için tarama erişimi Googlebot kurallarıyla yönetilir	AI özelliklerindeki görünümü sınırlamak için nosnippet, data-nosnippet, max-snippet veya noindex kullanılır
Google	Google-Extended	Eğitim ve temellendirme (kontrol jetonu)	Ayrı kullanıcı aracısı dizesi yok; yalnız kontrol jetonu	Gemini Uygulamaları ve Vertex AI için eğitimi ve temellendirmeyi kapatır; Google Arama’ya dahil edilmeyi etkilemez, sıralama sinyali değildir
Google	Google-Agent	Kullanıcı isteği	Kullanıcı tetiklemeli getiriciler genellikle robots.txt’i yok sayar	Google altyapısında çalışan ajanlar kullanıcı isteğiyle web’de gezinir
Google	GoogleOther	Genel amaç	Otomatik taramada robots.txt’e uyar	Belirli bir ürünü etkilemez; iç araştırma ve geliştirme taramalarında kullanılabilir
Microsoft	Bingbot	Arama (Bing ve Copilot)	Bing, robots.txt’te belirtilen tercihlere uyduğunu söylüyor; özel bölüm bulan Bingbot genel bölümü yok sayar	Bing yönergeleri, Bingbot’u robots.txt’te engellemekten kaçınmayı söylüyor
Apple	Applebot	Arama (Spotlight, Siri, Safari)	Standart yönergelere uyar; kendi adı yoksa Googlebot kurallarını izler; Crawl-delay’i izlemez	İzin vermek içeriğin Apple kullanıcılarına arama sonuçlarında görünmesini sağlar
Apple	Applebot-Extended	Model eğitimi (kontrol jetonu)	Web sayfalarını taramaz; yalnız taranan verinin nasıl kullanılacağını belirler	Apple’ın genel amaçlı modellerinin eğitiminde kullanılmayı kapatır; engelleyen sayfalar arama sonuçlarında yer alabilir

Tablodan çıkan kural şudur: eğitim jetonunu kapatmak arama görünürlüğünü kendiliğinden kapatmaz. OpenAI, GPTBot ve OAI-SearchBot ayarlarının birbirinden bağımsız olduğunu, Google, Google-Extended’ın Arama’ya dahil edilmeyi etkilemediğini, Apple ise Applebot-Extended’ın web sayfalarını taramadığını yazıyor. Tabloda olmayan botlar için ilgili şirketin resmî belgesine bakın; bu tablo yalnız belgelerini açıp doğruladığımız altı şirketi kapsar. Her botun ChatGPT’deki ya da Claude’daki rolünü ChatGPT SEO rehberinde, platformların tamamının genel çerçevesini GEO nedir rehberinde bulabilirsiniz.

Hangi robots.txt örneğini kullanmalı?

Üç senaryodan hangisini seçeceğiniz, içeriğinizin yapay zeka yanıtlarında görünmesini ve model eğitiminde kullanılmasını isteyip istemediğinize bağlıdır. Üç dosyayı da 13 tarayıcı jetonu ve 4 adres (ana sayfa, bir hizmet sayfası, yönetim alanı, yönetim alanındaki admin-ajax adresi) için sınadık: 3 × 52 = 156 sınamanın hepsi beklenen sonucu verdi. Sınamada, Google’ın belgesindeki örneklerle doğruladığımız ve RFC 9309 mantığıyla çalışan küçük bir eşleştirici kullandık. Alan adını ve site haritası adresini kendi siteniz için değiştirin.

Senaryo A: tek genel grup

Senaryo A yalnız bir * grubu kullanır: yönetim alanı kapalı, diğer her yer tüm botlara açıktır. Adlı grup olmadığı için her bot bu grubu izler.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://yademreklam.com/wp-sitemap.xml

Senaryo B: arama açık, model eğitimi kapalı

Senaryo B arama ve kullanıcı isteği botlarını açık, model eğitimi jetonlarını kapalı tutar; Googlebot, Bingbot ve adı geçmeyen botlar * grubunu izler. Ortak kurallar arama grubunda da tekrar yazıldı; nedeni bir sonraki bölümde.

# Arama ve kullanıcı isteği botları: açık (ortak kuralları tekrar yazıyoruz)
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Model eğitimi jetonları: kapalı
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Googlebot, Bingbot ve adı geçmeyen diğer botlar
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://yademreklam.com/wp-sitemap.xml

Senaryo C: yapay zeka botlarının hepsi kapalı

Senaryo C adı geçen yapay zeka botlarının hepsini kapatır. OpenAI’ye göre OAI-SearchBot’u kapatan siteler ChatGPT arama yanıtlarında gösterilmez; Anthropic da Claude-SearchBot’u kapatmanın görünürlüğü azaltabileceğini yazıyor. Googlebot ve Bingbot açık kalır.

# Adı geçen yapay zekâ botlarının hepsi kapalı (arama görünürlüğü de kapanır)
User-agent: OAI-SearchBot
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Googlebot, Bingbot ve diğerleri
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://yademreklam.com/wp-sitemap.xml

Neden her bot grubuna ortak kuralları yazmak gerekir?

robots.txt’te bir bot için yalnız en özel grup geçerlidir; bu yüzden * grubundaki kurallar adlı gruplara geçmez. Google, bir tarayıcı için yalnız bir grubun geçerli olduğunu ve özel gruplarla genel (*) grubun birleşmediğini yazıyor; Bing de özel bölüm bulan Bingbot’un genel bölümü yok saydığını, bu yüzden ortak kuralların tekrar yazılması gerektiğini söylüyor. RFC 9309 ise uygun grup yoksa botların * grubunu izlemesini ister. Aşağıdaki kısa dosya bu tuzağı gösterir:

User-agent: *
Disallow: /wp-admin/

User-agent: OAI-SearchBot
Allow: /

Bu dosyada Googlebot * grubunu izler ve /wp-admin/ adresini tarayamaz; OAI-SearchBot ise kendi grubundaki tek kurala (Allow: /) bağlıdır ve /wp-admin/ adresini tarayabilir. Eşleştirici bu iki sonucu da doğruladı. Çözüm iki biçimdedir: aynı kuralları paylaşan botları art arda User-agent satırlarıyla tek gruba yazmak ya da ortak kuralları her adlı gruba yeniden yazmak; Senaryo B ikincisini yapar. RFC 9309 grubu bir ya da daha fazla user-agent satırı ve onları izleyen kurallar olarak tanımlıyor; Google da birden çok tarayıcının kurallarını user-agent satırlarını tekrarlayarak gruplamayı anlatıyor. robots.txt yönetim alanını erişime kapatmaz, yalnız tarama isteği iletir; RFC 9309, kuralların bir erişim yetkilendirmesi olmadığını ve yolların listelenmesinin onları herkese görünür kıldığını belirtiyor.

yademreklam.com'un robots.txt dosyası nasıl düzeltildi?

yademreklam.com’un robots.txt dosyası 17 Ekim 2026’da 12 gruptan tek gruba alınarak düzeltildi; düzeltme sonrası dosya 436 bayttır ve * ile 11 adlı bot art arda User-agent satırlarıyla aynı kural kümesini paylaşır. Düzeltme sonrası dosya (20:32 GMT) aşağıdaki gibidir:

User-agent: *
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Bingbot
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Allow: /

Sitemap: https://yademreklam.com/wp-sitemap.xml

Aynı günün ilk okumasında (18:33 GMT) dosya 537 bayttı ve 12 gruptan oluşuyordu: bir genel (*) grup ile 11 adlı grup. Adlı grupların her biri yalnız Allow: / içeriyordu. Bir bot için yalnız en özel grup geçerli olduğundan GPTBot, OAI-SearchBot, Bingbot ve diğer adlı botlar * grubundaki üç engeli (/wp-admin/, /?s= ve /search/) devralmıyordu; Googlebot ve Applebot dosyada adlandırılmadığı için * grubunu izliyor ve bu adresleri tarayamıyordu. İki hâli aynı eşleştiriciyle sınadık:

Sınama (13 jeton × 6 adres = 78)	Önce: 18:33 GMT, 537 bayt, 12 grup	Sonra: 20:32 GMT, 436 bayt, tek grup
11 adlı bot, /wp-admin/ adresini tarayabilir mi	Evet (11 / 11)	Hayır (11 / 11)
11 adlı bot, /?s=test adresini tarayabilir mi	Evet (11 / 11)	Hayır (11 / 11)
11 adlı bot, /search/abc adresini tarayabilir mi	Evet (11 / 11)	Hayır (11 / 11)
Googlebot ve Applebot (dosyada adlı grupları yok), bu üç adres	Hayır (6 / 6 sınama)	Hayır (6 / 6 sınama)
13 jetonun tamamı, ana sayfa, admin-ajax ve hizmet sayfası	Evet (39 / 39 sınama)	Evet (39 / 39 sınama)
Beklenen sonuçla uyuşan sınama	45 / 78	78 / 78

Önceki dosya geçerli bir robots.txt’ti ve hiçbir hata vermiyordu; fark ancak her bot için hangi grubun geçerli olduğu sınanınca göründü. Düzeltme, önceki bölümde anlatılan iki çözümden birini uyguladı: aynı kuralları paylaşan botlar tek gruba yazıldı. Bu nedenle dosyayı açıp bakmak yetmez; her bot için sınama gerekir. llms.txt dosyasının görevi farklıdır; robots.txt erişimi, llms.txt ise siteyi anlatan bir özeti bildirir. Ayrımı llms.txt nedir sayfasında anlattık.

robots.txt'in yapay zeka botlarına etkisi nasıl doğrulanır?

robots.txt’in botlara etkisini doğrulamak için dosyayı, güvenlik katmanını ve sunucu kayıtlarını sırayla kontrol etmek gerekir; yalnızca dosyaya bakmak yetmez.

1. Dosyayı açın: alanadi.com/robots.txt adresi 200 yanıtı vermeli ve UTF-8 düz metin olmalıdır. Konsolda curl -sI https://alanadi.com/robots.txt komutu yanıt kodunu gösterir.
2. Kuralları sınayın: her bot için hangi grubun geçerli olduğunu ve en uzun kuralın hangisi olduğunu yukarıdaki mantıkla elle ya da bir eşleştiriciyle kontrol edin.
3. Sunucu kayıtlarına bakın: kullanıcı aracısı adıyla gelen isteklerin yanıt kodlarına (200, 403, 429) bakın. Kullanıcı aracısı dizesi taklit edilebilir; OpenAI, Anthropic ve Perplexity IP listeleri yayımlıyor (openai.com/searchbot.json, claude.com/crawling/bots.json, perplexity.com/perplexitybot.json), Google ise ters DNS ve common-crawlers.json nesnesini veriyor.
4. Güvenlik duvarını açın: OpenAI arama botu için yayımladığı IP aralıklarına izin verilmesini, Perplexity ise güvenlik duvarı kullanan sitelerin botlarını hem kullanıcı aracısı hem IP ile izin listesine eklemesini öneriyor. Anthropic, IP engellemenin vazgeçme tercihini güvenceye almayabileceğini, çünkü robots.txt dosyasının okunmasını engelleyebileceğini belirtiyor.
5. Bekleyin: OpenAI ve Perplexity sistemlerinin değişikliğe yaklaşık 24 saatte uyum sağlayabildiğini, Bing ise önbelleğin en az birkaç saat tutulduğunu söylüyor.

Dosya erişilemezse botlar farklı davranır; Google’ın belgesindeki davranış aşağıdaki gibidir:

robots.txt isteğine yanıt	Google’ın davranışı (belgeye göre)
2xx (başarılı)	Dosya sunucunun verdiği hâliyle işlenir
3xx (yönlendirme)	En az beş yönlendirme izlenir, sonra dosya 404 sayılır
4xx (429 hariç)	Geçerli bir robots.txt yokmuş gibi davranır; tarama kısıtı olmadığı varsayılır
5xx (sunucu hatası)	İlk 12 saat site taranmaz ve dosya denenmeye devam edilir; sonraki 30 gün son iyi sürüm kullanılır
Dosya boyutu	500 kibibayt (KiB) sınırı; sınırdan sonrası yok sayılır
Önbellek	Genellikle 24 saate kadar önbellekte tutulur

robots.txt hangi amaçlarda yeterli değildir?

robots.txt bir erişim yetkilendirmesi değil, tarama isteğidir ve her amaç için doğru araç değildir. Kullanıcı isteğiyle çalışan botların robots.txt’i görmeyebildiğini yukarıda gösterdik; içeriğin yanıtlarda kullanımını sınırlamak için platformların kendi denetimleri vardır:

Amaç	Doğru denetim	Kaynak
Sayfayı Google aramasından çıkarmak	noindex; robots.txt engeli sayfayı gizlemez	Google robots.txt belgesi
AI Bakışı ve AI Modu’nda içeriğin gösterimini sınırlamak	nosnippet, data-nosnippet, max-snippet veya noindex	Google: AI özellikleri belgesi
Copilot yanıtlarında kullanımı sınırlamak	noarchive (Copilot ve sohbette bağlantı vermez, Microsoft’un üretken yapay zeka temel modellerinin eğitiminde kullanmaz) ya da nocache (yalnız URL, başlık ve snippet gösterir)	Bing robots meta etiketleri belgesi
Claude web aramasından çıkmak	noindex etiketi (arama ortakları dizine eklemez); görünen bir adresi kaldırtmak için sahiplik kanıtıyla istek	Anthropic: içerik bildirme, engelleme ve kaldırma belgesi
Apple’ın genel bilgi yanıtlarında kullanımı sınırlamak	nosnippet meta etiketi	Apple: Applebot belgesi

Bing’in belgesi ayrıca robots.txt’in tarama erişimini denetlediğini, dizinlemeyi denetlemediğini yazar. Bot erişimini ölçmek için GEO raporlama şablonunu, platformları birlikte değerlendirmek için yapay zeka arama motorları karşılaştırmasını kullanabilirsiniz. Google tarafındaki görünürlüğü Google yapay zekâ özetleri rehberi anlatır; genel robots.txt kullanımı teknik SEO sayfasındadır.

Bot erişimi GEO çalışmasının neresinde yer alır?

Bot erişimini yönetmek, ölçüm ve içerik çalışmasından ayrı bir iştir ve tek başına görünürlük sağlamaz. Yadem Reklam, GEO hizmetinde robots.txt kurallarını, güvenlik duvarı izinlerini ve sunucu kayıtlarını başlangıç denetiminde inceler; yapay zekâ yanıtlarında yer alma garantisi vermez. Fiyat kapsama göre aylık tekliftir.

Sık sorulan sorular