robots.txt ile noindex Farkı: Hangisi Taramayı, Hangisi Dizini Denetler?

robots.txt ile noindex arasındaki fark nedir?

robots.txt, Google’ın bir URL’yi taramasını denetler; noindex ise taranmış bir sayfanın arama sonuçlarında gösterilmesini engeller. Bu yüzden bir sayfayı aramadan çıkarmak istiyorsanız robots.txt ile engellemez, noindex koyar ve sayfanın taranabilir kalmasını sağlarsınız. Google’ın robots.txt belgesi dosyanın esas olarak siteyi istek yüklerinden korumak için kullanıldığını ve bir sayfayı Google’dan uzak tutma yöntemi olmadığını yazar; sayfayı aramadan uzak tutmak için noindex ya da parola koruması önerilir.

Ölçüt	robots.txt	noindex (meta etiketi ya da X-Robots-Tag)
Neyi denetler	Tarama: Googlebot’un URL’yi getirip getiremeyeceği	Dizin: taranmış sayfanın arama sonuçlarında gösterilip gösterilmeyeceği
Nerede durur	Sitenin kökündeki /robots.txt dosyasında	Sayfanın head bölümünde meta etiketi ya da HTTP yanıt başlığı olarak
Google kuralı görmezse	Kural yazılmamış yol taranabilir sayılır	Sayfa robots.txt ile engelliyse noindex hiç görülmez
Sayfayı aramadan çıkarır mı	Hayır: başka sitelerden bağlantı alan URL, açıklamasız da olsa sonuçlarda görünebilir	Evet, Google sayfayı yeniden tarayıp kuralı gördükten sonra
HTML olmayan dosyalar (PDF, görsel, video)	Yola göre kural yazılır	Yalnızca X-Robots-Tag başlığıyla işaretlenebilir
Doğrulama	robots.txt’i getirin, kuralı eşleştirin	Sayfayı getirin, meta etiketini ve başlığı okuyun

Tablodaki üçüncü satır en sık yapılan hatanın nedenidir: Google noindex kuralını görmek için sayfayı taramak zorundadır. Google’ın noindex belgesi, kuralın etkili olması için sayfanın robots.txt ile engellenmemesi gerektiğini, robots.txt içinde yazılan noindex’in de desteklenmediğini açıkça belirtir. Genel teknik kontrol listesi için teknik SEO rehberine bakın.

Amaç, yöntem ve doğrulama: hangi durumda hangisi kullanılır?

Yöntemi amaç belirler: aramadan çıkarmak için noindex, taramayı sınırlamak için robots.txt, gizli içerik için parola, kaldırılan sayfa için 404 ya da 410, kopyalar için yönlendirme ve canonical kullanılır. Aşağıdaki tablo yedi amacı doğru yöntemle ve doğrulama adımıyla eşleştirir.

Amaç	Doğru yöntem	Doğrulama
Sayfa aramada görünmesin, taranabilir kalsın	noindex (meta etiketi ya da X-Robots-Tag)	Sayfayı getirip robots etiketine bakın; URL Denetleme’de “Dizine eklenmesine izin verildi mi?” Hayır olmalı; rapor durumu: noindex etiketiyle hariç tutuldu
İç arama ve filtre sayfaları sunucuyu yormasın	robots.txt Disallow	Eşleştiriciyle Googlebot için “engelli” çıkmalı; URL Denetleme’de “Taramaya izin verildi mi?” Hayır olmalı
PDF, görsel ya da video aramadan çıksın	X-Robots-Tag: noindex başlığı	curl -sI çıktısında başlık görünmeli
Üyelik ya da gizli içerik	Parola koruması ya da kimlik doğrulama	Googlebot’a 401/403 dönmeli
Sayfa kalıcı olarak kaldırıldı	404 ya da 410 durum kodu	HTTP durumunu okuyun; soft 404’e dönmediğinden emin olun
Kopya sayfalar tek adreste birleşsin	301 yönlendirmesi ya da rel=canonical (robots.txt değil)	Canonical karşılaştırması
Arama sonucunda metin parçası gösterilmesin	nosnippet ya da max-snippet (robots meta)	Meta etiketini okuyun

Google’ın canonical belgesi, canonical amacıyla robots.txt dosyasının kullanılmaması gerektiğini ayrıca vurgular; kopya sayfalarda robots.txt yerine yönlendirme ve rel=canonical kullanın. Yapay zekâ eğitim ve arama botlarını ayrı ayrı yönetmek de bir robots.txt işidir ve yapay zekâ botları robots.txt sayfasının konusudur; burada tekrar etmiyoruz.

yademreklam.com'da iki mekanizma canlı nasıl çalışıyor?

yademreklam.com’da robots.txt yalnızca yönetim alanını ve iç arama adreslerini engelliyor; noindex ise çekirdek, tema ve sunucu tarafından sayfa türüne göre basılıyor. robots.txt dosyası 17 Ekim 2026 akşamı iki sürümden geçti: 22:54’te 537 bayttı, “*” grubu ayrıydı ve on bir bot grubunun her biri yalnız Allow: / içeriyordu; 23:31’de 436 bayt ve tek grup oldu, adlı botlar da aynı kuralları alıyor. 18 Ekim 2026 03:38’de okunan sürüm (436 bayt, HTTP 200) şöyledir:

User-agent: *
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Bingbot
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Allow: /

Sitemap: https://yademreklam.com/wp-sitemap.xml

Aşağıdaki tablo, 18 Ekim 2026 03:38’de okunan 10 adresin robots.txt iznini (RFC 9309 kurallarıyla çalışan ve Google belgesinin örnekleriyle sınanan bir eşleştirici), HTTP durumunu, X-Robots-Tag başlığını ve robots meta etiketini yan yana koyar. “Etkin sonuç” sütunu Google belgesine göre okunmuştur: taranamayan sayfadaki kural görülmez, çelişen kurallarda kısıtlayıcı olan geçerlidir.

Adres	robots.txt (Googlebot)	HTTP	X-Robots-Tag	robots meta	Etkin sonuç
/	izin	200	yok	max-image-preview:large, index, follow, max-snippet:-1, max-video-preview:-1	Taranabilir, dizine eklenebilir
/hizmetler/seo-hizmeti/	izin	200	yok	max-image-preview:large, index, follow, max-snippet:-1, max-video-preview:-1	Taranabilir, dizine eklenebilir
/?s=test	engelli	200	yok	noindex, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1	Taranamaz; noindex görülmez
/search/test/	engelli	200	yok	noindex, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1	Taranamaz; noindex görülmez
/wp-admin/	engelli	200	noindex, nofollow	noindex, nofollow	Taranamaz; noindex görülmez
/wp-login.php	izin	200	yok	max-image-preview:large, index, follow, max-snippet:-1, max-video-preview:-1, noindex, noarchive	Taranabilir + noindex
/llms.txt	izin	200	noindex	yok	Taranabilir + noindex
/llms-full.txt	izin	200	noindex	yok	Taranabilir + noindex
/wp-sitemap.xml	izin	200	yok	yok	Taranabilir, dizine eklenebilir
/olmayan-sayfa-testi-404/	izin	404	yok	max-image-preview:large, index, follow, max-snippet:-1, max-video-preview:-1	404: içerik kullanılmaz

Üç satır öğreticidir. /llms.txt ve /llms-full.txt robots.txt’te engelli değildir, ama tema yanıtlarına X-Robots-Tag: noindex ekler: dosyalar taranabilir, dizine girmez; noindex’in doğru kullanımı budur (dosyanın amacı için llms.txt nedir sayfasına bakın). /wp-login.php robots.txt’te açıktır ve WordPress sayfaya noindex ekler; aynı etikette temanın eklediği index ve follow da duruyor, bunun nedeni aşağıda. İç arama adresleri ise hem robots.txt ile engellidir hem de sayfada noindex taşır; bu çifte kilidin neden etkisiz olduğu aşağıda. Yönetim alanı adresi 17 Ekim 23:30’dan beri barındırma sağlayıcısının tarayıcı doğrulama ara sayfasını döndürüyor (başlıkta X-Robots-Tag: noindex, nofollow); ilk ölçümde aynı adres oturum açma sayfasına 302 ile yönleniyordu.

robots.txt ile engellenen sayfaya noindex koyarsanız ne olur?

robots.txt ile engellenen sayfaya noindex koyarsanız noindex etkisiz kalır, çünkü Google sayfayı getiremediği için kuralı hiç göremez. Google’ın robots meta belgesi bunu şöyle söyler: robots.txt ile taramaya kapatılmış bir sayfa için indeksleme ya da sunum kuralları bulunamaz ve yok sayılır. Robots.txt belgesi de sonucu ekler: engelli bir URL, başka sitelerden bağlantı alırsa içeriğine bakılmadan dizine eklenebilir ve açıklamasız görünebilir.

yademreklam.com’daki iç arama sayfaları bu durumun canlı örneğidir. /?s=test ve /search/test/ adresleri robots.txt’te engelli ve sayfalarında WordPress’in noindex, follow etiketi var; Googlebot bu sayfaları getiremediği için noindex’i görmez. Bu bilgi pratik riski sınırlar: 18 Ekim 2026 taramasında 117 site haritası sayfasının hiçbirinde iç arama adresine bağlantı yok, yani bu adreslerin dışarıdan bağlantı alması için bir iç neden bulunmuyor. Yine de tek bir mekanizma seçmek daha temizdir: ya taramayı engelleyin ve noindex’e güvenmeyin, ya da engeli kaldırıp noindex’in görülmesini sağlayın.

Aramadan çıkmasını gerçekten istediğiniz bir sayfa için doğru sıra şudur: önce robots.txt engelini kaldırın, sayfaya noindex ekleyin, Google’ın sayfayı yeniden tarayıp kuralı görmesini bekleyin (önemine göre aylar sürebileceğini Google yazar; URL Denetleme ile yeniden tarama istenebilir), sonra gerekiyorsa robots.txt’e dönün. Dizinde kalan bir URL’nin neden orada olduğunu çözmek için dizine ekleme teşhis sayfasındaki karar ağacını kullanın.

Çelişen robots kuralları nasıl çözülür?

Google çelişen robots kurallarında kısıtlayıcı olanı uygular; yine de çelişkiyi Google’ın kuralına bırakmak yerine tek kaynağa indirmek gerekir. yademreklam.com’da bu iki adımda gösterildi: 17 Ekim 22:44 ve 23:16 taramalarında 81 sayfanın tamamında iki robots etiketi vardı, 23:33 taramasında tamamında tek etiket kaldı; 18 Ekim 03:34 taramasında 117 sayfanın tamamında yine tek etiket var. İç arama sayfasında çelişki doğrudan görülüyordu:

Ölçüm	Normal sayfa (robots meta)	İç arama sayfası (robots meta)
22:54 — önce	2 etiket: çekirdekten max-image-preview:large, temadan index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1	2 etiket: çekirdekten noindex, follow, max-image-preview:large, temadan index, follow, … (çelişki)
23:36 — sonra	1 etiket: max-image-preview:large, index, follow, max-snippet:-1, max-video-preview:-1	1 etiket: noindex, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1

Düzeltme, temanın kendi etiketini basmak yerine WordPress’in robots çıktısını üreten wp_robots süzgecine (WordPress 5.7’den beri) katılmasıdır. Süzgeç, noindex yoksa index ve follow ekler, her sayfada üç görüntü ve metin yönergesini tamamlar; noindex varsa çekirdeğin kararına dokunmaz:

add_filter( 'wp_robots', function ( $r ) {
	if ( empty( $r['noindex'] ) ) {
		$r['index']  = true;
		$r['follow'] = true;
	}
	$r['max-image-preview'] = 'large';
	$r['max-snippet']       = '-1';
	$r['max-video-preview'] = '-1';
	return $r;
} );

Sonuç iki etiketin birleşmesidir, ama iç arama sayfalarındaki robots.txt engeli sürdüğü için noindex yine görülmez; bu ayrı bir karardır ve yukarıdaki bölümde anlatıldı.

Tek etiket de kendi içinde çelişebilir. 18 Ekim 2026 kaydında /wp-login.php sayfasının tek robots etiketi max-image-preview:large, index, follow, max-snippet:-1, max-video-preview:-1, noindex, noarchive içeriyor. Sıra nedeni gösteriyor: tema süzgeci çalıştığında noindex henüz eklenmemiş olduğu için index ve follow ekleniyor; WordPress’in hassas sayfalar için kullandığı wp_robots_sensitive_page süzgecinin noindex ve noarchive yönergeleri etikete sonradan giriyor. Google çelişen kurallarda kısıtlayıcı olanı uyguladığı için sayfa yine dizine girmez. Temiz çözüm, tema süzgecini daha geç bir öncelikle (ör. 999) çalıştırıp noindex varken index eklememektir; bu düzeltme önerimizdir, sitede henüz sınanmadı. Etiketlerin WordPress ayar ekranındaki karşılığı için WordPress SEO ayarları sayfasına bakın.

robots.txt ve noindex nasıl doğrulanır?

robots.txt ve noindex doğrulaması üç komutla yapılır: robots.txt’i okumak, sayfanın meta etiketlerini okumak ve HTML olmayan dosyanın başlığını okumak. Komutlar ve 18 Ekim 2026 03:38’deki gerçek çıktıları aşağıdadır; birinci komutun çıktısı yukarıdaki robots.txt’tir.

# robots.txt: hangi kurallar var?
curl -s https://yademreklam.com/robots.txt

# Sayfada noindex var mı? (meta etiketleri)
curl -s "https://yademreklam.com/?s=test" | grep -io "<meta name=.robots.[^>]*>"

# Dosyada noindex var mı? (HTTP başlığı)
curl -sI https://yademreklam.com/llms.txt | grep -i x-robots-tag

İkinci ve üçüncü komutun çıktısı:

<meta name='robots' content='noindex, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1' />
X-Robots-Tag: noindex

Google tarafında doğrulama için Search Console’da URL Denetleme aracını kullanın: “Taramaya izin verildi mi?” alanı robots.txt kararını, “Dizine eklenmesine izin verildi mi?” alanı noindex kararını gösterir. Sitenizin bu iki katmanını birlikte denetlememizi isterseniz SEO hizmeti kapsamında teknik denetim yapıyoruz.

Sık sorulan sorular