Sunucu kayıtlarınızda GPTBot ya da ClaudeBot gibi adlar görmüş olabilirsiniz. Belki biri de size "yapay zeka botlarını hemen engelleyin" dedi. Engellemeden önce bilmeniz gereken bir şey var: bu botların hepsi aynı işi yapmıyor. Bazıları yapay zeka modellerini eğitmek için içerik topluyor, bazıları ise ChatGPT gibi asistanların arama cevaplarında sitenizi gösterebilmek için çalışıyor.
Yanlış botu engellerseniz yapay zeka aramalarındaki görünürlüğünüzü istemeden azaltabilirsiniz. Bu yazıda botların farkını, robots.txt dosyasına ne yazacağınızı ve bu dosyanın neyi yapıp neyi yapamadığını anlatıyoruz.
robots.txt nedir, ne yapmaz?
robots.txt, sitenizin kök dizininde duran bir metin dosyasıdır ve tarayıcılara sitenizde hangi adreslere erişebileceklerini söyler. firmaniz.com için dosyanın adresi firmaniz.com/robots.txt olur, alt klasöre konan bir robots.txt dosyası geçerli değildir.
Bilmeniz gereken üç sınır var:
- Zorlayıcı değildir. Google'ın ifadesiyle robots.txt kuralları tarayıcıların davranışını zorla değiştiremez, kurallara uymak tarayıcıya bağlıdır.
- Sayfayı gizlemez. Google, robots.txt'nin bir sayfayı Google dışında tutmanın yolu olmadığını, bunun için noindex ya da şifre koruması gerektiğini belirtir.
- Her adres için ayrı çalışır. Bir alan adındaki robots.txt, alt alan adlarını ya da farklı protokolü kapsamaz. Örneğin magaza.firmaniz.com için ayrı bir dosya gerekir.
robots.txt'yi, siteyi yapay zeka araçlarına özetlemek için önerilen llms.txt dosyasıyla karıştırmayın. Farkını llms.txt nedir yazımızda anlattık.
Botlar üç farklı iş yapar
- Eğitim: İçeriği yapay zeka modellerinin eğitiminde kullanmak için toplar.
- Arama: Asistanın arama özelliğinde sitenizi bulup kaynak olarak gösterebilmek için tarar.
- Kullanıcı isteği: Bir kullanıcı sohbet sırasında bir sayfanın açılmasını istediğinde o sayfayı ziyaret eder.
Şirketler her iş için ayrı bir bot adı kullanıyor ve bu adları robots.txt'de ayrı ayrı yönetebiliyorsunuz. OpenAI, ayarlarının birbirinden bağımsız olduğunu, örneğin arama botuna izin verip eğitim botunu engelleyebileceğinizi açıkça yazıyor.
| Bot adı | Şirket | Görevi | robots.txt kurallarına uyar mı? |
|---|---|---|---|
| GPTBot | OpenAI | Model eğitimi | Evet |
| OAI-SearchBot | OpenAI | ChatGPT aramasında siteleri göstermek | Evet |
| ChatGPT-User | OpenAI | Kullanıcının isteğiyle sayfa açmak | Kurallar uygulanmayabilir |
| ClaudeBot | Anthropic | Model eğitimi | Evet |
| Claude-SearchBot | Anthropic | Claude'un arama sonuçları | Evet |
| Claude-User | Anthropic | Kullanıcının isteğiyle sayfa açmak | Evet |
| PerplexityBot | Perplexity | Perplexity arama sonuçları, model eğitimi için değil | Evet |
| Perplexity-User | Perplexity | Kullanıcının isteğiyle sayfa açmak | Genellikle uymaz |
| Meta-ExternalAgent | Meta | Yapay zeka modeli eğitimi gibi kullanımlar | Evet |
| Google-Extended | Gemini eğitimi ve Gemini uygulamalarında cevabı destekleme | Ayrı bot değil, robots.txt'deki bir izin işareti | |
| Applebot-Extended | Apple | Apple'ın yapay zeka modellerinin eğitimi | Ayrı bot değil, robots.txt'deki bir izin işareti |
Senaryoya göre robots.txt satırları
Her kural grubu, botun adını yazan bir User-agent satırıyla başlar ve kurallar onun altına yazılır. Disallow satırındaki tek eğik çizgi sitenin tamamını kapsar. Okunabilirlik için gruplar arasına boş bir satır bırakın.
Bir bot, kendi adıyla yazılmış bir grup bulursa o grubu dikkate alır. Kendi adıyla grup yoksa yıldız işaretiyle yazılan genel gruba (User-agent: *) bakar. Hiçbir grup eşleşmezse bot için bir kısıtlama yoktur.
Eğitime hayır, arama cevaplarına evet
Siteniz müşteri bulmak içinse bu seçenekle, asistanların arama cevaplarındaki görünürlükten vazgeçmeden eğitim için taranmak istemediğinizi bildirirsiniz. OpenAI'ın eğitim botu için:
- User-agent: GPTBot
- Disallow: /
Anthropic'in eğitim botu için ayrı bir grup ekleyin:
- User-agent: ClaudeBot
- Disallow: /
Aynı mantıkla Meta-ExternalAgent ve Applebot-Extended için de grup ekleyebilirsiniz. OAI-SearchBot, Claude-SearchBot ve PerplexityBot gibi arama botlarına ise dokunmazsınız.
Google-Extended için karar verirken dikkatli olun. Bu işaret Gemini eğitiminin yanında, içeriğinizin Gemini uygulamalarında cevabı desteklemek için kullanılmasını da kapsar. Gemini cevaplarında kaynak olmak istiyorsanız engellemeden önce iyi düşünün.
Hepsini engellemek
İçeriğinizin bu şirketlerin yapay zeka sistemlerinde hiç kullanılmasını istemiyorsanız eğitim, arama ve kullanıcı botlarının hepsi için ayrı grup yazmanız gerekir: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Meta-ExternalAgent, Google-Extended ve Applebot-Extended. Bunun bedeli, bu asistanların arama cevaplarında kaynak olarak gösterilme ihtimalinizin azalmasıdır. Ayrıca kullanıcı isteğiyle çalışan bazı botlar robots.txt kurallarına uymayabilir.
Sadece bir klasörü kapatmak
Bir bölümün eğitim botu tarafından taranmasını istemiyorsanız sitenin tamamı yerine o klasörü yazabilirsiniz:
- User-agent: GPTBot
- Disallow: /kampanya-arsivi/
Müşteri paneli gibi gizli kalması gereken sayfaları ise robots.txt ile değil, şifreyle koruyun.
Taramayı yavaşlatmak
Sorun, bot trafiğinin sunucunuzu yormasıysa botu tamamen engellemek yerine yavaşlatmayı deneyebilirsiniz. Anthropic, botlarının tarama hızını sınırlayan Crawl-delay satırını desteklediğini belirtiyor:
- User-agent: ClaudeBot
- Crawl-delay: 1
Bu satırı her tarayıcı desteklemez. Yavaşlatmak istediğiniz botun belgesinde destek olup olmadığına bakın.
Karar vermeden önce
- Arama botunu engellemek görünürlüğü etkiler. OpenAI, içeriğinizin ChatGPT'deki özet ve alıntılarda yer alması için OAI-SearchBot'un engellenmemesi gerektiğini yazıyor. Anthropic de Claude-SearchBot'u engellemenin arama sonuçlarındaki görünürlüğü azaltabileceğini belirtiyor.
- Eğitim botunu engellemek geleceğe dönük bir işarettir. Anthropic, ClaudeBot'u engellemenin sitenin bundan sonraki içeriklerinin eğitim verisinden çıkarılması isteği anlamına geldiğini yazıyor. Bu işaret, daha önce toplanmış içeriklerin nasıl kullanıldığı konusunda tek başına bir güvence vermez.
- Google-Extended, Google aramasını etkilemez. Google, bu işaretin sitenin Google aramasına dahil edilmesini etkilemediğini ve sıralama sinyali olarak kullanılmadığını belirtiyor.
- Applebot-Extended, Apple aramasını etkilemez. Apple'a göre bu işareti engelleyen sayfalar Spotlight, Siri ve Safari'deki arama sonuçlarında yer almaya devam edebilir.
Yapay zeka cevaplarında görünmek için diğer adımları ChatGPT SEO rehberimizde anlattık.
Değişiklikten sonra kontrol edin
- Dosyayı açın. Tarayıcıda firmaniz.com/robots.txt adresini açıp satırların yerinde olduğunu görün.
- Bot adlarını kontrol edin. OAI-SearchBot ya da Google-Extended gibi bir addaki yazım hatası, kuralın o botla eşleşmemesine yol açar.
- Biraz bekleyin. OpenAI ve Perplexity, robots.txt değişikliklerinin sistemlerine yansımasının yaklaşık 24 saat sürebileceğini belirtiyor. Google da robots.txt dosyasını genellikle 24 saate kadar önbellekte tutuyor.
- Güvenlik ayarlarına bakın. Cloudflare gibi hizmetler yapay zeka tarayıcılarını robots.txt'den bağımsız olarak engelleyebilir. Cloudflare, Temmuz 2025'te yeni alan adlarında yapay zeka tarayıcılarını varsayılan olarak engellemeye başladığını ve kayıt sırasında izin verilip verilmeyeceğini sorduğunu duyurdu.
- Site platformunuzu sorun. Hazır site platformlarında robots.txt'yi düzenleme imkânı platforma göre değişir. Emin değilseniz sitenizi yöneten kişiye danışın.
Sık sorulan sorular
GPTBot'u engellersem ChatGPT'de görünmez miyim?
GPTBot, içeriğin yapay zeka modellerinin eğitiminde kullanılmasıyla ilgilidir. ChatGPT'nin arama cevaplarında yer almak ise OAI-SearchBot'a bağlıdır. OpenAI bu ayarların birbirinden bağımsız olduğunu, yani GPTBot'u engelleyip OAI-SearchBot'a izin verebileceğinizi belirtiyor.
robots.txt yapay zekanın içeriğimi kullanmasını tamamen engeller mi?
Hayır. robots.txt kurallarına uymak tarayıcıya bağlıdır. Kullanıcı isteğiyle çalışan bazı botlar bu kurallara uymayabilir, belgesini yayınlamamış şirketlerin botlarını ise listeye yazamazsınız. Gizli kalması gereken içerikleri şifreyle koruyun.
Google-Extended'ı engellemek Google sıralamamı düşürür mü?
Google'a göre hayır. Google-Extended, sitenizin Google aramasına dahil edilmesini etkilemez ve sıralama sinyali olarak kullanılmaz. Bu işaret, içeriğinizin Gemini modellerinin eğitiminde ve Gemini uygulamaları gibi ürünlerde cevabı desteklemek için kullanılıp kullanılmayacağını belirler.
Botları IP adresinden engellemek daha mı güvenli?
Her zaman değil. Anthropic, IP adresi engellemenin robots.txt dosyasının okunmasını da engellediği için tercihinizin doğru ve kalıcı biçimde uygulanmasını sağlamayabileceğini belirtiyor. Önce robots.txt ile ne istediğinizi açıkça yazın. Kurallara uymayan bir bot sunucunuzu yoruyorsa IP ya da güvenlik duvarı ayarlarını hosting firmanızla birlikte değerlendirin.
Sitemde robots.txt dosyası yoksa ne olur?
Google, robots.txt dosyası bulunamadığında tarama kısıtlaması olmadığını varsayar. robots.txt standardına göre de dosyaya ulaşılamadığında tarayıcılar sitedeki kaynaklara erişebilir. Yani dosya yoksa kurallara uyan botlar sitenizin herkese açık sayfalarını tarayabilir.
Kısacası
Yapay zeka botlarını topluca engellemeden önce hangisinin ne iş yaptığına bakın. Eğitim botlarını engelleyip arama botlarına izin vermek mümkündür, ama robots.txt bir güvenlik aracı değildir ve her bot kurallara uymaz. Sitenizin bot ayarlarını ve yapay zeka cevaplarındaki durumunu birlikte değerlendirmek isterseniz yapay zeka görünürlüğü hizmetimize göz atabilirsiniz.