llms.txt, bir sitenin en önemli sayfalarını yapay zekâ sistemlerine sade bir Markdown dosyasıyla tanıtmayı amaçlayan, henüz resmî bir standart olmayan öneridir. robots.txt ise botlara hangi adreslere girebileceklerini söyleyen köklü bir dosyadır. 2026 itibarıyla Türkiye’deki pek çok kurumsal ve e-ticaret sitesi bu iki dosyayı birlikte değerlendiriyor. Sor Ajans olarak bu yazıda ikisinin farkını, GPTBot ve ClaudeBot gibi botların erişimini nasıl yöneteceğinizi ve hangi kararı neye göre vereceğinizi anlatıyoruz.
Bir süredir sitelerin sunucu kayıtlarında yeni kullanıcı aracısı adları görünüyor: GPTBot, ClaudeBot, PerplexityBot, CCBot ve benzerleri. Bunların bir kısmı yapay zekâ modellerini eğitmek için içerik toplar, bir kısmı ise kullanıcı bir soru sorduğunda sayfanızı canlı olarak okur. Hepsini aynı kefeye koyup engellemek de hepsine kapıyı açık bırakmak da çoğu işletme için doğru karar değildir.
GEO kavramına yeni başlıyorsanız önce GEO nedir? Yapay zekâ arama optimizasyonu yazımıza göz atabilirsiniz. Klasik aramayla yapay zekâ aramasının farkını merak ediyorsanız SEO ve GEO farkı nedir? Klasik arama ile yapay zekâ aramasının karşılaştırması yazısı da işinize yarar.
Özet:
robots.txt erişimi sınırlar; llms.txt ise önemli sayfaları yapay zekâ sistemlerine tanıtır.
GPTBot (OpenAI) ve ClaudeBot (Anthropic) gibi eğitim botları, arama ve kullanıcı botlarından ayrı yönetilebilir.
robots.txt bir istektir, güvenlik önlemi değildir; gizli içerik sunucu düzeyinde korunmalıdır.
Her değişiklikten sonra dosyayı test edin ve bot trafiğini izleyin.
İçindekiler
Yapay zekâ botları nedir ve neden erişim yönetimi gerekir?
Yapay zekâ botları, web sayfalarını tarayarak içeriklerini model eğitimi, arama cevabı üretimi ya da kullanıcı isteği üzerine anlık okuma amacıyla toplayan yazılımlardır. Her bot bir kullanıcı aracısı adıyla kendini tanıtır. Siteniz bu adlara hangi yanıtı verdiği, içeriğinizin yapay zekâ cevaplarında kullanılıp kullanılmayacağını doğrudan etkiler.
Klasik arama botları içeriği sıralamak için dizine ekler. Yapay zekâ botlarında ise üç ayrı amaç vardır: model eğitimi için toplu içerik alma, arama ya da asistan cevabında kaynak gösterme ve kullanıcı bir adres verdiğinde sayfayı o anda okuma. Aynı şirketin farklı amaçlara ayrılmış birden çok botu olabilir; bu yüzden ‘OpenAI’ya izin ver ya da verme’ demek yerine botu ve amacını ayrı ayrı düşünmek gerekir.
Erişim yönetimi bir marka kararıdır. İçeriğinizin cevaplarda anılmasını istiyorsanız botların sayfalarınıza girebilmesi gerekir. İçeriğinizin model eğitiminde kullanılmasını istemiyorsanız bunu belirtebileceğiniz yöntemler vardır. Önemli olan bu tercihi bilinçli yapmak ve yazıya dökmektir.
robots.txt nasıl çalışır?
robots.txt, sitenin kök dizinine konan ve botlara hangi yolları tarayıp hangilerini taramaması gerektiğini bildiren düz metin dosyasıdır. Dosya adresi alanadi.com/robots.txt biçimindedir. Kurallar bir kullanıcı aracısı adı ile başlar, ardından Allow ve Disallow satırları gelir. Standardın ayrıntıları RFC 9309 (Robots Exclusion Protocol) belgesinde tanımlıdır.
En önemli nokta şudur: robots.txt bir istektir, güvenlik duvarı değildir. Kurallara uyan bir bot dosyayı okur ve yazılanı izler; uymayan bir bot ise dosyayı yok sayabilir. Büyük şirketlerin bilinen botları genellikle kurallara uyduğunu belirtir, ancak bunu garanti eden bir mekanizma yoktur. Gerçekten gizli kalması gereken içerik parola, oturum ya da sunucu düzeyinde engelle korunmalıdır. Google da Google Search Central robots.txt rehberinde aynı uyarıyı yapar.
Kurallar en spesifik kullanıcı aracısı grubuna göre okunur. Bir bot için ayrı grup yazdıysanız o bot genel grubu (User-agent: *) değil kendi grubunu izler. Bu davranış, yanlış yazılmış bir dosyada beklenmedik sonuçlar doğurur; bu nedenle her değişiklikten sonra dosyayı test etmek gerekir.
Başlıca yapay zekâ botları ve kullanıcı aracısı adları
Yapay zekâ botları, ilgili şirketlerin belgelerinde yayımladığı kullanıcı aracısı adlarıyla tanınır. GPTBot OpenAI’ın, ClaudeBot Anthropic’in, PerplexityBot Perplexity’nin, CCBot ise Common Crawl projesinin botudur. Google ise yapay zekâ kullanımını Google-Extended adlı ayrı bir jetonla yönetir. Güncel adlar için her şirketin kendi yayıncı belgesine bakın.
Sık karşılaşılan yapay zekâ botları | ||
Kullanıcı aracısı | Sahibi | Genel amaç |
|---|---|---|
GPTBot | OpenAI | Model eğitimi için içerik toplama |
OAI-SearchBot | OpenAI | Arama özelliklerinde sayfaları görünür kılma |
ChatGPT-User | OpenAI | Kullanıcı isteği üzerine sayfayı okuma |
ClaudeBot | Anthropic | Model geliştirme için içerik toplama |
PerplexityBot | Perplexity | Arama sonuçlarında sayfaları dizine ekleme |
Google-Extended | Üretken yapay zekâ kullanımı için tercih jetonu | |
CCBot | Common Crawl | Açık web arşivi oluşturma |
Tablodaki amaçlar şirketlerin kendi açıklamalarına dayanan genel özetlerdir ve zamanla değişebilir. Bu nedenle kural yazmadan önce ilgili botun resmî sayfasını kontrol edin. Aynı şirketin eğitim botunu engelleyip arama botuna izin vermek mümkündür; bu ayrım, erişim yönetiminin en kullanışlı yanıdır.
Yapay zekâ botlarına erişim engellenmeli mi?
Yapay zekâ botlarına erişimi engellemek ya da açık bırakmak tek bir doğru cevabı olan bir karar değildir; sitenin amacına göre değişir. Görünürlük ve anılma isteyen işletmeler arama ve asistan botlarına izin verir. İçeriğini ticari değeri nedeniyle koruyan yayıncılar ise eğitim botlarını sınırlamayı tercih edebilir.
Erişim kararı için karşılaştırma | ||
Durum | Önerilen yaklaşım | Dikkat edilecek nokta |
|---|---|---|
Hizmet ya da ürün tanıtan kurumsal site | Arama ve kullanıcı botlarına izin verin | Anılma ve yönlendirme için sayfalar okunabilir olmalı |
Özgün araştırma ve yayın içeriği üreten site | Eğitim botlarını sınırlamayı değerlendirin | Arama botlarını da kapatırsanız cevaplarda görünmeyebilirsiniz |
Üyelik ya da ödemeyle erişilen içerik | Sunucu düzeyinde erişim denetimi kurun | robots.txt tek başına koruma sağlamaz |
Henüz karar vermemiş küçük işletme | Varsayılan olarak açık bırakıp izleyin | Sunucu kayıtlarından bot trafiğini takip edin |
Küçük ve orta ölçekli işletmelerin çoğunda hedef, tanınırlık ve doğru anılmadır. Bu durumda arama ve asistan botlarını engellemek, kendi görünürlüğünüzü kendi elinizle azaltmak anlamına gelir. Eğitim amaçlı erişimi kapatmak ise markanızın cevaplarda anılma olasılığını doğrudan düşürmeyebilir; yine de bu ayrımın etkisi sistemlere göre değişir ve kesin bir sonuç vaat etmek doğru olmaz.
Karar verirken içeriğinizin türünü düşünün. Herkese açık hizmet sayfaları ve blog yazıları zaten tanıtım amacıyla yayımlanır. Özel teklif çalışmaları, müşteriye özel raporlar ya da üyelere ait içerikler ise robots.txt’ye bırakılmamalı, erişim denetimiyle korunmalıdır.
robots.txt örnekleri: hangi kural ne yapar?
Aşağıdaki örnekler, en sık ihtiyaç duyulan üç durumu gösterir: tüm botlara açık site, yalnızca eğitim botlarını sınırlayan site ve belirli bir klasörü kapatan site. Bunlar başlangıç şablonudur; kendi sitenizin yapısına göre uyarlayıp uygulamadan önce mutlaka test edin. Kullanıcı aracısı adlarını ilgili şirketin güncel belgesinden doğrulayın.
Tüm botlara açık site
User-agent: *
Allow: /
Sitemap: https://alanadi.com/sitemap.xml
Bu yapı, hiçbir bota özel kısıtlama getirmez ve site haritasını bildirir. Çoğu kurumsal site için makul bir başlangıçtır.
Yalnızca eğitim botlarını sınırlayan site
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Bu örnekte belirtilen botlar siteye girmemesi istenen gruba alınır, diğer botlar açık kalır. Arama botlarına ayrıca izin vermek isterseniz onlar için ayrı bir grup yazın.
Belirli bir klasörü kapatan site
User-agent: *
Disallow: /uyelik/
Disallow: /sepet/
Allow: /
Üyelik ve sepet gibi arama sonucunda görünmesi gerekmeyen alanları kapatmak hem klasik arama hem de yapay zekâ botları için faydalıdır. Ancak bu klasörlerin gizli olduğu anlamına gelmediğini unutmayın.
Content-Signal satırı nedir?
Content-Signal, robots.txt dosyasına eklenen ve içeriğinizin arama, yapay zekâ cevabı üretimi ve model eğitimi için kullanılıp kullanılamayacağını ayrı ayrı bildiren bir tercih satırıdır. Cloudflare tarafından önerilen bu ifade henüz her bot tarafından tanınmaz; yine de tercihinizi makine tarafından okunabilir biçimde yazmanın pratik bir yoludur.
Content-Signal: search=yes, ai-input=yes, ai-train=no
Örnekteki satırın anlamı şöyledir: arama sonuçlarında kullanıma izin var, yapay zekâ cevabına girdi olarak kullanıma izin var, model eğitiminde kullanıma izin yok. Tercihinizi kendi stratejinize göre değiştirebilirsiniz. Bu satırın bağlayıcı bir yaptırımı olmadığını, bir beyan niteliği taşıdığını bilmek gerekir.
robots.txt’yi siz yönetmiyorsanız satırı eklemesini altyapı sorumlusundan isteyin.
llms.txt nedir ve ne işe yarar?
llms.txt, sitenin kök dizinine konan ve yapay zekâ sistemlerine sitenizin neyle ilgili olduğunu ve hangi sayfaların önemli olduğunu kısa bir Markdown metniyle anlatan öneri niteliğinde bir dosyadır. Fikir, 2024’te Jeremy Howard tarafından ortaya atıldı ve llmstxt.org adresinde yayımlandı. Resmî bir standart değildir ve her yapay zekâ sistemi bu dosyayı okuyacağını taahhüt etmez.
llms.txt’nin robots.txt’den farkı açıktır: robots.txt erişimi sınırlar, llms.txt ise yönlendirir. robots.txt ‘şuraya girme’ der; llms.txt ‘en çok şu sayfalara bakın’ der. Dolayısıyla biri diğerinin yerine geçmez, ikisi birlikte düşünülebilir.
Dosyanın yapısı sadedir: en üstte site adı, altında kısa bir tanım ve ardından bağlantı listeleri yer alır. Bağlantı metinlerine kısa açıklama eklemek, dosyayı okuyan sistemin sayfayı doğru anlamasına yardım eder.
# Sor Ajans
> E-ticaret ve kurumsal siteler için SEO ve GEO odaklı dijital pazarlama ajansı.
## Blog yazıları
- [GEO nedir?](https://sorajans.com.tr/blog/geo-nedir-yapay-zeka-arama-optimizasyonu): Yapay zekâ arama optimizasyonunun temel tanımı
- [Web sitesi yaptırırken dikkat edilmesi gerekenler](https://sorajans.com.tr/blog/web-sitesi-yaptirirken-dikkat-edilmesi-gerekenler): Kurumsal site yaptırma kontrol listesi
Bu dosyanın doğrudan sıralama ya da alıntılanma sağladığına dair güvenilir bir kanıt bugün için yoktur. Bu nedenle onu bir garanti değil, düşük maliyetli ve zararsız bir hazırlık olarak görmek doğru yaklaşımdır.
Uygulama ve doğrulama adımları
Erişim yönetimi, tek seferlik bir ayar değil; yazma, yayımlama, test etme ve izleme adımlarından oluşan küçük bir süreçtir. Aşağıdaki sıra, kuralları yanlış yazma ve yanlışlıkla tüm botları kapatma riskini azaltır. Her adımı tamamlamadan sonrakine geçmemek, hataların erken fark edilmesini sağlar.
Hedefinizi yazın: arama ve asistan cevaplarında anılmak mı, içeriği korumak mı, ikisinin dengesi mi?
İlgili botların kullanıcı aracısı adlarını şirketlerin güncel belgelerinden doğrulayın.
Kuralları önce bir deneme dosyasında hazırlayın; yanlışlıkla tüm siteyi kapatan ‘Disallow: /’ satırına özellikle dikkat edin.
Dosyayı yayımlayın ve alanadi.com/robots.txt adresinden tarayıcıda açıp kontrol edin.
Google Search Console’daki robots.txt raporuyla dosyanın okunabildiğini doğrulayın.
Sunucu kayıtlarında bot trafiğini izleyin ve bir ay sonra kararınızı gözden geçirin.
Bazı düzenlemeler site altyapısına bağlıdır: robots.txt’nin barındırıldığı yer, Link yanıt başlıkları, DNS kayıtları ve sunucu kuralları bu gruptadır. Bunlar blog içeriğiyle çözülemez; altyapıyı yöneten kişiyle ayrıca planlanmalıdır. Yeni bir site yaptırıyorsanız bu başlıkları baştan sorgulamak için Web sitesi yaptırırken dikkat edilmesi gerekenler yazısındaki maddelere de bakabilirsiniz.
Sık yapılan yanlışlar
Erişim yönetiminde en sık yapılan hata, robots.txt’yi güvenlik önlemi sanmaktır. Dosya yalnızca kurallara uyan botlara bir istek iletir. İkinci büyük hata ise bütün yapay zekâ botlarını tek hamlede engelleyip sonra neden cevaplarda görünmediğini merak etmektir. Her iki durum da bilinçli bir karar yerine alelacele yapılan değişiklikten doğar.
Kullanıcı aracısı adlarını yanlış yazmak; kurallar bu durumda hiçbir bota uygulanmaz.
‘Disallow: /’ satırını yanlış gruba koyarak tüm siteyi kapatmak.
Arama botu ile eğitim botunu aynı kefeye koymak.
llms.txt’yi sıralama garantisi sanmak.
Dosyayı yayımladıktan sonra hiç test etmemek ve izlememek.
Gizli içeriği yalnızca robots.txt ile korumaya çalışmak.
Bu hataların çaresi aynıdır: önce amacı yazın, kuralı küçük adımlarla uygulayın ve her adımda doğrulayın.
Sor Ajans bu konuda ne yapıyor?
Sor Ajans, Türkiye’deki kurumsal ve e-ticaret markalarına GEO ve Özel Yapay Zeka Çözümleri hizmeti kapsamında robots.txt, llms.txt ve yapılandırılmış veri düzenini birlikte kurgular. Hedef, markanın yapay zekâ cevaplarında doğru anılması ve erişim tercihlerinin bilinçli yönetilmesidir. Sitenizin bot erişimini birlikte gözden geçirmek için Sor Ajans iletişim sayfasından bize ulaşabilirsiniz.
Sık sorulan sorular
Soru | Cevap |
|---|---|
llms.txt nedir? | llms.txt, bir sitenin önemli sayfalarını yapay zekâ sistemlerine kısa bir Markdown dosyasıyla tanıtmayı amaçlayan, resmî olmayan bir öneridir. Kök dizine konur ve her sistem tarafından okunacağı garanti edilmez. robots.txt’nin yerine geçmez, onu tamamlayan bir yönlendirme dosyası olarak düşünülmelidir. Öneri, llmstxt.org adresinde yayımlanmıştır. |
Yapay zekâ botlarına erişim engellenmeli mi? | Sitenizin amacına bağlıdır. Görünürlük ve anılma istiyorsanız arama ve asistan botlarına izin vermek mantıklıdır. İçeriğinizin model eğitiminde kullanılmasını istemiyorsanız eğitim botlarını ayrı kurallarla sınırlayabilirsiniz. Gizli içerik için robots.txt yerine sunucu düzeyinde erişim denetimi kullanın. Kararınızı bir ay sonra bot trafiğine bakarak gözden geçirin. |
robots.txt’ye Content-Signal nasıl eklenir? | Content-Signal, robots.txt dosyasına tek satır olarak eklenir. Dosyanın içine ‘Content-Signal: search=yes, ai-input=yes, ai-train=no’ gibi bir satır eklenir ve değerler tercihinize göre değiştirilir. Bu satır bir beyan niteliğindedir ve bağlayıcı değildir. Dosyayı barındırdığınız panel ya da altyapı sağlayıcısı üzerinden düzenleyip yayımlamanız ve ardından tarayıcıda açarak kontrol etmeniz gerekir. |
GPTBot ile ClaudeBot arasındaki fark nedir? | GPTBot ile ClaudeBot arasındaki temel fark, bağlı oldukları şirkettir: GPTBot OpenAI’a, ClaudeBot Anthropic’e aittir. Her şirket farklı amaçlara ayrılmış başka botlar da işletebilir. Bu yüzden kural yazmadan önce ilgili şirketin güncel belgesindeki kullanıcı aracısı adlarını ve amaçlarını kontrol etmek gerekir. Her iki bot için ayrı kural grubu yazılabilir. |
robots.txt değişikliği ne zaman etki eder? | robots.txt değişikliği anında değil, botlar dosyayı yeniden okuduğunda etki eder. Botlar dosyayı belirli aralıklarla yeniden okur. Etkinin görülmesi için birkaç gün ile birkaç hafta arasında değişebilen bir süre geçer. Etkiyi sunucu kayıtlarından ve Search Console raporlarından izlemek, kararın doğru uygulandığını anlamanın en güvenilir yoludur. |

