Robots.txt Oluşturucu
Arama motoru ve yapay zeka botları için robots.txt dosyanı seçerek hazırla; engellenecek klasörleri ve sitemap adresini ekle, indir.
| Bot | Varsayılan | İzin ver | Engelle |
|---|---|---|---|
GooglebotGoogle |
|||
BingbotBing |
|||
YandexBotYandex |
|||
DuckDuckBotDuckDuckGo |
|||
Googlebot-ImageGoogle Images |
|||
GPTBotOpenAI (training) · YZ |
|||
OAI-SearchBotChatGPT search · YZ |
|||
ChatGPT-UserChatGPT browsing · YZ |
|||
ClaudeBotAnthropic (training) · YZ |
|||
Claude-UserClaude browsing · YZ |
|||
Google-ExtendedGemini training · YZ |
|||
PerplexityBotPerplexity · YZ |
|||
CCBotCommon Crawl · YZ |
|||
Applebot-ExtendedApple AI training · YZ |
Bu araç tamamen tarayıcında çalışır. Girdiğin bilgiler sunucuya gönderilmez, kaydedilmez, çerezde tutulmaz.
robots.txt, sitenin kökünde duran ve botlara hangi bölümleri taramaları gerektiğini söyleyen küçük bir metin dosyasıdır. Yanlış bir satır bütün siteyi aramadan çıkarabilir; doğru bir dosya ise tarama bütçesini önemli sayfalara yönlendirir ve yapay zeka botlarına ne kadar izin vereceğine sen karar verirsin.
Nasıl kullanılır?
- Tüm botlar için varsayılan kuralı seç; yayındaki bir site için neredeyse her zaman “izin ver”dir.
- Taranmasını istemediğin yolları her satıra bir tane yaz (ör. /admin/, /sepet/).
- Sitemap adresini ekle.
- Gerekirse botları tek tek izinli ya da engelli yap; dosyayı indirip sitenin köküne yükle.
Sık sorulan sorular
robots.txt nereye konur?
Alan adının köküne: site.com/robots.txt. Alt klasöre konan dosya dikkate alınmaz; her alt alan adı kendi dosyasını ister.
robots.txt ile bir sayfayı Google’dan kaldırabilir miyim?
Hayır. Engellenen sayfa başka yerlerden link alıyorsa yine dizinde görünebilir. Kaldırmak için sayfanın taranmasına izin ver ve noindex etiketi ekle.
Yapay zeka botlarını engellemeli miyim?
Karar senin. Eğitim botlarını (GPTBot, ClaudeBot, Google-Extended, CCBot) engellemek içeriğinin model eğitiminde kullanılmasını sınırlar. Cevap anında sayfayı açan botları (OAI-SearchBot, ChatGPT-User, PerplexityBot) engellemek ise yapay zeka aramalarında görünürlüğünü azaltabilir.
Crawl-delay kullanmalı mıyım?
Çoğu site için gerekmez. Google bu satırı yok sayar; Bing ve Yandex dikkate alır. Sunucun gerçekten zorlanıyorsa küçük bir değer kullan.
CSS ve JavaScript dosyalarını engellemek sorun olur mu?
Olur. Google sayfaları çizerek anlar; bu dosyaları engellemek sayfanın nasıl göründüğünü anlamasını zorlaştırır.
robots.txt ne yapar, ne yapmaz?
- Bir kilit değil, bir ricadır. Kurallara uyan botlar dikkate alır; gizli sayfaları korumaz. Onlar için parola ya da
noindexkullan. - Engellemek dizinden çıkarmak değildir. Engellenen bir adres, başka siteler link verirse Google’da yine görünebilir. Bir sayfayı kaldırmak için taranmasına izin verip
noindexekle. - CSS ve JavaScript’i engelleme. Google sayfaları çizerek anlar; bu dosyaları engellemek sayfanın anlaşılmasını bozabilir.
- Yapay zeka botları: eğitim için tarayanlar (GPTBot, ClaudeBot, Google-Extended, CCBot) ile cevap üretirken sayfayı açanlar (OAI-SearchBot, ChatGPT-User, Claude-User, PerplexityBot) ayrıdır. Eğitimi engellemek seni yapay zeka aramasından çıkarmaz.
- Dosyayı alan adının kökünde
/robots.txtolarak yayınla; her alt alan adı kendi dosyasını ister.