Robots.txt Oluşturucu
Arama motoru ve yapay zekâ botları için robots.txt dosyanı seçerek hazırla; engellenecek klasörleri ve sitemap adresini ekle, indir.
| Bot | Varsayılan | İzin ver | Engelle |
|---|---|---|---|
GooglebotGoogle |
|||
BingbotBing |
|||
YandexBotYandex |
|||
DuckDuckBotDuckDuckGo |
|||
Googlebot-ImageGoogle Images |
|||
GPTBotOpenAI (training) · YZ |
|||
OAI-SearchBotChatGPT search · YZ |
|||
ChatGPT-UserChatGPT browsing · YZ |
|||
ClaudeBotAnthropic (training) · YZ |
|||
Claude-UserClaude browsing · YZ |
|||
Google-ExtendedGemini training · YZ |
|||
PerplexityBotPerplexity · YZ |
|||
CCBotCommon Crawl · YZ |
|||
Applebot-ExtendedApple AI training · YZ |
Bu araç tamamen tarayıcında çalışır. Girdiğin bilgiler sunucuya gönderilmez, kaydedilmez, çerezde tutulmaz.
robots.txt, sitenin kökünde duran ve botlara hangi bölümleri taramaları gerektiğini söyleyen küçük bir metin dosyasıdır. Yanlış bir satır bütün siteyi aramadan çıkarabilir; doğru bir dosya ise tarama bütçesini önemli sayfalara yönlendirir ve yapay zekâ botlarına ne kadar izin vereceğine sen karar verirsin.
Nasıl kullanılır?
- Tüm botlar için varsayılan kuralı seç; yayındaki bir site için neredeyse her zaman “izin ver”dir.
- Taranmasını istemediğin yolları her satıra bir tane yaz (ör. /admin/, /sepet/).
- Sitemap adresini ekle.
- Gerekirse botları tek tek izinli ya da engelli yap; dosyayı indirip sitenin köküne yükle.
Sık sorulan sorular
robots.txt nereye konur?
Alan adının köküne: site.com/robots.txt. Alt klasöre konan dosya dikkate alınmaz; her alt alan adı kendi dosyasını ister.
robots.txt ile bir sayfayı Google’dan kaldırabilir miyim?
Hayır. Engellenen sayfa başka yerlerden link alıyorsa yine dizinde görünebilir. Kaldırmak için sayfanın taranmasına izin ver ve noindex etiketi ekle.
Yapay zekâ botlarını engellemeli miyim?
Karar senin. Eğitim botlarını (GPTBot, ClaudeBot, Google-Extended, CCBot) engellemek içeriğinin model eğitiminde kullanılmasını sınırlar. Cevap anında sayfayı açan botları (OAI-SearchBot, ChatGPT-User, PerplexityBot) engellemek ise yapay zekâ aramalarında görünürlüğünü azaltabilir.
Crawl-delay kullanmalı mıyım?
Çoğu site için gerekmez. Google bu satırı yok sayar; Bing ve Yandex dikkate alır. Sunucun gerçekten zorlanıyorsa küçük bir değer kullan.
CSS ve JavaScript dosyalarını engellemek sorun olur mu?
Olur. Google sayfaları çizerek anlar; bu dosyaları engellemek sayfanın nasıl göründüğünü anlamasını zorlaştırır.
Tek tek linklerle uğraşmak yerine bütün siteni bir yapay zekâ skill’iyle taramak ister misin?
technical-seo-skill, yapay zekâ ajanının (Claude Code ya da Codex) içinde bir teknik SEO uzmanı gibi çalışan, geliştirdiğim açık kaynak bir skill. Alan adındaki ve alt alan adlarındaki bütün adresleri bulur; robots.txt, llms.txt ve sitemap’i, başlıkları, açıklamaları, canonical, H1, hreflang ve schema’yı kontrol eder; kırık iç linkleri, sahipsiz sayfaları ve büyük görselleri yakalar ve sana öncelik sıralı görev listesiyle bir Excel raporu verir.
Linki yapay zekâna ver
Claude Code ya da Codex’e şuna benzer bir istek yapıştır, alan adını değiştir. Ajan skill’i kurar ve denetimi çalıştırır.
https://github.com/AndacGuven/technical-seo-skill adresindeki skill'i kur ve https://example.com için teknik SEO denetimi yap. Excel raporunu ver ve önce en acil düzeltmeleri özetle.
Kendin kur
Depoyu ajanının skills klasörüne klonla ve ajanı yeniden başlat. Ya da GitHub’daki Releases bölümünden v1.0.0-alpha paketini indirip SKILL.md ve technical_seo_skill.py dosyalarını aynı klasöre koy.
Claude Code · macOS / Linuxgit clone https://github.com/AndacGuven/technical-seo-skill ~/.claude/skills/technical-seo
git clone https://github.com/AndacGuven/technical-seo-skill ~/.codex/skills/technical-seo
git clone https://github.com/AndacGuven/technical-seo-skill $HOME\.claude\skills\technical-seo
robots.txt ne yapar, ne yapmaz?
- Bir kilit değil, bir ricadır. Kurallara uyan botlar dikkate alır; gizli sayfaları korumaz. Onlar için parola ya da
noindexkullan. - Engellemek dizinden çıkarmak değildir. Engellenen bir adres, başka siteler link verirse Google’da yine görünebilir. Bir sayfayı kaldırmak için taranmasına izin verip
noindexekle. - CSS ve JavaScript’i engelleme. Google sayfaları çizerek anlar; bu dosyaları engellemek sayfanın anlaşılmasını bozabilir.
- Yapay zekâ botları: eğitim için tarayanlar (GPTBot, ClaudeBot, Google-Extended, CCBot) ile cevap üretirken sayfayı açanlar (OAI-SearchBot, ChatGPT-User, Claude-User, PerplexityBot) ayrıdır. Eğitimi engellemek seni yapay zekâ aramasından çıkarmaz.
- Dosyayı alan adının kökünde
/robots.txtolarak yayınla; her alt alan adı kendi dosyasını ister.