← Tüm araçlar

Robots.txt Oluşturucu

Arama motoru ve yapay zeka botları için robots.txt dosyanı seçerek hazırla; engellenecek klasörleri ve sitemap adresini ekle, indir.

Google bunu dikkate almaz; Bing ve Yandex uyar.
Her satıra bir tane, / ile başlayarak. Tüm botlara uygulanır.
Bot bazında
BotVarsayılanİzin verEngelle
GooglebotGoogle
BingbotBing
YandexBotYandex
DuckDuckBotDuckDuckGo
Googlebot-ImageGoogle Images
GPTBotOpenAI (training) · YZ
OAI-SearchBotChatGPT search · YZ
ChatGPT-UserChatGPT browsing · YZ
ClaudeBotAnthropic (training) · YZ
Claude-UserClaude browsing · YZ
Google-ExtendedGemini training · YZ
PerplexityBotPerplexity · YZ
CCBotCommon Crawl · YZ
Applebot-ExtendedApple AI training · YZ

Bu araç tamamen tarayıcında çalışır. Girdiğin bilgiler sunucuya gönderilmez, kaydedilmez, çerezde tutulmaz.

robots.txt, sitenin kökünde duran ve botlara hangi bölümleri taramaları gerektiğini söyleyen küçük bir metin dosyasıdır. Yanlış bir satır bütün siteyi aramadan çıkarabilir; doğru bir dosya ise tarama bütçesini önemli sayfalara yönlendirir ve yapay zeka botlarına ne kadar izin vereceğine sen karar verirsin.

Nasıl kullanılır?

  1. Tüm botlar için varsayılan kuralı seç; yayındaki bir site için neredeyse her zaman “izin ver”dir.
  2. Taranmasını istemediğin yolları her satıra bir tane yaz (ör. /admin/, /sepet/).
  3. Sitemap adresini ekle.
  4. Gerekirse botları tek tek izinli ya da engelli yap; dosyayı indirip sitenin köküne yükle.

Sık sorulan sorular

robots.txt nereye konur?

Alan adının köküne: site.com/robots.txt. Alt klasöre konan dosya dikkate alınmaz; her alt alan adı kendi dosyasını ister.

robots.txt ile bir sayfayı Google’dan kaldırabilir miyim?

Hayır. Engellenen sayfa başka yerlerden link alıyorsa yine dizinde görünebilir. Kaldırmak için sayfanın taranmasına izin ver ve noindex etiketi ekle.

Yapay zeka botlarını engellemeli miyim?

Karar senin. Eğitim botlarını (GPTBot, ClaudeBot, Google-Extended, CCBot) engellemek içeriğinin model eğitiminde kullanılmasını sınırlar. Cevap anında sayfayı açan botları (OAI-SearchBot, ChatGPT-User, PerplexityBot) engellemek ise yapay zeka aramalarında görünürlüğünü azaltabilir.

Crawl-delay kullanmalı mıyım?

Çoğu site için gerekmez. Google bu satırı yok sayar; Bing ve Yandex dikkate alır. Sunucun gerçekten zorlanıyorsa küçük bir değer kullan.

CSS ve JavaScript dosyalarını engellemek sorun olur mu?

Olur. Google sayfaları çizerek anlar; bu dosyaları engellemek sayfanın nasıl göründüğünü anlamasını zorlaştırır.

robots.txt ne yapar, ne yapmaz?