Web sitenizin SEO analiz araçları tarafından taranmasını istemiyorsanız, bazı botların erişimini sınırlandırabilirsiniz. Ahrefs, Semrush, Moz ve Majestic gibi yaygın SEO platformları, sitelerden çeşitli veriler toplamak amacıyla otomatik botlar kullanır. Bu botların sitenizi taramasını engelleyerek içeriklerinizin, backlink bilgilerinizin ve diğer SEO verilerinizin üçüncü taraf araçlar tarafından görüntülenmesini kısıtlayabilirsiniz. Aşağıda, söz konusu SEO botlarının web sitenize erişimini nasıl durdurabileceğinizi adım adım ele alacağız.
Robots.txt Kullanarak SEO Botlarını Engelleme
Robots.txt dosyası, arama motorlarının ve çeşitli SEO araçlarının web sitenizde hangi alanları tarayabileceğini yönetmek için kullanılan temel yapılardan biridir. Ancak burada önemli bir ayrıntıyı unutmamak gerekir: Robots.txt, botlara yönelik bir yönlendirme niteliğindedir. Yani belirtilen kurallara her botun kesin olarak uyacağını garanti etmez.
Belirli SEO botlarının sitenizi taramasını istemiyorsanız, robots.txt dosyanıza ilgili botları tanımlayarak erişimlerini kısıtlayabilirsiniz. Örneğin aşağıdaki kurallar, belirtilen botların sitenin tamamını taramasını engeller:
User-agent: rogerbot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: SiteAuditBot
Disallow: /
User-agent: AhrefsBot
Disallow: /Buradaki User-agent satırı hangi bot için kural uygulanacağını belirtirken, Disallow: / ifadesi o botun sitenin hiçbir bölümünü taramaması gerektiğini ifade eder.
.htaccess ve nginx.conf ile Bot Engelleme
Sunucunuz Apache altyapısıyla çalışıyorsa, .htaccess dosyasına ekleyeceğiniz özel kurallarla belirli botları engelleyebilirsiniz. Bu işlem sırasında botların IP adresleri veya User-Agent bilgileri üzerinden filtreleme yapılabilir. robots.txt dosyasından farklı olarak bu yöntem, erişimi doğrudan sunucu seviyesinde kısıtladığı için çok daha kesin bir kontrol sağlar.
Sunucunuz .htaccess kullanımını destekliyorsa, belirli botların siteye erişimini engellemek için aşağıdaki kuraldan yararlanabilirsiniz:
# .htaccess üzerinden bot engelleme
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (ahrefsbot|mj12bot|rogerbot|dotbot|semrush) [NC]
RewriteRule .* - [F,L]
</IfModule>Nginx kullanan sunucularda ise benzer bir işlemi nginx.conf üzerinden gerçekleştirmek mümkündür. Gelen isteğin User-Agent bilgisinde belirtilen botlardan biri tespit edildiğinde sunucu 403 Forbidden yanıtı döndürerek erişimi engeller:
# Nginx üzerinden bot engelleme
if ($http_user_agent ~* (ahrefsbot|mj12bot|rogerbot|dotbot|semrush) ) {
return 403;
}PHP ile Bot Engelleme
Web siteniz WordPress gibi PHP tabanlı bir altyapı kullanıyorsa ve sunucunuzda .htaccess desteği bulunmuyorsa, botları engellemek için PHP üzerinden de bir yöntem uygulayabilirsiniz. Bunun için aşağıdaki kodu head.php dosyanıza eklemeniz yeterlidir:
$badAgents = array('rogerbot','mj12bot', 'ahrefsbot', 'semrush', 'dotbot'); foreach ($badAgents as $blacklist) {
if (preg_match("/$blacklist/", strtolower($_SERVER['HTTP_USER_AGENT'])) ) { exit(); } }Bu kod, belirlediğiniz botların kullanıcı aracısı (User-Agent) bilgisini kontrol eder. Listede yer alan bir bot tespit edildiğinde, sayfanın çalışması sonlandırılarak ilgili botun içeriğe erişmesi engellenir. Ancak bu yöntemi tercih ettiğinizde WordPress’in RSS beslemelerini de devre dışı bırakmanız gerekir. Bunun için aşağıdaki kodu temanızın functions.php dosyasının en altına ekleyebilirsiniz:
function wp_disable_feeds() {
wp_die( __('No feeds available!') );
}
add_action('do_feed', 'wp_disable_feeds', 1);
add_action('do_feed_rdf', 'wp_disable_feeds', 1);
add_action('do_feed_rss', 'wp_disable_feeds', 1);
add_action('do_feed_rss2', 'wp_disable_feeds', 1);
add_action('do_feed_atom', 'wp_disable_feeds', 1);
add_action('do_feed_rss2_comments', 'wp_disable_feeds', 1);
add_action('do_feed_atom_comments', 'wp_disable_feeds', 1);Kod çalıştırıldığında RSS beslemelerine erişmeye çalışan kullanıcılar veya botlar “No feeds available!” mesajıyla karşılaşır. İsterseniz bu metni sitenizin diline ve kullanım amacına uygun farklı bir ifadeyle değiştirebilirsiniz. Son olarak, yaptığınız değişikliklerin etkili olabilmesi için ilgili dosyaları kaydetmeyi unutmayın.
Güvenlik Duvarı ve Bot Koruma Çözümlerinden Yararlanma
Web sitenizi kötü amaçlı botların oluşturabileceği yoğun ve şüpheli trafikten korumak için Cloudflare, Sucuri veya StackPath gibi güvenlik servislerinden faydalanabilirsiniz. Bu tür çözümler, yalnızca zararlı trafiği engellemekle kalmaz; gelen istekleri analiz ederek daha güvenli bir erişim ortamı oluşturmanıza da yardımcı olur.
Bu sistemler genel olarak:
- Daha önce tespit edilmiş kötü amaçlı botları otomatik olarak engeller.
- Tarayıcı kontrolleri üzerinden ziyaretçinin gerçek bir kullanıcı mı yoksa otomatik bir bot mu olduğunu belirlemeye çalışır.
- Botların davranışlarını inceleyerek olağandışı ve şüpheli istekleri sınırlar.
- Yoğun veya tekrarlayan otomatik erişimlerin sunucu kaynaklarını gereksiz yere tüketmesini önlemeye yardımcı olur.
Örneğin Cloudflare’ın Bot Fight Mode özelliği, şüpheli otomatik trafiğin tespit edilip sınırlandırılmasına olanak tanır. Bu sayede Ahrefs gibi SEO araçları veya benzer otomatik tarama sistemlerinin siteye erişimi gerektiğinde kontrol altına alınabilir.
