Sektörünüzdeki en kuvvetli rakibinizin incelemeye başladığınız zaman ilk olarak genellikle sitenin link yapısı incelenmektedir.Neden Bu site anahtar kelimlerinden ilk sırada ?Hangi sitelerden ne kadar tanıtım yazısı almış,ne kadar nofollow link var,Hangi kelimelerden ne kadar Anchor text link var gibi çeşitli incelemeler yaparız.Pek çok seo uzmanı ve dijital pazarlama üzerine çalışan firma projelerine çalışmaya yaparken daha önceden oluşturmuş olduğu link ağını kullanmayı tercih ediyor!! Bunlar genellikle farklı hostig firmalarında barındırdıkları güçlü blog siteleri olurken kimi zamanda da guest blogging, tanıtım yazısı gibi yöntemler ile backlink ediniliyor.Her geçen gün Google Backlink pazarının değerini düşürmek için algoritmasında büyük değişiklikler yapsada şuanda Türkiye Pazarında Doğal arama sonuçlarında Kaliteli backlink inşası çok önemli bir rol oynamaktadır.Bir gün kendi sektörünüzde en iyi trafik ve hit alan site sahibi iseniz mutlaka rakipleriniz bir süre sonra neler yaptığınızı, ne gibi çalışmalar ile bu duruma geldiğinizi inceleyip buna göre kendilerine bir yol haritası çıkartacaktır.
Türkiye Seo Pazarından en çok sık raslanan konu üst sırada bulunan rakibin nerelerden link aldığını öğren ve aynı yerlerden hemen aynı kaynaklardan link almak olucaktır.Güzel bir link stratejisi belirlediniz ve bu strateji ile birinci sıraya geldiniz, bu stratejinin rakipleriniz tarafından bilinmesini engellemek sizin en doğal hakkınız. Farklı kaynaklar oluşturdunuz yada sektörünüz için en doğru siteyi buldunuz ve link alımları yaptınız peki bunu niye rakiplerimiz ile paylaşalım ki?
İşte tam bu noktada çok fazla kişinin bildiğine inanmadığım bir yöntem ile Rakiplerinize ve sitenizi incelemek isteyen herkese karşı olası kullanabileceği link analiz araçlarına ait botların sitenize erişimini engellerseniz bu durumun önüne rahatlıkla geçebilirsiniz.Apache kullanıyorsanız robots.txt dosyasına ekleyeceğiniz kodlar ile istediğiniz aracın botunun siteye erişimini engelleyebilirsiniz.Diğer bir yöntem ise .htaccess dosyasına ekleyeceğiniz kodlar ile bunu sağlayabilirsiniz. Windows sunucu kullanıyorsanız sadece .robots.txt dosyası ile bunu yapabilirsiniz.
Robots.txt dosyasına aşağıdaki kodları ekleyerek bunu sağlayabilirsiniz;
# Blocking bad link checker robots-Aşadaki Listede En Popüler Link Programlarının Botları reddedilmiştir.
User-agent: AhrefsBot
Disallow: /
User-agent: Alexibot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: SurveyBot
Disallow: /
User-agent: Xenu’s
Disallow: /
User-agent: Xenu’s Link Sleuth 1.1c
Disallow: /
User-agent: rogerbot
Disallow:/
Bu yöntemin şöle bir dezavantajı olabilir.Eğer rakibiniz oldukça kurnaz ise www.siteadi.com/robots.txt yaparak bu dosyayı kontrol etmek istediğinden yapılan bu işlemleri görücektir.Bunu istemeyenler için diğer bir alternatif yola başvurucaz
.htaccess
dosyası ile bu botların sitenize erişimini engellemek istiyorsanız aşağıdaki kodları .htaccess dosyasına ekleyebilirsiniz;
SetEnvIfNoCase User-Agent .*rogerbot.* naughty
SetEnvIfNoCase User-Agent .*mj12bot.* naughty
SetEnvIfNoCase User-Agent .*ahrefsbot.* naughty
Order Allow,Deny
Allow from all
Deny from env=naughty
Google bot dışında neredeyse tüm botların siteye erişimin engelemek İsteyen arkadaşlarımız aşadaki listeyi kullarak bu botların da sitelerine erişimini engelleyebilir.
User-agent : AhrefsBot Disallow: / User-agent : Alexibot Disallow: / User-agent : AppEngine-Google Disallow: / User-agent : Aqua_Products Disallow: / User-agent : asterias Disallow: / User-agent : b2w/0.1 Disallow: / User-agent : BackDoorBot/1.0 Disallow: / User-agent : BacklinkCrawler Disallow: / User-agent : bdbrandprotect Disallow: / User-agent : Black Hole Disallow: / User-agent : BlowFish/1.0 Disallow: / User-agent : boitho.com-dc Disallow: / User-agent : Bookmark search tool Disallow: / User-agent : BotALot Disallow: / User-agent : BotRightHere Disallow: / User-agent : BPImageWalker Disallow: / User-agent : BuiltBotTough Disallow: / User-agent : Bullseye/1.0 Disallow: / User-agent : BunnySlippers Disallow: / User-agent : CazoodleBot Disallow: / User-agent : Cegbfeieh Disallow: / User-agent : CheeseBot Disallow: / User-agent : CherryPicker Disallow: / User-agent : CherryPickerElite/1.0 Disallow: / User-agent : CherryPickerSE/1.0 Disallow: / User-agent : ConveraCrawler Disallow: / User-agent : Copernic Disallow: / User-agent : CopyRightCheck Disallow: / User-agent : cosmos Disallow: / User-agent : Crescent Disallow: / User-agent : Crescent Internet ToolPak HTTP OLE Control v.1.0 Disallow: / User-agent : discobot Disallow: / User-agent : DittoSpyder Disallow: / User-agent : dotbot Disallow: / User-agent : Download Ninja Disallow: / User-agent : EmailCollector Disallow: / User-agent : EmailSiphon Disallow: / User-agent : EmailWolf Disallow: / User-agent : EroCrawler Disallow: / User-agent : ExtractorPro Disallow: / User-agent : Ezooms Disallow: / User-agent : FairAd Client Disallow: / User-agent : Fasterfox Disallow: / User-agent : Fetch Disallow: / User-agent : findlinks Disallow: / User-agent : Flaming AttackBot Disallow: / User-agent : Foobot Disallow: / User-agent : Gaisbot Disallow: / User-agent : GetRight/4.2 Disallow: / User-agent : Gigabot Disallow: / User-agent : grub Disallow: / User-agent : grub-client Disallow: / User-agent : Harvest/1.5 Disallow: / User-agent : heritrix Disallow: / User-agent : hloader Disallow: / User-agent : httplib Disallow: / User-agent : HTTrack Disallow: / User-agent : HTTrack 3.0 Disallow: / User-agent : HuaweiSymantecSpider Disallow: / User-agent : humanlinks Disallow: / User-agent : ichiro Disallow: / User-agent : InfoNaviRobot Disallow: / User-agent : IRLbot Disallow: / User-agent : Iron33/1.0.2 Disallow: / User-agent : JennyBot Disallow: / User-agent : kalooga Disallow: / User-agent : Kenjin Spider Disallow: / User-agent : Keyword Density/0.9 Disallow: / User-agent : larbin Disallow: / User-agent : LexiBot Disallow: / User-agent : LexxeBot Disallow: / User-agent : libWeb/clsHTTP Disallow: / User-agent : libwww Disallow: / User-agent : LinkextractorPro Disallow: / User-agent : linko Disallow: / User-agent : LinkScan/8.1a Unix Disallow: / User-agent : LinkWalker Disallow: / User-agent : LNSpiderguy Disallow: / User-agent : lwp-trivial Disallow: / User-agent : lwp-trivial/1.34 Disallow: / User-agent : Mata Hari Disallow: / User-agent : Microsoft URL Control Disallow: / User-agent : Microsoft URL Control - 5.01.4511 Disallow: / User-agent : Microsoft URL Control - 6.00.8169 Disallow: / User-agent : Microsoft.URL.Control Disallow: / User-agent : MIIxpc Disallow: / User-agent : MIIxpc/4.2 Disallow: / User-agent : Mister PiX Disallow: / User-agent : MJ12bot Disallow: / User-agent : MLBot Disallow: / User-agent : moget Disallow: / User-agent : moget/2.1 Disallow: / User-agent : MSIECrawler Disallow: / User-agent : NaverBot Disallow: / User-agent : Net\ Vampire Disallow: / User-agent : NetAnts Disallow: / User-agent : NetMechanic Disallow: / User-agent : NICErsPRO Disallow: / User-agent : Nutch Disallow: / User-agent : Ocelli Disallow: / User-agent : Offline Explorer Disallow: / User-agent : Openbot Disallow: / User-agent : Openfind Disallow: / User-agent : Openfind data gatherer Disallow: / User-agent : Oracle Ultra Search Disallow: / User-agent : penthesilea Disallow: / User-agent : PerMan Disallow: / User-agent : PhpDig Disallow: / User-agent : ProPowerBot/2.14 Disallow: / User-agent : ProWebWalker Disallow: / User-agent : psbot Disallow: / User-agent : Python-urllib Disallow: / User-agent : QueryN Metasearch Disallow: / User-agent : Radiation Retriever 1.1 Disallow: / User-agent : RepoMonkey Disallow: / User-agent : RepoMonkey Bait & Tackle/v1.01 Disallow: / User-agent : RMA Disallow: / User-agent : rogerbot Disallow: / User-agent : SCOUTjET Disallow: / User-agent : SearchDaimon.com-dc Disallow: / User-agent : searchpreview Disallow: / User-agent : SEOENGBot Disallow: / User-agent : ShopWiki Disallow: / User-agent : sitecheck.internetseer.com Disallow: / User-agent : SiteSnagger Disallow: / User-agent : Snapbot Disallow: / User-agent : Sogou\ web\ spider Disallow: / User-agent : Sosospider Disallow: / User-agent : SpankBot Disallow: / User-agent : spanner Disallow: / User-agent : spbot Disallow: / User-agent : SurveyBot Disallow: / User-agent : suzuran Disallow: / User-agent : Szukacz/1.4 Disallow: / User-agent : Teleport Disallow: / User-agent : TeleportPro Disallow: / User-agent : Telesoft Disallow: / User-agent : Templeton Disallow: / User-agent : The Intraformant Disallow: / User-agent : TheNomad Disallow: / User-agent : TightTwatBot Disallow: / User-agent : Titan Disallow: / User-agent : toCrawl/UrlDispatcher Disallow: / User-agent : True_Robot Disallow: / User-agent : True_Robot/1.0 Disallow: / User-agent : turingos Disallow: / User-agent : TurnitinBot Disallow: / User-agent : TurnitinBot/1.5 Disallow: / User-agent : TwengaBot Disallow: / User-agent : Twiceler Disallow: / User-agent : Updownerbot Disallow: / User-agent : URL Control Disallow: / User-agent : URL_Spider_Pro Disallow: / User-agent : URLy Warning Disallow: / User-agent : VCI Disallow: / User-agent : VCI WebViewer VCI WebViewer Win32 Disallow: / User-agent : Web Image Collector Disallow: / User-agent : WebAuto Disallow: / User-agent : WebBandit Disallow: / User-agent : WebBandit/3.50 Disallow: / User-agent : WebCapture 2.0 Disallow: / User-agent : WebCopier Disallow: / User-agent : WebCopier v.2.2 Disallow: / User-agent : WebCopier v3.2a Disallow: / User-agent : WebEnhancer Disallow: / User-agent : WebmasterWorldForumBot Disallow: / User-agent : WebSauger Disallow: / User-agent : Website Quester Disallow: / User-agent : Webster Pro Disallow: / User-agent : WebStripper Disallow: / User-agent : WebZIP Disallow: / User-agent : WebZip/4.0 Disallow: / User-agent : WebZIP/4.21 Disallow: / User-agent : WebZIP/5.0 Disallow: / User-agent : wget Disallow: / User-agent : Wget/1.5.3 Disallow: / User-agent : Wget/1.6 Disallow: / User-agent : woozweb-monitoring Disallow: / User-agent : woriobot Disallow: / User-agent : WWW-Collector-E Disallow: / User-agent : Xenu Disallow: / User-agent : Xenu's Disallow: / User-agent : Xenu's Link Sleuth 1.1c Disallow: / User-agent : YACYBIT Disallow: / User-agent : yacybot Disallow: / User-agent : Yandex Disallow: / User-agent : YandexBot Disallow: / User-agent : Yeti Disallow: / User-agent : YodaoBot Disallow: / User-agent : Zealbot Disallow: / User-agent : Zeus Disallow: / User-agent : Zeus 32297 Webster Pro V2.9 Win32 Disallow: / User-agent : Zeus Link Scout Disallow: / User-agent : ZyBorg Disallow: /