Semalt, botlar, möýler we süýrenijiler bilen nähili işleşmelidigi barada maslahatlar berýär

Gözleg motory üçin dostlukly URL-ler döretmekden başga-da .htaccess faýly web ussatlaryna belli botlaryň web sahypasyna girmeginiň öňüni almaga mümkinçilik berýär. Bu robotlary blokirlemegiň bir usuly robots.txt faýly arkaly. Şeýle-de bolsa, “ Semalt Müşderi Üstünligi” Dolandyryjysy Ross Barber käbir gözlegçileriň bu haýyşy äsgermezlik edendigini gördi. Iň oňat usullaryň biri .htaccess faýlyny mazmunyňyzy indeksirlemezlik üçin ulanmakdyr.

Bu botlar näme?

Gözleg motorlary tarapyndan indeksirlemek maksady bilen internetden täze mazmuny ýok etmek üçin ulanylýan programma üpjünçiliginiň bir görnüşi.

Aşakdaky meseleleri ýerine ýetirýärler:

  • Baglanan web sahypalaryna giriň
  • HTML koduňyzy ýalňyşlyklar üçin barlaň
  • Haýsy web sahypalaryny baglanyşdyrýandygyňyzy ýatda saklaýarlar we haýsy web sahypalarynyň mazmunyňyza baglanyşýandygyny görýärler
  • Mazmunyňyzy görkezýärler

Şeýle-de bolsa, käbir botlar zyýanly bolup, sahypaňyza islenmeýän habarlary ýa-da spam ibermek üçin ulanylýan e-poçta salgylaryny we formalaryny gözläň. Beýlekiler hatda koduňyzda howpsuzlyk kemçiliklerini gözleýärler.

Web gözlegçilerini bloklamak üçin näme gerek?

.Htaccess faýly ulanmazdan ozal aşakdaky zatlary barlamaly:

1. Sahypaňyz Apache serwerinde işleýän bolmaly. Häzirki wagtda hatda şol web hosting kompaniýalary hem işinde ýarym mynasyp bolup, zerur faýla girmäge mümkinçilik berýär.

2. Web sahypalaryňyza haýsy botlaryň girýändigini anyklamak üçin web sahypaňyzyň çig serwer gündeligine girip bilersiňiz.

Bularyň hemmesini, hatda peýdaly hasaplaýanlaryňyzy hem bloklamasaňyz, ähli zyýanly botlary blokirläp bilmejekdigiňize üns beriň. Her gün täze botlar çykýar we köneleri üýtgedilýär. Iň täsirli usul, koduňyzy goramak we botlaryň size spam ibermegini kynlaşdyrmakdyr.

Botlary kesgitlemek

Botlary ýa-da IP adresi ýa-da HTTP sözbaşylarynda iberýän "Ulanyjy agent setiri" arkaly kesgitläp bolýar. Mysal üçin, Google "Googlebot" ulanýar.

Bu sanawda 302 bot bilen zerur bolup biler, eger eýýäm .htaccess-den peýdalanmakdan saklanmak isleýän botuňyzyň ady bar bolsa.

Anotherene bir ýol, ähli hasaba alyş faýllaryny serwerden göçürip almak we tekst redaktory arkaly açmak. Serwerdäki ýerleşişi, serweriňiziň konfigurasiýasyna baglylykda üýtgäp biler. Olary tapyp bilmeseňiz, web hostyňyzdan kömek soraň.

Haýsy sahypa girendigini ýa-da baryp görmegiň wagtyny bilýän bolsaňyz, islenmeýän bot bilen gelmek has aňsat. Bu parametrler bilen gündelik faýly gözläp bilersiňiz.

Bir gezek haýsy botlary blokirlemelidigiňize göz ýetirdiňiz; soň olary .htaccess faýlyna goşup bilersiňiz. Boty blokirlemek, ony duruzmak üçin ýeterlik däldigini ýadyňyzdan çykarmaň. Täze IP ýa-da at bilen gaýdyp biler.

Olary nädip bloklamaly

.Htaccess faýlynyň göçürmesini göçürip alyň. Gerek bolsa ätiýaçlyk nusgalaryny ediň.

Usul 1: IP bilen blokirlemek

Bu kod parçasy 197.0.0.1 IP adresi ulanyp boty bloklaýar

Buýruk ber, rugsat ber

197.0.0.1-den ýüz öwüriň

Birinji setir, serweriň görkezen nagyşlaryňyza laýyk gelýän ähli haýyşlary blokirlejekdigini we beýlekileriň hemmesine rugsat berjekdigini aňladýar.

Ikinji setir serwere 403: gadagan sahypa çykarmagy tabşyrýar

2-nji usul: Ulanyjy agentleri tarapyndan blokirlemek

Iň aňsat usuly, Apaçiniň täzeden ýazmak motoryny ulanmakdyr

RewriteEngine On

RewriteCond% {HTTP_USER_AGENT} BotUserAgent

RewriteRule. - [F, L]

Birinji setir täzeden ýazmak modulynyň açyk bolmagyny üpjün edýär. Ikinji setir, düzgüniň ulanylýan şertidir. 4-nji setirdäki "F" serwere 403 gaýtarmagy aýdýar: Gadagan, "L" bu iň soňky düzgün.

Soňra .htaccess faýlyny serweriňize ýüklärsiňiz we bar bolan faýlyň üstünden ýazarsyňyz. Wagtyň geçmegi bilen botyň IP-ni täzelemeli bolarsyňyz. Erroralňyşlyk goýberen bolsaňyz, ätiýaçlyk nusgasyny ýükläň.