De cateva zile un fenomen cel putin ciudat se intampla pe site. Si nu mi-ar fi ridicat un semn de intrebare daca nu ar fi persistat. Cand spun “ciudat” ma refer prin comparatie cu Googlebot. Daca acesta din urma parseaza siteul de pe un singur ip si se inregistreaza o singura linie de activitate, Bingbot (sau msnbot) parseaza siteul de pe 2 ip-uri diferite (207.46.13.58 si 157.55.29.251) si se inregistreaza zeci de linii active, ca in cazul unui flood, dupa cum se poate vedea din imaginea de mai jos, cu toate urmarile sale. Banda a inceput sa se reduca, timpii de raspuns ai siteului sa se mareasca etc.
Am setat intervalul de crowlare pentru bingbot din webmaster master tools pus la dispozitie de Microsoft, dar inutil, nu a functionat, bingbot ruleaza All the time.
Solutia a fost pe cat de simpla, pe atat de radicala: am blocat ip-urile bingbot din htacces. Pentru o perioada, apoi deblocam sa vedem ce se intampla. Intre timp sunt curios daca se intampla ceva in webmaster master tools Ms.
Imaginea a fost preluata dupa blocarea bingbot, motiv pentru care au mai disparut din liniile active.
Be First to Comment