一部のクローラーをブロックすることにしました

ブログを開設してから数日しか経っていないのですが、ものすごい勢いでクロールしてくるクローラーbotがあったのでブロックすることにしました。

BaiduとNaverのクローラーさん来すぎ

StatPressを入れてるのですが、ブログ開設して数日なのはわかるけど、それにしてもすごいいきおいで来ているクローラーがあるのを発見。
調べてみたらBaidu（百度）とNaverのbotだということが判明。

• 噂のBaiduとNaverのクローラはwikiがお好き
• Baidu タンをなんとかする

うーん…有名なクローラーなのね…。
どちらも、1分間に何度も来てたり、ないファイルやらをつっついたりしてきていたのでちょっとお帰りいただくことにしました。

.htaccessで帰っていただいてみた

• ロボ避けとアクセス制限のための覚え書き

ルートの.htaccessに以下を追加。

SetEnvIf User-Agent "naver" shutout
SetEnvIf User-Agent "Yeti" shutout
SetEnvIf User-Agent "Baiduspider" shutout
SetEnvIf User-Agent "BaiduImagespider" shutout
SetEnvIf User-Agent "BaiduMobaider" shutout

order Allow,Deny
Allow from all
Deny from env=shutout

こんなもんか、な…と。

これでしばらくは安泰かな？
手を変え品を変えいらっしゃるみたいだけど、効果はどうなのかはもうしばらく様子を見てみようと思います。