掲示板アクセスのほとんどが検索エンジンのロボット

Desigeon掲示板のアクセスログがやたらでかい気がするので調べてみたのですが、アクセス数のほとんどが検索エンジンのクローリングなんですね。

検索エンジンは多くの端末を使ってデータ収集するので、ユニークアクセスの判定に収束せず一度に大量の足跡を残していくみたいで。知ってはいたものの、昔よりはるかにロボットの割合が増えていることに最近気づきました。

（やたら多いＹｅｔｉって昔は見ないロボットだったけど何者だろう、と調べてしまいました）

ロボットはどのページにも現れますが、とくに掲示板はものすごい。ページ数が増えるに従いロボットが頻繁に訪れるようになります。私のDesigeon掲示板のユニークアクセス数は３年弱で５万５千件ほどですが、このうち３万５千くらいはロボットと予想しました。

設定でこれまでカウントを弾いていたのは「はてなアンテナ」だけです。

世間ではどうなんだろう。統計を取るときユニークカウントにすることはもちろん、検索エンジン等を弾く設定にしておかないとカウンタってもの凄い勢いで回っていきますから、数値を見てもなんの参考にもならないような。やはりロボットを弾くなんていう初歩はカウンタのデフォルト設定なんだろうか。新しい検索エンジンに対処してないサイトは多いんだろうね。

とりあえず、目についたロボットはカウントしないように設定してみましたが、どうなるんだろう来月から。ログの縮小を期待するのと、資料的に役に立つ……、ようになるんだろうか。

開設以来、月日が経っているからそろそろ自分ところの統計くらいはチェックしてみたいところ。

そういえば当雑記も、いつの間にかユニークアクセスが１０万件を超えていました。昔の自サイトからは想像できない数値の伸び。いいことなのかどうかは知らないけど。