Analyticsで一日10,000PVという大体「中堅クラス」のサイトにおいて、やたらサーバが重くなってきたので、ある検証をしてみました。

具体的にはクローラーだけのアクセス数をカウントするプログラムをWEB全体に埋め込んでみたのですが、その結果、興味深いデータが出てまいりました。


クローラの一日のアクセス数

・GoogleBOT(googleのクローラエンジン)
  → 30,000アクセス程度

・その他サーチエンジンBOT(BaiduやMSNなどのクローラエンジン)
  → 70,000アクセス程度

・まとめ系掲示板のBOT(Neverなど)
  → 20,000アクセス程度

実際に来訪している数の12倍程度も、なんとクローラーが回っていたのです・・・

彼らもサーバやネットワークに負荷をかける閲覧者のわけですね。この検証結果から主要なくクローラー以外は正規の結果を返さない施策(負荷をかけないページを返す)をおこなったのですが、サーバは以前と想像もつかないほど軽くなりました。

施工してから半年たっていますが、検索順位など対外的なマイナス要因はありませんし、意図的に来てほしいBOTに絞り込んでいるせいか、順位自体はむしろ上がっています。

 

その他の関連記事

 

PAGE TOP