検索エンジンロボット。
検索エンジンがホームページの情報を集めるためのソフトウェア「検索エンジンロボット(クローラー)」。
有名なところでは、GooglebotやYahoo! Slurp、msnbotなどがあるがその他にみなさんはいくつのロボットを知っているだろうか？
それ以外のロボットなんてあるの？とか、100個知っているという人も中にはいるかもしれない。
そうしたロボットのプログラムの中には、少し行儀の悪い動作をするものもある。
私達は、ホームページのページ数が1万ページを超えるウェブサイトなども運営している。
そのようなページの管理をしていると気になるのが、出所不明、意味不明なロボットの存在だ。
このようなロボットの中には、１つのウェブサイトに対して1秒間にすごい数のアクセスを繰り返したりするものがある。
こうしたロボットの無意味で必要の無いアクセスはサーバーの質を低下させ、サーバーダウンの危険性もある。
サーバーダウンまで行かなくとも、サーバーのレスポンスを低下させ、せっかく私達のサイトを利用しようとしたユーザまで追い払ってしまう可能性は充分に考えられる。
せっかくSEO対策で集客に成功しても意味がないことにだって成りかねない。売り上げのチャンスを逃してしまうことになるのだ。
このようなロボットの対策方法は .htaccess を使って不要なロボットのクロール(巡回)を止めてしまうのが有効だ。.htaccessでの制限方法については、他のサイトを見てほしいが、
参考までに下記が私達が使っている.htaccessの制限の一部だ。
SetEnvIf User-Agent "BecomeJPBot" deny_ua
SetEnvIf User-Agent "Baiduspider" deny_ua
SetEnvIf User-Agent "Twiceler" deny_ua
order allow,deny
allow from all
deny from env=deny_ua
SEO対策では無意味なロボットのクロールを止めることにより、サーバーのレスポンスを速くすれば、GooglebotやYahoo Slurp、msnbot等の必要なロボットの巡回は多くなる可能性もあるので、
ぜひ不要だと思われるロボットへの対策も考えていただきたい。
|
|
Vol.01
 SEO成功へのカギは一般常識。
ページランクじゃなくて人気度。
相互リンクよりも強く。
サイトの価値、キーワードの価値。
“更新”する意味。
Vol.02
失敗する２つの顔。
外面だけのイケメンページ。
不利なフレームページ。
CSSデザインとTABLEデザイン。
META,TITLE,BODYは必ず設定。
Vol.03
アフィリエイトの競争力。
松竹梅の理論。
お金をかける部分。
プログラムの性質。動作。
SEOの内部要因と外部要因。
Vol.04
HTMLタグの間違い＝欠陥品。
リンクの持続性。リンクの定着率。
アクセスログに隠される宝物。
矛盾する検索結果。
検索エンジンロボット。
※ 次回の更新もお見逃しなく。
|
