Yahoo!のクローラー

投稿者: | 2004年6月23日

 そういえばYahoo!がUSもJapanも独自エンジンになったが、クローラー対策をすっかり忘れていた。

 この日記では、サーチエンジンのクローラーかどうかを判別して、クローラーの場合は「リンク元」やサイドバー内の記事タイトルを出力しないようにしている。でないと、本文に現れないキーワードでインデックスされてしまうからだ。

 tdiary.confの@options['bot']に「^YahooFeedSeeker/'」と「Yahoo! Slurp」を追加しておいた。

カテゴリー: Tech

コメントを残す

メールアドレスが公開されることはありません。