Yahoo!のクローラー

　そういえばYahoo!がUSもJapanも独自エンジンになったが、クローラー対策をすっかり忘れていた。

　この日記では、サーチエンジンのクローラーかどうかを判別して、クローラーの場合は「リンク元」やサイドバー内の記事タイトルを出力しないようにしている。でないと、本文に現れないキーワードでインデックスされてしまうからだ。

　tdiary.confの@options['bot']に「^YahooFeedSeeker/'」と「Yahoo! Slurp」を追加しておいた。