botやcrawlerの類は、何も対策しないとひどいことになるので、「robotはぢきについて」などを参考に、有害なやつは蹴る必要がある。
さらに、善いbotに対しても面倒を見てやる必要があって、この日記のようにsidebarに外部から取ったニュースや恒常的なリンクを配置すると、botがそれらのキーワードやリンクなど、本文に関係ない情報までインデックスしてしまう。そこで、botに対してはニュースやリンクは見せないよう、次のように対処した。
|
1 2 3 4 5 6 7 8 |
<% unless bot? %> ....ニュース欄... ....リンク欄... <% end %> |
なお、この「bot?」は、デフォルトでは「googlebot」「Hatena Antenna」「moget@goo.ne.jp」の三つしかbotと見なさないので、tdiary.confに次のように追加定義した。
|
1 2 3 4 5 6 7 |
@options['bot'] = [ '^msnbot/', '^Openbot/', '^FAST-WebCrawler/', '^(Naverbot|Cowbot)-', '^NG/', ] |