Menu

tDiary – bot対策

 botやcrawlerの類は、何も対策しないとひどいことになるので、「robotはぢきについて」などを参考に、有害なやつは蹴る必要がある。

 さらに、善いbotに対しても面倒を見てやる必要があって、この日記のようにsidebarに外部から取ったニュースや恒常的なリンクを配置すると、botがそれらのキーワードやリンクなど、本文に関係ない情報までインデックスしてしまう。そこで、botに対してはニュースやリンクは見せないよう、次のように対処した。

<%
  unless bot?
%>
....ニュース欄...
....リンク欄...
<%
  end
%>

 なお、この「bot?」は、デフォルトでは「googlebot」「Hatena Antenna」「moget@goo.ne.jp」の三つしかbotと見なさないので、tdiary.confに次のように追加定義した。

@options['bot'] = [
  '^msnbot/',
  '^Openbot/',
  '^FAST-WebCrawler/',
  '^(Naverbot|Cowbot)-',
  '^NG/',
]

コメントを残す

メールアドレスが公開されることはありません。