辻正浩のはてなブログ

せっかくだから俺はこのはてなブログを選ぶぜ

2012-11-07から1日間の記事一覧

ホワイトハウスのrobots.txtの変化

ホワイトハウスのロボットテキストが大きく変わっていたのでメモ。前はちゃんとサイトに合わせた内容だったのに、crawl-delay以外は標準にしちゃったような。何らかのミスな気がする 11月3日確認 User-agent: * Crawl-delay: 10 Disallow: /petition-tool/ D…