辻正浩のはてなブログ

せっかくだから俺はこのはてなブログを選ぶぜ

ネット

ホワイトハウスのrobots.txtの変化

ホワイトハウスのロボットテキストが大きく変わっていたのでメモ。前はちゃんとサイトに合わせた内容だったのに、crawl-delay以外は標準にしちゃったような。何らかのミスな気がする 11月3日確認 User-agent: * Crawl-delay: 10 Disallow: /petition-tool/ D…