2012-11-07から1日間の記事一覧
ホワイトハウスのロボットテキストが大きく変わっていたのでメモ。前はちゃんとサイトに合わせた内容だったのに、crawl-delay以外は標準にしちゃったような。何らかのミスな気がする 11月3日確認 User-agent: * Crawl-delay: 10 Disallow: /petition-tool/ D…
ホワイトハウスのロボットテキストが大きく変わっていたのでメモ。前はちゃんとサイトに合わせた内容だったのに、crawl-delay以外は標準にしちゃったような。何らかのミスな気がする 11月3日確認 User-agent: * Crawl-delay: 10 Disallow: /petition-tool/ D…