以前、
metaタグをつかって検索結果に表示されなくなる方法 について記事を書きましたが、今回はルートディレクトリにファイルをアップすることでクローラにお帰り頂く技を紹介します。
アップするファイル
User-Agent: * Disallow: /
こちらのファイルを robots.txt と名付け、
パーミッションを 644 にしてルートディレクトリにアップしておくだけで、
なんということでしょう。すべてのクローラを追い返してくれます（理論的には）。
例えば、Googleのクローラだけをはじきたいときは、
User-agent: Googlebot Disallow: /
的な感じでUser-agentを適宜変更しましょう。
今回は以上です。
