みかづきブログ その3

3ヶ月つづけてみました。

robots.txtをつかって検索結果に表示されないようにする

以前、
metaタグをつかって検索結果に表示されなくなる方法 について記事を書きましたが、今回はルートディレクトリにファイルをアップすることでクローラにお帰り頂く技を紹介します。

アップするファイル

User-Agent: *
Disallow: /

こちらのファイルを robots.txt と名付け、
パーミッションを 644 にしてルートディレクトリにアップしておくだけで、
なんということでしょう。すべてのクローラを追い返してくれます(理論的には)。

例えば、Googleのクローラだけをはじきたいときは、

User-agent: Googlebot
Disallow: /

的な感じでUser-agentを適宜変更しましょう。


今回は以上です。