Web系の作業をするときは「tail -f」でerror_logを流しているのですが、ちょくちょく


なエラーが混ざってしまってですね。

仕方ないのでrobots.txtを置くことにしたのですが、
どーせだったらちゃんと書き方覚えておくか、と思ったのが今回のきっかけです。

と言う訳でrobots.txtに関するあれこれφ（－－）

■ファイル名
robots.txt

■置き場所
公開ディレクトリの中で一番上。URL的には「/」直下ですね。

■書き方
基本的な書き方としては

１．どのクローラ（ユーザエージェント）に
２．許可するのか許可しないのか
３．どのファイルを

ってのを指定します。

１．どのクローラ（ユーザエージェント）に
　「User-Agent: *」って書けば全部のクローラです。
　それ以外は「User-Agent: 【特定のクローラ】」で指定します。

２．許可するのか許可しないのか
　「Disallow（駄目だよ）」「Allow（いーよ）」のどちらかです。
　基本的には「Disallow（駄目だよ）」だけを指定するか、
　「Disallow /（全部駄目だよ）」＋「Allow（いーよ）」の組み合わせで指定します。

３．どのファイルを
　ディレクトリとかファイルの指定です。
　「/」を指定すると全部のファイルが対象になります。
　「/hoge/」と指定すると「hoge/」ディレクトリ配下の全ファイルです。
　「/hoge」と指定した場合は「hoge/」ディレクトリ配下の全ファイルと
　「/hoge.html」とか「/hoge」で始まるファイルが対象となります。

robots.txtの書き方の例はこんな感じですかねφ（－－）

・全部拒否
※全部のクローラを拒否。対象は全ファイル。

・index.htmlだけ見ていーよ
※全部のクローラを拒否。対象は全ファイル。index.htmlは許可。

・特定のクローラだけ拒否
※「bot01」を拒否。対象は全ファイル。「bot02」を拒否。対象は全ファイル。

あっ、そうそう。
こんな感じでsitemap.xmlの場所を指定することもできますφ（－－）

以上でっす＼（－－）／