ツールに戻る

無料 Robots.txt ジェネレーター

無料の robots.txt ファイルジェネレーターは、入力に基づいて簡単にウェブサイト用の robots.txt ファイルを生成できます。

robots.txtは、検索エンジンがあなたのサイトを適切にインデックスするのを助けるために、ウェブサイトのルートフォルダに配置できるファイルです。Googleなどの検索エンジンは、ウェブサイトのすべてのコンテンツを確認するウェブサイトクローラー、またはロボットを使用します。管理ページなど、ユーザーの検索結果に含めたくないウェブサイトの部分があるかもしれません。これらのページをファイルに追加して、明示的に無視するように指示できます。Robots.txtファイルは、Robots Exclusion Protocolと呼ばれるものを使用します。このウェブサイトは、除外するページを入力することで、簡単にファイルを生成します。


デフォルト - すべてのロボットは:

クロール遅延:

サイトマップ:

検索ロボット:


Google

Google Image

Google Mobile

MSN Search

Yahoo

Yahoo MM

Yahoo Blogs

Ask/Teoma

GigaBlast

DMOZ Checker

Nutch

Alexa/Wayback

Baidu

Naver

MSN PicSearch

制限されたディレクトリ:
パスはルートに対して相対的であり、末尾にスラッシュ "/" を含める必要があります