Kembali ke Alat

Pembuat Robots.txt Gratis

Pembuat file robots.txt gratis memungkinkan Anda dengan mudah membuat file robots.txt untuk situs web Anda berdasarkan input.

robots.txt adalah file yang dapat ditempatkan di folder root situs web Anda untuk membantu mesin pencari mengindeks situs Anda dengan lebih tepat. Mesin pencari seperti Google menggunakan perayap situs web, atau robot yang meninjau semua konten di situs web Anda. Mungkin ada bagian dari situs web Anda yang tidak ingin Anda mereka jelajahi untuk dimasukkan dalam hasil pencarian pengguna, seperti halaman admin. Anda dapat menambahkan halaman-halaman ini ke file untuk diabaikan secara eksplisit. File robots.txt menggunakan sesuatu yang disebut Protokol Pengecualian Robot. Situs web ini akan dengan mudah menghasilkan file untuk Anda dengan input halaman yang akan dikecualikan.


Default - Semua Robot adalah:

Crawl-Delay:

Peta Situs:

Robot Pencari:


Google

Google Image

Google Mobile

MSN Search

Yahoo

Yahoo MM

Yahoo Blogs

Ask/Teoma

GigaBlast

DMOZ Checker

Nutch

Alexa/Wayback

Baidu

Naver

MSN PicSearch

Direktori Terbatas:
Jalur relatif terhadap root dan harus mengandung garis miring "/" di akhir