Robots.txt Generator Gratis

Search Engine Optimization

Robots.txt Generator Gratis


Default - All Robots are:  
    
Crawl-Delay:
    
Sitemap: (leave blank if you don't have) 
     
Search Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Restricted Directories: The path is relative to root and must contain a trailing slash "/"
 
 
 
 
 
 
   



Now, Create 'robots.txt' file at your root directory. Copy above text and paste into the text file.


About Robots.txt Generator Gratis

Robots.txt Generator Gratis

Robot Txt Generator adalah tool SEO terbaik yang dapat membantu menaikkan peringkat website di SERP (Search Engine Results Pages). Ingin tahu bagaimana cara kerja alat ini? Simak selengkapnya dalam ulasan di bawah, ya. 

Apa Itu Robot Txt Generator? 

Sebelum membahas mengenai cara kerja alat ini, perlu diketahui mengenai apa itu Robot Txt. Sebagai informasi, Robot Txt merupakan file yang dapat Anda buat untuk menunjukkan jalan pada mesin pencari. 

Sederhananya, isi file ini berfungsi untuk membantu mesin pencari menemukan mana saja halaman di website Anda yang boleh ditampilkan. Seperti diketahui, tiap-tiap situs web tentu memiliki beberapa halaman pribadi yang tidak ingin ditampilkan di hasil pencarian Google. 

Contohnya adalah halaman identitas pemilik website, konten duplikat, dan lain sebagainya. Jika tidak memanfaatkan file ini, semua laman dalam web akan terindex robot Google sehingga informasinya tampil di mesin pencari. 

Dari itu, kemungkinan besar konten-konten yang seharusnya ditampilkan justru tidak terindeks sehingga memberikan beberapa dampak buruk. Contohnya, konten berkualitas tidak terindeks hingga membuat beban server makin berat. 

Sementara itu, ketika file ini diterapkan pada website maka mesin pencari Google hanya dapat mengindeks laman yang diizinkan tampil. Dengan begitu, proses crawling oleh mesin pencari bisa dilakukan pada konten-konten yang seharusnya. 

Namun, permasalahannya adalah tidak semua blogger tau cara membuat file Robot.txt, terlebih untuk bloggers baru. Sebagai alternatif paling mudah, Anda bisa menggunakan Robot Txt Generator untuk membuat file penting ini. 

Baca Juga: Backlink Checker Gratis

Fungsi dan Cara Menggunakan Robot Txt Generator

Selain beberapa fungsi tadi, menerapkan Robot.txt dalam blog WordPress ataupun website lainnya dapat menjadikan konten bersifat SEO friendly. Sehingga, konten-konten tersebut dapat dengan mudah terindeks Google dan muncul di mesin pencari. 

Untuk diketahui, proses pembuatan file Robot.txt menggunakan tool SEO ini bisa dikatakan sangat mudah. Pertama-tama, Anda bisa masuk terlebih dulu ke Robot.txt Generator. 

Dalam laman tersebut, terdapat beberapa elemen yang harus Anda kustomisasi sesuai kebutuhan, di antaranya adalah sebagai berikut. 

  1. Default-All Robot are adalah kolom untuk menentukan apakah mesin pencari diizinkan untuk melakukan crawl pada URL tertentu  sebaliknya. Terdapat dua pilihan di kolom ini, yaitu Allowed untuk mengizinkan dan Refused untuk melarang. 
  2. Crawl-Delay, Anda bisa mengatur apakah akan ada penundaan indexing oleh robot Google atau tidak. Jika memilih Default-No Delay, crawling akan langsung dilakukan mesin pencarian ketika sampai di situs Anda. Sementara itu, jika ingin memilih penundaan, tersedia opsi delay selama 5 hingga 120 detik. 
  3. Sitemap adalah file yang berisi daftar URL yang terdapat dalam website Anda. Dengan ini, indexing bisa dilakukan dengan lebih terstruktur. Jika Anda punya, taruh link sitemap dengan di kolom yang tersedia. Pastikan tidak ada kesalahan dalam penulisan. Jika tidak punya, abaikan kolom ini. 
  4. Search Google terdiri dari mesin pencari seperti Google, Google Image, Google Mobile. MSN Search, Yahoo, dan lain-lain. Anda bisa mengatur izin akses dari berbagai jenis browser ini. Tersedia tiga opsi yang bisa dipilih, yaitu Same as Default, Allowed, dan Refused
  5. Restricted Directories, taruh path file atau lokasi spesifik halaman yang boleh/tidak boleh di indeks mesin pencari. Perhatikan penulisan huruf kapital maupun kecil sebab kesalahan ketik bisa mempengaruhi hasil file txt. 
  6. Clear adalah tombol untuk mengulang pembuatan file Robot.txt.
  7. Create Robot.txt adalah tombol untuk membuat file Robot.txt. Klik tombol ini jika semua sudah dirasa benar. 
  8. Create and Save Robot.txt adalah tombol untuk menyimpan sekaligus membuat file Robot.txt. 

Jika file telah selesai dibuat, salin sintaks yang dihasilkan Robot Txt Generator dan tempel di laman Root Directory website Anda. Semoga berhasil!