Beberapa waktu lalu ada user yang komplain kenapa kok artikel di webnya tidak ditemukan di google. Setelah saya cek, ternyata dia salah setting robots.txt.
Apa itu robots.txt ?
Robots.txt adalah sebuah file yang ditaruh di root sebuah domain untuk memberikan instruksi kepada robot tentang situs web. Ini disebut dengan protokal pengecualian robot (The Robot Exclusion Protocol).
Robot adalah sebuah software yang digunakan untuk menscan isi situs-situs web. Biasanya robot ini digunakan oleh situs search engine seperti google dll. Tapi tidak jarang juga ada yang menggunakan robot untuk tujuan yang tidak baik.
Cara kerjanya ?
Ketika robot mengunjungi sebuah URL web, misalnya http://radiolokal.com, maka dia akan mencari dulu apakah ada file robots.txt di domain tersebut. Ternyata ketemu http://radiolokal.com/robots.txt, dan misalnya isinya seperti di bawah ini :
User-agent: * Disallow: /
“User-agent: *” berarti bagian ini berlaku untuk semua robot.
“Disallow: /” menceritakan bahwa robot tidak boleh mengunjungi setiap halaman di domain tersebut.
Ada robot yang mengabaikan file robots.txt Anda, misalnya robot-robot malware yang memindai web untuk kerentanan keamanan, dan pencari alamat email yang digunakan oleh spammer.
File robots.txt adalah file yang tersedia untuk umum. Siapapun dapat melihat bagian mana dari web Anda yang tidak ingin dikunjungi oleh robot. Jadi jangan mencoba untuk menggunakan robots.txt untuk menyembunyikan informasi.
Untuk mengijinkan semua robot mengakses semua halaman domain Anda, maka gunakan kode ini di robots.txt Anda :
User-agent: * Disallow:.
Untuk wordpress, defaultnya akan seperti ini :
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/
Anda tidak akan menemukan file “robots.txt” di folder wordpress Anda. Kenapa? karena file tersebut dicreate oleh wordpress dalam bentuk database, bukan berupa file fisik.
Bagaimana caranya untuk melarang robot mengindeks situs wordpress Anda ?
Anda cukup login ke dashboard wordpress Anda, lalu klik “Settings” –> “Reading”. Pada bagian “Search Engine Visibility” silahkan Anda centang jika tidak ingin robot search engine mengindeks situs web Anda.
Untuk detailnya, Anda bisa baca di http://www.robotstxt.org/robotstxt.html.
Semoga bermanfaat 🙂
