Mengenal robots.txt dan konfigurasinya
15/04/2013Waktu Baca : 2 menitBeberapa waktu lalu ada user yang komplain kenapa kok artikel di webnya tidak ditemukan di google. Setelah saya cek, ternyata dia salah setting robots.txt. Apa itu robots.txt ? Robots.txt adalah sebuah file yang ditaruh di root sebuah domain untuk memberikan instruksi kepada robot tentang situs web. Ini disebut dengan protokal pengecualian robot (The Robot Exclusion […]