File robots.txt adalah lembar aturan teks biasa yang terletak di akar domain Anda dan memberi tahu perayap seperti Googlebot jalur mana yang boleh mereka minta. File ini tidak menghapus halaman dari indeks Google dengan sendirinya, melainkan hanya mengelola perayapan. Jika sintaksnya salah, Anda dapat secara diam-diam memblokir CSS, JS, atau seluruh bagian situs tanpa peringatan apa pun hingga peringkat turun.
Apa yang Sebenarnya Dikendalikan oleh Robots.txt
File robots.txt mengontrol perayapan, bukan pengindeksan. File ini memberi tahu bot mesin pencari URL mana yang diizinkan untuk mereka minta dari server Anda. Sebuah halaman masih dapat muncul di indeks Google meskipun diblokir di robots.txt, biasanya muncul tanpa deskripsi, karena Google menemukannya melalui tautan dan bukan dengan merayapinya secara langsung.
Sebagian besar pemilik situs menganggap robots.txt sebagai alat privasi. Padahal bukan. Ini adalah alat manajemen lalu lintas untuk perayap (crawler), yang berada di yoursite.com/robots.txt, dan dibaca sebelum hampir semua hal lain di halaman tersebut.
Mesin pencari menghargai file tersebut sebagai saran yang kuat, bukan sebagai penghalang yang kaku. Bot yang berperilaku baik seperti Googlebot dan Bingbot mengikutinya dengan cermat. Scraper yang mengabaikannya sepenuhnya adalah hal yang umum, jadi robots.txt bukanlah ukuran keamanan.
- Sistem ini mengelola anggaran perayapan (crawl budget) pada situs web besar.
- Ini mencegah bot mengakses area admin, halaman hasil pencarian, dan URL dengan parameter duplikat.
- Ini mengarahkan perayap ke lokasi peta situs Anda.
Menurut data, 55,24% halaman web tidak memiliki backlink sama sekali. Penelitian Ahrefs, dan sebagian besar halaman tersebut adalah jenis URL yang tipis dan sarat parameter yang justru ingin dihindari oleh crawler menurut robots.txt.
Bagaimana Googlebot Membaca File Robots.txt
Googlebot mengambil file robots.txt sebelum merayapi suatu domain dan menyimpannya dalam cache selama kurang lebih 24 jam. Ia membaca aturan dari atas ke bawah dan menerapkan aturan yang paling spesifik dan sesuai, bukan aturan pertama yang ditemukannya. Aturan Izinkan yang lebih spesifik dapat mengesampingkan aturan Larangan yang lebih luas untuk bot yang sama.
Setiap blok aturan dimulai dengan baris User-agent. Googlebot mencari blok yang ditujukan secara khusus kepada 'Googlebot' sebelum beralih ke blok wildcard generik yang ditujukan kepada '*'.
Berdasarkan pengalaman, saya pernah melihat agensi mengirimkan file robots.txt baru untuk migrasi dari lingkungan staging ke produksi dan lupa bahwa versi staging memiliki baris Disallow: / di bagian atas. Dalam beberapa hari, sesi organik di halaman kategori utama klien turun tajam, dan satu-satunya solusi adalah mengirimkan file yang sudah diperbaiki dan meminta crawling ulang melalui Search Console.
Generator File Robots.txt Kami Hal ini menghindari kesalahan persis tersebut dengan membangun file dari aturan yang dapat dipilih alih-alih teks bebas, sehingga garis miring yang tidak disengaja tidak dapat menghapus akses perayapan seluruh situs.
Sintaks Robots.txt: Disallow, Allow, dan Sitemap
Tiga arahan inti adalah User-agent untuk menargetkan bot tertentu, Disallow untuk memblokir jalur, dan Allow untuk mengizinkan jalur di dalam folder yang diblokir. Baris Sitemap yang mengarah ke sitemap XML Anda bersifat opsional tetapi direkomendasikan, karena memberikan crawler rute langsung ke URL terpenting Anda.
Contoh berkas kerja minimal akan terlihat seperti ini:
| Direktif | Tujuan | Contoh |
|---|---|---|
| Agen pengguna | Menargetkan satu bot atau semua bot | Agen pengguna: * |
| Melarang | Menghalangi jalan untuk merangkak | Melarang: /wp-admin/ |
| Mengizinkan | Mengizinkan jalur di dalam folder yang diblokir | Izinkan: /wp-admin/admin-ajax.php |
| Peta Situs | Mengarah ke file sitemap Anda | Peta situs: https://example.com/sitemap.xml |
Jalur bersifat peka huruf besar/kecil dan cocok dari awal jalur URL. Garis miring di akhir penting, karena Disallow: /blog dan Disallow: /blog/ berperilaku berbeda dalam seberapa luas pencocokannya.
Robots.txt vs Noindex: Keduanya Bukan Hal yang Sama
File robots.txt menghentikan crawler untuk meminta halaman, sementara tag meta noindex memungkinkan crawler mengunjungi halaman tersebut tetapi memberi tahu crawler untuk tidak menyimpan halaman tersebut dalam hasil pencarian. Memblokir halaman dengan robots.txt dan menambahkan noindex ke halaman yang sama adalah kontradiktif, karena Google tidak dapat membaca tag noindex pada halaman yang tidak diizinkan untuk di-crawl.
Ini adalah salah satu kesalahan teknis SEO yang paling umum. Pemilik situs ingin sebuah halaman dihapus dari hasil pencarian, jadi mereka memblokirnya di robots.txt, lalu bertanya-tanya mengapa halaman tersebut masih muncul beberapa minggu kemudian tanpa cuplikan.
Jika tujuan sebenarnya adalah penghapusan dari hasil pencarian, urutan yang benar adalah: izinkan perayapan, tambahkan tag noindex, tunggu Google untuk merayapi ulang dan memproses tag tersebut, lalu secara opsional blokir jalur tersebut setelah dihapus dari hasil pencarian.
Rangkaian lengkap alat SEO kami Termasuk pemeriksaan yang menandai halaman dengan sinyal robot dan noindex yang bertentangan sebelum menyebabkan kebingungan seperti ini.
Kapan Anda Sebaiknya dan Tidak Sebaiknya Memblokir Halaman
Blokir jalur yang tidak memiliki nilai SEO dan membuang sumber daya perayapan, seperti halaman hasil pencarian internal, URL keranjang belanja dan pembayaran, URL parameter yang difilter, dan halaman login admin. Hindari memblokir direktori CSS, JS, atau gambar yang dibutuhkan Google untuk merender halaman, karena masalah rendering secara langsung memengaruhi bagaimana konten dipahami dan diberi peringkat.
Kesalahan yang sering terjadi pada situs WordPress adalah memblokir /wp-content/ sepenuhnya, yang dapat menghapus file CSS dan JS tema yang dibutuhkan Google untuk merender halaman dengan benar. Google telah menjelaskan bahwa mereka merender halaman seperti halnya browser, dan halaman yang gagal dirender dengan benar dapat dinilai salah mengenai kualitas kontennya.
Backlink tetap menjadi salah satu dari tiga faktor peringkat teratas Google, dan semua nilai tautan itu tidak akan berarti apa-apa jika masalah perayapan mencegah halaman terbaik Anda diproses dengan benar sejak awal. Domain Authority, skor 1 hingga 100 yang dikembangkan oleh Moz untuk memprediksi kemampuan peringkat., dibangun berdasarkan sinyal backlink dan crawling yang sama, sehingga file robots.txt yang berantakan dapat secara diam-diam menurunkan pertumbuhan otoritas dari waktu ke waktu. Jika Anda sedang mengaudit profil tautan keseluruhan suatu situs saat Anda membersihkan arahan crawling, Pemeriksa Tautan Rusak Massal kami dapat memindai kesehatan backlink dan outbound link Anda dalam satu kali proses.
Cara Menguji File Robots.txt Anda
Uji perubahan menggunakan alat Inspeksi URL di Google Search Console, yang menunjukkan dengan tepat bagaimana Googlebot menginterpretasikan file robots.txt Anda saat ini untuk URL tertentu. Selalu uji sebelum dan sesudah mempublikasikan perubahan, karena satu karakter yang salah tempat dapat memblokir lebih banyak hal daripada yang dimaksudkan.
Berdasarkan pengalaman, pola peluncuran teraman yang saya gunakan dengan klien agensi adalah dengan menyiapkan file baru terlebih dahulu, menguji lima hingga sepuluh URL representatif di seluruh situs melalui Inspeksi URL, memastikan baris sitemap terurai dengan benar, dan baru kemudian meluncurkannya secara langsung selama periode lalu lintas rendah sehingga penurunan yang tidak terduga mudah ditemukan dan diatasi dengan cepat.
Menurut data, 91% halaman web tidak mendapatkan lalu lintas organik dari Google, sebagian besar karena kurangnya tautan balik yang mengarah ke halaman tersebut. Data AhrefsFile robots.txt yang rusak dapat mendorong halaman web yang sebenarnya bagus ke dalam kategori yang sama hanya dengan mencegah Google merayapi halaman tersebut sama sekali.
Templat Robots.txt yang Dapat Anda Salin
Template awal yang aman memungkinkan semua bot secara default, hanya memblokir jalur admin dan pencarian internal, serta mencantumkan sitemap. Hal ini membuat file tetap singkat, mudah dibaca, dan berisiko rendah untuk situs tanpa masalah anggaran perayapan yang tidak biasa.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Ganti dengan jalur admin dan URL sitemap Anda sendiri, lalu verifikasi dengan Search Console sebelum menganggap pekerjaan selesai.
Pertanyaan yang Sering Diajukan
Apakah robots.txt menghapus halaman dari hasil pencarian Google?
Tidak. Itu hanya menghambat perayapan. Halaman yang diblokir masih dapat diindeks jika Google menemukannya melalui tautan eksternal, biasanya muncul tanpa deskripsi.
Di mana file robots.txt harus ditempatkan?
Letakkan di direktori utama domain, misalnya example.com/robots.txt. File tersebut tidak akan berfungsi jika ditempatkan di dalam subfolder.
Apakah robots.txt hanya dapat memblokir bot tertentu saja?
Ya. Gunakan blok User-agent khusus yang menyebutkan bot tertentu, seperti Googlebot atau Bingbot, dengan aturan Disallow tersendiri yang terpisah dari blok wildcard.
Apakah robots.txt sama dengan aturan firewall?
Tidak. Itu adalah instruksi sukarela yang diikuti oleh crawler yang berperilaku baik. Instruksi ini tidak memberikan keamanan nyata dan tidak boleh diandalkan untuk menyembunyikan konten sensitif.
Seberapa sering Google memeriksa ulang robots.txt?
Google umumnya menyimpan file tersebut dalam cache selama sekitar 24 jam, jadi perubahan tidak langsung terjadi tetapi biasanya berlaku dalam waktu satu hari.
Pastikan file Robots.txt Anda sudah benar sejak awal.
Jika Anda ingin menghindari tebak-tebakan, Generator File Robots.txt kami membangun berkas yang bersih dan teruji dari pilihan sederhana, dan alat DA PA gratis kami Membantu Anda mengawasi otoritas saat Anda membersihkan masalah perayapan. Untuk pemeriksaan teknis yang lebih mendalam, konsultan SEO ahli kami Ulasan layanan menelusuri arahan bersamaan dengan pengaturan teknis Anda lainnya.
