WordPress secara otomatis membuat file robots.txt virtual jika Anda tidak pernah membuat file fisik, dan sebagian besar pemilik situs tidak tahu apa isinya. File default tersebut biasanya cukup untuk blog kecil, tetapi siapa pun yang menjalankan WooCommerce, plugin keanggotaan, atau perpustakaan konten yang besar membutuhkan kontrol lebih daripada yang diberikan oleh file default tersebut.
Di mana WordPress menyembunyikan file Robots.txt bawaannya?
WordPress membuat file robots.txt virtual di yoursite.com/robots.txt bahkan tanpa file fisik di direktori root. Versi default ini biasanya memblokir /wp-admin/ sambil mengizinkan admin-ajax.php, dan akan hilang begitu Anda mengunggah file robots.txt asli untuk menggantinya.
Anda dapat melihat pengaturan default ini dengan mengunjungi jalur robots.txt situs Anda sendiri langsung di browser. Jika Anda belum pernah mengubahnya, yang Anda lihat adalah versi bawaan inti WordPress, bukan sesuatu yang dikonfigurasi oleh plugin atau pengembang.
Mengedit Robots.txt Melalui Plugin SEO
Sebagian besar plugin SEO WordPress utama, termasuk Yoast SEO dan Rank Math, menyertakan editor robots.txt bawaan di pengaturan alat mereka. Ini adalah metode termudah bagi pengguna non-teknis karena tidak memerlukan unggahan file atau akses FTP dan menyimpan perubahan langsung melalui dasbor WordPress.
Plugin ini menulis file robots.txt fisik ke server pertama kali Anda menyimpan perubahan melalui editornya, menggantikan file default virtual secara permanen.
- Yoast SEO: Menu Alat, Editor File
- Rank Math: Pengaturan Umum, Edit robots.txt
- SEO Terpadu: Alat, Editor Robots.txt
Mengedit Robots.txt secara manual melalui FTP
Hubungkan ke server Anda menggunakan klien FTP, navigasikan ke folder root tempat wp-config.php berada, dan edit file robots.txt yang sudah ada atau buat file teks biasa baru dengan nama yang persis sama. Metode ini berfungsi terlepas dari plugin apa pun yang terpasang dan memberikan kendali penuh atas konten mentah.
Berdasarkan pengalaman, ini adalah cara yang saya gunakan setiap kali editor plugin SEO klien mengalami gangguan atau ketika saya perlu mengirimkan file yang identik ke beberapa instalasi WordPress sekaligus selama pembersihan di seluruh agensi. Unggahan file langsung menghilangkan segala keanehan khusus plugin dari persamaan tersebut.
Jalur Khusus WordPress yang Layak Diblokir
Selain blokir /wp-admin/ bawaan, situs WordPress umumnya mendapat manfaat dari melarang URL hasil pencarian internal, tautan balasan komentar dengan parameter pelacakan, dan variasi feed khusus admin. Tak satu pun dari jalur ini menawarkan nilai pencarian, dan memblokirnya membantu crawler menghabiskan lebih banyak waktu pada konten sebenarnya.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Disallow: /search/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Hindari melarang akses ke /wp-content/ sebagai folder secara keseluruhan, karena jalur tersebut berisi file aset tema dan plugin yang dibutuhkan Google untuk merender halaman dengan benar.
Pertimbangan WooCommerce dan Plugin Keanggotaan
Toko WooCommerce biasanya mendapat manfaat dari pemblokiran jalur keranjang belanja, pembayaran, dan akun saya di robots.txt, karena halaman-halaman ini spesifik untuk pengguna dan tidak menawarkan nilai SEO. Plugin keanggotaan dan paywall sering menghasilkan URL berbasis akun serupa yang layak dikecualikan dengan cara yang sama.
Menurut data, 91% halaman web tidak mendapatkan lalu lintas organik sama sekali dari Google. Ahrefs, seringkali karena halaman-halaman yang bersaing untuk mendapatkan trafik tersebut minim konten, berisi konten duplikat, atau bukan jenis konten yang dicari siapa pun, dan halaman keranjang belanja serta halaman akun termasuk dalam kategori tersebut.
Jika Anda menjalankan toko WooCommerce dan ingin memeriksa bagaimana kinerja halaman produk Anda berdasarkan sinyal otoritas dalam skala besar, Pemeriksa DA PA Massal kami menangani hingga 50 domain atau jalur dalam satu kali proses.
Menguji Perubahan Anda Tanpa Merusak Situs
Setelah menyimpan perubahan apa pun pada file robots.txt di WordPress, uji file tersebut dengan mengunjungi yoursite.com/robots.txt langsung di browser, lalu jalankan beberapa halaman penting melalui alat Inspeksi URL Google Search Console untuk memastikan halaman tersebut tidak diblokir secara tidak terduga.
Berdasarkan pengalaman, situs WordPress yang paling terdampak adalah situs yang menjalankan migrasi otomatis atau alat sinkronisasi staging-ke-live, di mana file robots.txt yang diedit untuk lingkungan pengembangan secara diam-diam terbawa ke lingkungan produksi tanpa ada yang meninjaunya dalam daftar periksa penerapan.
Backlink tetap menjadi salah satu dari tiga faktor peringkat teratas Google, dan kesalahan dalam penerapan robots.txt pada situs WordPress dapat merusak kerja keras selama berbulan-bulan dalam membangun backlink hanya dengan satu kali penyimpanan yang ceroboh. Domain Authority, skor Moz 1 hingga 100 yang sebagian besar dibangun berdasarkan sinyal backlink yang sama.Ini adalah salah satu metrik termudah untuk dipantau sebagai tanda peringatan dini adanya masalah pada proses perayapan. Selalu verifikasi sebelum melanjutkan.
Pertanyaan yang Sering Diajukan
Apakah saya memerlukan plugin robots.txt jika saya sudah menggunakan Yoast atau Rank Math?
Tidak, kedua plugin tersebut menyertakan editor robots.txt bawaan, jadi plugin khusus terpisah tidak diperlukan.
Apakah menghapus file robots.txt kustom saya akan mengembalikan pengaturan default WordPress?
Ya, menghapus file fisik akan mengembalikan versi default virtual inti WordPress secara otomatis.
Apakah saya perlu memblokir /wp-includes/ di file robots.txt WordPress?
Secara umum tidak, karena inti WordPress modern tidak lagi memerlukan pemblokiran ini, dan beberapa aset di dalamnya mungkin diperlukan untuk rendering.
Bisakah saya memiliki aturan robots.txt yang berbeda untuk situs WordPress staging?
Ya, dan Anda sebaiknya melakukannya, karena situs staging biasanya lebih baik diblokir sepenuhnya dengan `Disallow: /` hingga peluncuran, kemudian dialihkan ke aturan produksi.
Bagaimana cara saya memeriksa apakah file robots.txt WordPress saya benar-benar aktif?
Kunjungi yoursite.com/robots.txt langsung di browser mana pun. Jika aturan khusus Anda muncul, bukan aturan default WordPress yang umum, berarti file tersebut sudah aktif.
Buat file Robots.txt yang lebih aman untuk situs WordPress Anda.
Generator File Robots.txt Kami Membuat file siap pakai WordPress dari pilihan sederhana, tanpa memerlukan FTP atau pengaturan plugin. Untuk pelacakan otoritas berkelanjutan di seluruh situs klien, alat DA PA gratis kami mencakup hingga 50 domain sekaligus, dan konsultan SEO ahli kami Layanan ini dapat mengaudit seluruh pengaturan teknis Anda jika Anda menginginkan pendapat kedua.
