File Robots.txt terlihat cukup sederhana sehingga kebanyakan orang tidak pernah mengujinya setelah menulisnya. Kepercayaan diri yang berlebihan itulah yang menyebabkan begitu banyak kerusakan. Satu karakter yang salah dapat secara diam-diam memblokir folder yang berisi banyak halaman, dan karena tidak ada pesan kesalahan, tidak ada yang menyadarinya sampai peringkat mulai menurun.<\/p>\n
Kesalahan paling merusak pada file robots.txt adalah membiarkan Disallow: \/ di file yang aktif, yang memblokir setiap URL di domain tersebut dari setiap crawler. Hal ini paling sering terjadi ketika file robots.txt dari lingkungan staging disalin ke lingkungan produksi tanpa ditinjau selama migrasi atau peluncuran ulang situs.<\/p>\n
Berdasarkan pengalaman, ini adalah keadaan darurat paling umum yang saya tangani. Seorang pengembang menyelesaikan desain ulang, file robots.txt sementara dengan perintah 'Disallow' secara menyeluruh diunggah ke server utama bersamaan dengan semua hal lainnya, dan dua hingga tiga minggu kemudian trafik organik anjlok drastis tanpa sebab yang jelas sampai akhirnya seseorang memeriksa file tersebut.<\/p>\n
Perbaikannya cepat setelah terdeteksi, tetapi pemulihan tidak instan. Google perlu melakukan crawling ulang dan memproses ulang URL yang terpengaruh, yang dapat memakan waktu berhari-hari hingga berminggu-minggu tergantung pada ukuran situs.<\/p>\n
Memblokir folder seperti \/wp-content\/themes\/ atau \/assets\/js\/ menghentikan Googlebot untuk memuat gaya dan skrip yang dibutuhkan agar halaman dapat ditampilkan dengan benar. Google mengevaluasi halaman yang ditampilkan, sehingga halaman yang dimuat rusak atau tidak lengkap dapat dinilai salah berdasarkan tata letak dan kualitas konten selama pengindeksan.<\/p>\n
Hal ini biasanya berasal dari daftar periksa keamanan lama yang merekomendasikan pemblokiran folder 'sistem' tanpa membedakan antara jalur backend yang sensitif dan folder aset yang dapat diakses publik yang sebenarnya dibutuhkan tema agar dapat ditampilkan dengan benar.<\/p>\n
Robots.txt adalah file publik yang dapat dilihat siapa pun dengan mengunjungi yoursite.com\/robots.txt, jadi mencantumkan jalur sensitif di sana sebenarnya mengiklankan lokasinya. Selain itu, hal ini tidak mencegah pengindeksan jika situs lain menautkan ke jalur tersebut, karena Google masih dapat mengindeks URL yang belum pernah di-crawl-nya.<\/p>\n
Jika suatu jalur memang perlu dihindari dari hasil pencarian, perlindungan kata sandi atau tag noindex pada halaman yang dapat diakses adalah pendekatan yang tepat, bukan baris Disallow yang hanya memberi tahu pengunjung yang penasaran ke mana harus mencari.<\/p>\n
Menurut data, 55,24% halaman web tidak memiliki backlink sama sekali. Ahrefs<\/a>Artinya, sebagian besar halaman bahkan tidak pernah menghadapi masalah pengindeksan melalui tautan eksternal. Halaman yang mendapatkan tautan biasanya adalah halaman yang paling ingin dilindungi oleh pemilik situs, sehingga mengandalkan robots.txt untuk privasi menjadi sangat berisiko.<\/p>\n Tidak menyertakan arahan Sitemap bukanlah hal yang fatal, karena sitemap juga dapat dikirimkan langsung melalui Search Console, tetapi menyertakannya membuat file lebih lengkap dan memberi crawler jalur langsung ke URL terpenting Anda tanpa bergantung pada pengiriman terpisah.<\/p>\n Hanya membutuhkan satu baris kode dan beberapa detik, jadi hampir tidak ada alasan untuk melewatkannya pada situs yang dikonfigurasi dengan benar.<\/p>\n Ketika beberapa aturan Disallow dan Allow tumpang tindih pada jalur yang sama, Googlebot menerapkan aturan yang paling spesifik daripada aturan pertama yang tercantum. Daftar panjang aturan yang tumpang tindih yang ditulis oleh orang yang berbeda dari waktu ke waktu sering kali saling bertentangan dengan cara yang tidak disadari siapa pun sampai lalu lintas menurun pada bagian tertentu.<\/p>\n Berdasarkan pengalaman, perbaikan paling bersih pada file lama yang berantakan adalah dengan memulai dari aturan yang singkat dan terencana, daripada mencoba menambal baris kode yang telah terakumulasi selama bertahun-tahun, terutama pada situs yang telah berganti CMS atau agensi lebih dari sekali.<\/p>\n Tautan balik tetap menjadi salah satu dari tiga faktor peringkat teratas Google, jadi perlu diingat bahwa kesalahan perayapan yang disebabkan oleh aturan yang saling bertentangan dapat menekan halaman-halaman yang seharusnya didukung oleh upaya pembangunan tautan Anda.<\/p>\n Cara tercepat untuk menemukan kesalahan robots.txt adalah dengan menguji URL representatif di alat Inspeksi URL Google Search Console sebelum dan sesudah menerbitkan file baru. Kebiasaan sederhana ini mencegah hampir semua bencana yang dijelaskan di atas, karena alat tersebut menunjukkan dengan tepat bagaimana Google saat ini menafsirkan file yang sedang aktif.<\/p>\n Skor spam di atas 30% dianggap berisiko tinggi oleh Moz.<\/a> Untuk alasan yang sama sekali berbeda, yaitu kualitas tautan, tetapi disiplin yang sama berlaku untuk robots.txt: periksa sebelum berasumsi, jangan menunggu penurunan untuk mengetahui ada sesuatu yang salah.<\/p>\n Buka Search Console, gunakan Inspeksi URL pada halaman-halaman penting, dan periksa apakah alat tersebut melaporkan halaman tersebut diblokir oleh robots.txt.<\/p>\n Tidak seketika, tetapi larangan menyeluruh dapat menghentikan perayapan ulang, dan halaman secara alami akan keluar dari indeks seiring waktu karena Google gagal mengunjunginya kembali.<\/p>\n Hal ini bergantung pada apakah mereka menambahkan nilai unik atau menciptakan konten duplikat yang kurang berkualitas. Banyak situs lebih baik menggunakan noindex pada konten-konten tersebut daripada memblokir perayapan sepenuhnya.<\/p>\n Google dapat mengindeks URL yang ditemukannya melalui tautan eksternal bahkan tanpa melakukan crawling, itulah sebabnya halaman yang diblokir terkadang masih muncul tanpa deskripsi.<\/p>\n File itu sendiri diperbarui dalam waktu sekitar satu hari karena Google melakukan caching ulang, tetapi pemulihan peringkat sepenuhnya bergantung pada berapa lama kesalahan tersebut terjadi dan seberapa besar bagian yang terpengaruh.<\/p>\n Generator File Robots.txt Kami<\/a> Membangun seperangkat aturan yang bersih dari pilihan alih-alih teks bebas, sehingga menghilangkan risiko kesalahan ketik sepenuhnya. Pasangkan dengan Pemeriksa DA PA Massal kami<\/a> untuk memantau otoritas saat Anda memperbaiki masalah perayapan, dan memeriksa blog SEO kami<\/a> untuk penjelasan SEO yang lebih teknis seperti ini.Melupakan Baris Peta Situs<\/h2>\n
Aturan yang Bertentangan di Beberapa Jalur Larangan<\/h2>\n
Tidak Melakukan Pengujian Sebelum Menerbitkan<\/h2>\n
Pertanyaan yang Sering Diajukan<\/h2>\n
Bagaimana saya tahu apakah file robots.txt saya memblokir sesuatu yang penting?<\/h3>\n
Bisakah kesalahan pada file robots.txt menyebabkan seluruh situs saya dihapus dari indeks?<\/h3>\n
Apakah saya harus memblokir halaman tag dan kategori di WordPress?<\/h3>\n
Mengapa halaman saya masih muncul di Google meskipun diblokir di robots.txt?<\/h3>\n
Seberapa cepat saya dapat memperbaiki kesalahan robots.txt setelah menemukannya?<\/h3>\n
Periksa File Anda Sebelum Hal Itu Mengakibatkan Kerugian Trafik<\/h2>\n
\n