Sitemap dan robots.txt berada pada lapisan teknis yang sama di sebuah situs web, keduanya adalah file teks biasa yang diperiksa oleh crawler di awal proses, dan kedekatan ini membuat banyak orang berasumsi bahwa keduanya melakukan pekerjaan yang kurang lebih sama. Padahal, keduanya melakukan hal yang hampir berlawanan, yang satu mengundang crawling, yang lain membatasinya.<\/p>\n
Sitemap XML adalah file yang berisi daftar URL di situs Anda yang ingin Anda agar mesin pencari merayapi dan mempertimbangkannya untuk diindeks, seringkali termasuk metadata seperti tanggal modifikasi terakhir. Ini adalah undangan, bukan jaminan, karena Google masih memutuskan secara independen apakah akan benar-benar merayapi dan mengindeks setiap URL yang tercantum.<\/p>\n
Sitemap paling berguna untuk situs web besar, situs web baru dengan sedikit tautan eksternal, atau situs web dengan konten yang sulit ditemukan hanya melalui proses crawling biasa.<\/p>\n
Robots.txt adalah file teks biasa yang membatasi jalur mana yang boleh diakses oleh crawler dari server Anda. Sementara sitemap mengatakan 'silakan crawl jalur ini', robots.txt mengatakan 'jangan crawl jalur ini', sehingga kedua file tersebut secara fungsional berlawanan tujuan meskipun berada pada lapisan teknis situs yang serupa.<\/p>\n
Generator File Robots.txt Kami<\/a> File ini dibuat dari seleksi sederhana, yang menghindari kesalahan umum berupa pemblokiran lebih dari yang seharusnya dengan karakter yang tidak diinginkan dalam aturan yang ditulis secara manual.<\/p>\n File Robots.txt biasanya menyertakan arahan Sitemap yang mengarah ke lokasi sitemap, yang dianggap sebagai praktik yang baik tetapi tidak sepenuhnya wajib, karena sitemap juga dapat dikirimkan langsung melalui Google Search Console. Kedua file tersebut bekerja secara independen dan tidak saling membutuhkan agar berfungsi dengan benar.<\/em><\/p>\n Berdasarkan pengalaman, saya menambahkan baris Sitemap ke hampir setiap file robots.txt yang saya tulis, terlepas dari apakah klien juga telah mengirimkannya melalui Search Console, karena hanya membutuhkan satu baris dan memberikan jalur langsung ke sitemap kepada crawler tanpa kerugian apa pun.<\/p>\n Jika sebuah URL muncul di sitemap Anda tetapi diblokir oleh robots.txt, ini mengirimkan sinyal yang kontradiktif yang membuang-buang entri sitemap, karena Google tidak dapat merayapi URL yang telah diinstruksikan untuk dihindari. Ketidaksesuaian ini adalah salah satu kesalahan SEO teknis yang paling umum ditemukan selama audit situs.<\/p>\n Berdasarkan pengalaman, kontradiksi persis ini sering muncul di situs-situs di mana sitemap dibuat secara otomatis oleh sebuah plugin sementara robots.txt diedit secara manual oleh orang lain, tanpa ada yang memeriksa silang apakah kedua file tersebut benar-benar sesuai satu sama lain.<\/p>\n Hampir setiap situs web mendapat manfaat dari memiliki sitemap, karena membantu penemuan situs terlepas dari ukuran situs. Robots.txt secara teknis bersifat opsional, karena WordPress dan sebagian besar platform CMS secara otomatis menghasilkan file default dasar, tetapi file khusus layak dimiliki saat Anda perlu mengelola anggaran perayapan atau memblokir jalur tertentu.<\/p>\n Pengaturan perayapan yang bersih juga mendukung Otoritas Domain<\/a> Pertumbuhan secara tidak langsung, karena DA sebagian besar dibangun berdasarkan sinyal backlink yang hanya dihitung setelah Google benar-benar dapat merayapi dan mengindeks halaman yang dituju oleh tautan tersebut.<\/p>\nApakah Mereka Perlu Saling Merujuk?<\/h2>\n
Apa yang Terjadi Jika Sitemap Mencantumkan URL yang Diblokir?<\/h2>\n
Apakah Anda Membutuhkan Kedua File Tersebut?<\/h2>\n