Memahami Laporan atau liputan dari menampilkan status index halaman di situs kalian yang sudah berusaha di-crawl oleh Google, yang dikelompokkan berdasarkan status dan alasan.
Pahami Status
Setiap halaman dapat memiliki salah satu dari kelas status umum berikut:
Error: Halaman belum diindeks. Anda harus memprioritaskan masalah ini terlebih dahulu.
Peringatan: Halaman diindeks, atau telah diindeks hingga baru-baru ini, dan memiliki masalah yang harus Anda waspadai.
Dikecualikan: Halaman tidak disertakan dalam indeks karena alasan yang biasanya tidak bisa Anda kendalikan. Halaman mungkin berada dalam tahap menengah dari proses pengindeksan, atau sengaja Anda kecualikan (misalnya dengan perintah noindex) dan karena itu berperilaku seperti yang diharapkan.
Valid: Halaman telah diindeks.
Pahami Yang perlu di perhatikan
Idealnya, Anda akan melihat peningkatan secara bertahap jumlah halaman terindeks yang valid, seiring dengan berkembangnya situs.
Jika ada lonjakan jumlah error pengindeksan, hal ini mungkin disebabkan oleh perubahan pada template yang mengakibatkan error baru. Atau, Anda mungkin telah mengirimkan peta situs berisi URL yang tidak dapat di-crawl (misalnya, diblokir oleh robots.txt atau noindex, atau karena persyaratan login).
Jika ada penurunan jumlah total halaman terindeks tanpa error yang sesuai, hal ini mungkin karena Anda memblokir akses ke halaman yang sudah ada(melalui robots.txt, 'noindex', atau mewajibkan autentikasi). Jika bukan itu penyebabnya, lihat masalah yang dikecualikan, yang diurutkan berdasarkan jumlah halaman yang terpengaruh, untuk melihat kemungkinan penyebab penurunan ini.
Jika ada banyak sekali halaman yang seharusnya diindeks namun ternyata tidak, lihat URL yang dikecualikan untuk mencari tahu penyebabnya. Anda mungkin menggunakan program robot atau noindex pada sebagian besar halaman Anda.
Pahami Alasan status
Error
Halaman yang berisi error belum diindeks.
Error server (5xx): Server Anda menampilkan error level 500 saat halaman diminta.
Error pengalihan: URL adalah error pengalihan. Error ini mungkin termasuk salah satu jenis error berikut: error ini merupakan rantai pengalihan yang terlalu panjang, error ini merupakan pengalihan balik, URL alihan akhirnya melampaui batas panjang URL maks, terdapat URL yang buruk atau kosong dalam rantai pengalihan.
URL yang dikirimkan diblokir oleh robots.txt: Anda mengirim halaman untuk diindeks, namun halaman tersebut diblokir oleh robots.txt. Cobalah menguji halaman Anda menggunakan penguji robots.txt.
URL yang dikirimkan ditandai ‘noindex’: Anda mengirimkan halaman untuk diindeks, namun halaman tersebut memiliki perintah 'noindex' dalam tag meta atau header HTTP. Jika ingin halaman ini diindeks, Anda harus menghapus tag atau header HTTP.
URL yang dikirimkan tampaknya berupa Soft 404: Anda mengirimkan halaman untuk diindeks, namun server menampilkan URL yang tampaknya merupakan soft 404.
URL yang dikirimkan mengembalikan permintaan yang tidak diotorisasi (401): Anda mengirimkan halaman ini untuk diindeks, namun Google mendapat respons 401 (tidak diotorisasi). Hapus persyaratan otorisasi untuk halaman ini, atau izinkan Googlebot mengakses halaman Anda dengan memverifikasi identitasnya.
URL yang dikirimkan tidak ditemukan (404): Anda mengirimkan URL yang tidak ada untuk diindeks.
URL yang dikirimkan memiliki masalah crawling: Anda mengirimkan halaman untuk diindeks, dan Google menemukan error crawling yang tidak ditentukan yang tidak termasuk dalam alasan lain mana pun. Coba jalankan proses debug halaman menggunakan fitur Inspeksi URL.
Peringatan
Halaman dengan status peringatan mungkin perlu Anda perhatikan, dan mungkin sudah atau belum diindeks, berdasarkan hasil tertentu.
Diindeks, meski diblokir oleh robots.txt: Halaman sudah diindeks, meskipun diblokir oleh robots.txt (Google selalu mematuhi robots.txt, namun tidak lagi jika seseorang menaut ke halaman tersebut). Kondisi ini ditandai sebagai peringatan karena kami tidak yakin apakah Anda sengaja memblokir halaman dari hasil penelusuran. Jika Anda memang ingin memblokir halaman ini, robots.txt bukanlah mekanisme yang tepat untuk mencegah agar halaman tidak diindeks. Agar halaman tidak diindeks, sebaiknya gunakan 'noindex' atau wajibkan autentikasi untuk melarang akses anonim. Anda dapat menggunakan penguji robots.txt untuk menentukan aturan mana yang memblokir halaman ini. Karena robots.txt, semua cuplikan yang ditampilkan untuk halaman mungkin akan kurang optimal. Jika tidak ingin memblokir halaman ini, perbarui file robots.txt agar pemblokiran halaman dibatalkan.
Valid
Halaman dengan status yang valid telah diindeks.
Dikirim dan diindeks: Anda mengirimkan URL untuk diindeks, dan URL telah diindeks.
Diindeks, tidak dikirimkan di peta situs: URL ditemukan oleh Google dan diindeks. Sebaiknya kirimkan semua URL penting menggunakan peta situs.
Diindeks; pertimbangkan untuk menandai sebagai kanonis: URL sudah diindeks. URL ini memiliki duplikat, namun kami menganggap URL inilah yang kanonis. URL tidak ditandai sebagai kanonis secara eksplisit, karena itu sebaiknya tandai URL ini sebagai kanonis secara eksplisit.
Dikecualikan
Halaman berikut ini umumnya tidak diindeks, tetapi mungkin saja karena Anda memang menghendakinya.
Diblokir oleh tag ‘noindex’: Saat mencoba mengindeks halaman, Google menemukan perintah 'noindex', sehingga halaman tersebut tidak diindeks. Jika Anda memang tidak ingin halaman ini diindeks, perintah ini sudah sesuai. Jika ingin halaman ini diindeks, Anda harus menghapus perintah 'noindex'.
Diblokir oleh fitur penghapusan halaman: Saat ini halaman diblokir oleh permintaan penghapusan URL. Jika Anda adalah pemilik situs terverifikasi, Anda dapat menggunakan fitur penghapus URL untuk melihat siapa yang mengirimkan permintaan penghapusan URL. Permintaan penghapusan hanya berlaku dalam jangka waktu tertentu (lihat dokumentasi terkait). Setelah jangka waktu terlewati, Googlebot dapat kembali dan mengindeks halaman, meskipun Anda tidak mengirimkan permintaan indeks lainnya. Jika Anda tidak ingin halaman diindeks, gunakan 'noindex', wajibkan otorisasi untuk halaman, atau hapus halaman tersebut.
Diblokir oleh robots.txt: Halaman menggunakan file robots.txt untuk memblokir Googlebot. Anda dapat memverifikasi halaman ini menggunakan penguji robots.txt. Perlu diketahui bahwa hal ini bukan berarti halaman tidak akan diindeks dengan beberapa cara lain.Jika Google dapat menemukan informasi lain tentang halaman ini tanpa memuatnya, halaman masih dapat diindeks (meskipun hal ini jarang terjadi). Untuk memastikan bahwa halaman tidak diindeks oleh Google, hapus pemblokiran robots.txt dan gunakan perintah 'noindex'.
Diblokir karena adanya permintaan yang tidak diotorisasi (401): Halaman menerapkan permintaan otorisasi untuk memblokir Googlebot (respons 401). Agar Googlebot dapat meng-crawl halaman ini, hapus persyaratan otorisasi, atau izinkan Googlebot mengakses halaman Anda.
Anomali crawling: Anomali yang tidak ditentukan terjadi saat mengambil URL ini. Hal ini bisa berarti kode respons level 4xx- atau 5xx-. Coba ambil halaman menggunakan fitur Fetch as Google untuk mengetahui apakah halaman tersebut mengalami masalah dalam proses pengambilan. Halaman tersebut tidak diindeks.
Di-crawl - saat ini tidak diindeks: Halaman telah di-crawl oleh Google, namun tidak diindeks. Halaman ini mungkin diindeks atau mungkin tidak diindeks di masa mendatang; tidak perlu mengirim ulang URL ini untuk crawling.
Ditemukan - saat ini tidak diindeks: Halaman ditemukan oleh Google, namun belum di-crawl. Biasanya, Google mencoba meng-crawl URL namun situs kelebihan muatan; oleh karena itu, Google harus menjadwalkan ulang crawl. Itulah alasan tanggal crawl terakhir kosong di laporan.
Halaman alternatif dengan tag kanonis yang tepat: Halaman merupakan duplikat dari halaman yang dikenali oleh Google sebagai kanonis. Halaman ini mengarah ke halaman kanonis tersebut dengan benar, sehingga Anda tidak perlu melakukan apa pun.
Halaman duplikat tanpa tag kanonis: Halaman memiliki duplikat, namun tidak ada yang ditandai sebagai kanonis. Kami merasa halaman ini bukan halaman kanonis. Anda seharusnya menandai halaman ini sebagai kanonissecara eksplisit. Periksa URL ini untuk melihat URL kanonis yang dipilih oleh Google.
Halaman non-HTML duplikat: Halaman non-HTML ini (misalnya, file PDF) adalah duplikat halaman lain yang telah ditandai oleh Google sebagai kanonis. Biasanya, hanya URL kanonis yang akan ditampilkan di Google Penelusuran. Jika mau, Anda dapat menentukan halaman kanonis menggunakan header Tautkan HTTP dalam respons.
Google memilih versi kanonis yang berbeda dengan pengguna: Halaman ini ditandai sebagai kanonis untuk sekumpulan halaman, namun Google menganggap ada URL lain yang lebih layak dianggap kanonis. Google telah mengindeks halaman yang dianggap sebagai kanonis, dan bukan yang ini. Sebaiknya Anda menandai halaman ini sebagai duplikat URL kanonis secara eksplisit. Halaman ini ditemukan tanpa permintaan crawl eksplisit. Periksa URL ini untuk melihat URL kanonis yang dipilih Google.
Tidak ditemukan (404): Halaman menampilkan error 404 saat diminta. Google menemukan URL ini tanpa ada permintaan eksplisit atau peta situs apa pun. Google mungkin telah menemukan URL ini sebagai link dari situs lain, atau mungkin halaman tersebut ada sebelumnya dan telah dihapus. Googlebot mungkin akan terus berupaya meng-crawl URL ini dalam jangka waktu tertentu; tidak ada cara lain untuk membuat Googlebot melupakan URL secara permanen, meskipun halaman akan lebih jarang di-crawl. Respons 404 tidak menjadi masalah, jika disengaja. Jika halaman Anda telah dipindahkan, gunakan pengalihan 301 ke lokasi baru.
Halaman dihapus karena adanya keluhan hukum: Halaman telah dihapus dari indeks karena adanya keluhan hukum.
Halaman dengan pengalihan: URL ini adalah pengalihan dan tidak ditambahkan ke indeks.
Dimasukkan dalam antrean untuk crawling: Halaman berada dalam antrean crawling. Periksa kembali dalam beberapa hari untuk melihat apakah halaman telah di-crawl.
Soft 404: Permintaan halaman menampilkan hal yang dianggap sebagai respons soft 404. Hal ini berarti bahwa halaman menampilkan pesan "tidak ditemukan" yang aman bagi pengguna tanpa kode respons 404 yang sesuai. Sebaiknya tampilkan kode respons 404 untuk halaman yang benar-benar "tidak ditemukan", atau tambahkan lebih banyak informasi ke halaman untuk memberi tahu kami bahwa itu bukan soft 404.
URL yang dikirim telah dihapus: Anda mengirimkan halaman ini untuk diindeks, namun halaman telah dihapus dari indeks karena alasan yang tidak ditentukan.
URL yang dikirim tidak dipilih sebagai kanonis: URL ini merupakan sekumpulan URL duplikat tanpa halaman kanonis yang ditandai secara eksplisit. Secara eksplisit Anda meminta URL ini untuk diindeks, namun karena URL tersebut adalah duplikat dan Google menganggap bahwa URL lain adalah kandidat yang lebih baik untuk kanonis, Google tidak mengindeks URL ini. Sebagai gantinya, kami mengindeks kanonis yang kami pilih. (Google hanya mengindeks halaman kanonis dalam sekumpulan duplikat.) Perbedaan antara status ini dan "Google memilih versi kanonis yang berbeda dengan pengguna" adalah bahwa, di sini Anda meminta pengindeksan secara eksplisit. Periksa URL ini untuk melihat URL kanonis yang dipilih oleh Google.
