Cara Tambah Kustom File Robots.txt di Blogger Paling Jitu

Dalam salah satu posting saya sebelumnya, saya telah membahas Kustom Robot Header Tag Pengaturan untuk blogger . Jika Anda telah membaca posting itu maka saya harap kalian sadar dengan pentingnya di peringkat pencarian.

Hari ini, saya kembali dengan istilah blogging menyadari sangat berguna dan harus yang Robots.txt .

Di blogger ini dikenal sebagai Kustom Robots.txt itu berarti sekarang Anda dapat menyesuaikan file ini sesuai dengan pilihan Anda. Dalam tutorial hari ini, kita akan membahas istilah ini di dalam dan datang untuk mengetahui tentang penggunaan dan manfaat. Saya juga akan memberitahu Anda bagaimana untuk menambahkan file kustom robots.txt di blogger.

Jadi mari mulai tutorial.

Apa Robots.txt?

Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. Hal ini disimpan di website atau server blog yang menginstruksikan web crawler untuk bagaimana indeks dan merangkak blog Anda dalam hasil pencarian. Itu berarti Anda dapat membatasi halaman web di blog Anda dari crawler web sehingga tidak bisa mendapatkan diindeks di mesin pencari seperti halaman label blog Anda, halaman demo Anda atau halaman lain yang tidak penting untuk mendapatkan diindeks. Selalu ingat bahwa crawler pencarian memindai file robots.txt sebelum merangkak halaman web.

Setiap blog host di blogger memiliki file robots.txt default yang merupakan sesuatu yang terlihat seperti ini:

User-agent: Mediapartners-Google 
Disallow: 
User-agent: * 
Disallow: / search 
Allow: / 
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Penjelasan

Kode ini dibagi menjadi tiga bagian. Mari studi pertama masing-masing setelah itu kita akan belajar bagaimana menambahkan file kustom robots.txt di blog blogspot.

1. User-agent: Mediapartners-Google
Kode ini adalah untuk robot Adsense Google yang membantu mereka untuk melayani iklan yang lebih baik di blog Anda. Entah Anda menggunakan Google Adsense di blog Anda atau tidak hanya meninggalkan itu seperti itu.
2. Agen pengguna: *
Ini adalah untuk semua robot yang ditandai dengan tanda bintang ( * ). Dalam pengaturan default blog kita label link dibatasi untuk diindeks oleh crawler pencarian itu berarti web crawler tidak akan mengindeks halaman label kami link karena kode di bawah ini.

Larang: / search

Itu berarti link memiliki kata kunci pencarian  setelah nama domain akan diabaikan. Lihat di bawah contoh yang merupakan link dari halaman label bernama SEO.

https://www.bloggertipstricks.com/ pencarian / label / SEO 

Dan jika kita menghapus Disallow: / search  dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan halaman web-nya.
Berikut Izinkan: /  mengacu pada Homepage yang berarti web crawler bisa merangkak dan homepage indeks blog kita.

Larang khusus Pasang
Sekarang kira jika kita ingin mengecualikan pos tertentu dari pengindeksan maka kita dapat menambahkan di bawah garis dalam kode.

Larang: /yyyy/mm/post-url.html

Berikut tttt  dan mm  mengacu pada tahun penerbitan dan bulan pos masing-masing. Misalnya jika kita telah menerbitkan sebuah posting pada tahun 2013 di bulan Maret maka kita harus menggunakan bawah Format.

Larang: /2013/03/post-url.html

Untuk membuat tugas ini mudah, Anda hanya dapat menyalin URL posting dan menghapus nama blog dari awal.

Larang khusus Halaman
Jika kita perlu melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan menghapus alamat blog dari itu yang akan sesuatu terlihat seperti ini:

Larang: /p/page-url.html

3. Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Kode ini mengacu pada sitemap blog kita. Dengan menambahkan link di sitemap di sini kita hanya mengoptimalkan tingkat merangkak blog kita. Berarti setiap kali web crawler memindai file robots.txt kami mereka akan menemukan jalan untuk sitemap kami di mana semua link dari postingan kita diterbitkan hadir. web crawler akan merasa mudah untuk merangkak semua postingan kita. Oleh karena itu, ada kemungkinan baik bahwa web crawler merangkak semua posting blog kita tanpa mengabaikan satu pun. 
Catatan: sitemap ini hanya akan memberitahu web crawler tentang baru-baru ini 25 posting. Jika Anda ingin meningkatkan jumlah link dalam sitemap Anda kemudian mengganti sitemap default dengan di bawah satu. Ia akan bekerja untuk pertama 500 posting terbaru.  

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Jika Anda memiliki lebih dari 500 posting diterbitkan di blog Anda maka Anda dapat menggunakan dua peta situs seperti di bawah ini:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 
sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max -results = 1000

Menambahkan Kustom robots.txt untuk Blogger

Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan robots.txt khusus di blogger. Jadi di bawah ini adalah langkah-langkah untuk menambahkannya.

1. Pergi ke blog blogger Anda.
2. Arahkan ke Settings >>  Cari Preferences >> Crawlers dan pengindeksan >> Kustom robots.txt >> Sunting >> Ya
3. Sekarang paste kode file robots.txt Anda dalam kotak.
4. Klik tombol Save Changes.
5. Kamu selesai!

Bagaimana Periksa Berkas Robots.txt Anda?

Anda dapat memeriksa file ini di blog Anda dengan menambahkan robots.txt  akhirnya ke URL blog Anda di browser. Lihatlah contoh di bawah ini untuk demo.

https://www.bloggertipstricks.com/robots.txt

Setelah Anda mengunjungi URL file robots.txt Anda akan melihat seluruh kode yang Anda gunakan dalam file robots.txt kustom Anda. Lihat di bawah gambar.

Kata-kata akhir!

Ini adalah tutorial lengkap hari ini tentang cara menambahkan file kustom robots.txt di blogger. Aku benar-benar mencoba dengan hati saya untuk membuat tutorial ini sebagai sederhana dan informatif mungkin. Tapi tetap jika Anda memiliki dan ragu atau query maka jangan ragu untuk bertanya kepada saya. Jangan menaruh kode di pengaturan robots.txt kustom Anda tanpa mengetahui tentang hal itu. Hanya meminta kepada saya untuk menyelesaikan permintaan Anda. Saya akan memberitahu Anda segala sesuatu secara rinci. Thanks guys untuk membaca tutorial ini. Jika Anda suka maka silakan mendukung saya untuk menyebarkan kata-kata saya dengan berbagi posting ini di profil media sosial Anda. Senang Blogging!

sumber: https://www.bloggertipstricks.com/custom-robots-txt.html

Share this post