Cara setting custom robots.txt

Cara setting custom robots.txt - seberapa pentingkah setting custom robots.txt? Sebelum lebih jauh kita berbicara tentang  custom robots.txt. Alangkah lebih baik jika agan mengetahui dulu cara setting page title. Karena, itu sama pentingnya dengan setting custom robots.txt yang akan kita bahas. Secara garis besar robots.txt adalah suatu perintah kepada search engine (mesin pencari) sebelum dia menelusuri isi yang ada di sebuah blog. Contoh, robot(crawler) dari sebuah search engine ingin menelusuri isi halaman blog ini tipsseountukpemulablog.blogspot.com/p/sitemap.html. Maka sebelum dia menemukan halaman tersebut terlebih dahulu dia akan pergi ke robots.txt. 

Cara setting custom robots.txt agar SEO Friendly

Sebelum agan mengaktifkan fitur custom robots.txt, ini adalah setting meta index ( noindex serta nofollow ) untuk optimasi seo friendly dikerjakan lewat up-date meta tag pada dokumen html template, karenanya ada fitur ini saat ini pengaturannya jadi makin gampang, dengan default robots. txt mempunyai dua baris perintah layaknya dibawah ini :

User-agent: *

Disallow:

Perintah diatas bila diartikan : 

User-agent : * = semua robot peng-index diperbolehkan mengindex sebuah blog 

Disallow : = semua content blog dari root directory sampai ke sub directory terhitung archive serta halaman statis, diperbolehkan agar diindex. bila agan ingin melakukan pelarangan maka tinggal memberikan karakter slash ( / ) pada baris ke-2 seperti ini :

User-agent: *

Disallow: /

Perintah diatas akan melarang semua robot peng-index buat mengindex semua content dari sebuah blog.

Untuk cara setting custom robots.txt, silakan agan login ke akun blogger, berikut pada halaman dashboard tentukan menu settings - search preferences - crawlers and indexing di bagian enable custom robots. txt content? tentukan yes terus klik link ubah di bagian custom robots.txt, coba perhatikan gambar dibawah ini :

custom robots.txt

Pada settingan default bloger sudah memberikan file robots.txt ini pada sebuah blog yang dibangun dengan platform blogger, untuk melihatnya silahkan agan ketik http ://tipsseountukpemulablog.blogspot.com/robots.txt. Bila agan sudah mengerti cara setting custom robots.txt ini agan bisa memodifikasinya supaya seo friendly. dibawah ini adalah  settingan default bloger pada custom robots.txt :

User-agent: Mediapartners-Google

Disallow: 

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://tipsseountukpemulablog.blogspot.com/feeds/posts/default orderby=updated

Disallow: /search = untuk melarang robot search engine mengindeks directory yang berawalan search seperti label blogspot

Allow: / yang artinya mengijinkan robot search engine untuk mengindeks semuanya

Jika di perhatikan untuk settingan di atas menurut mbah alkatro (salah seorang master seo) settingan feed diatas dirasa kurang maksimal, karena blogspot hanya mampu menampung sebanyak 26 artikel terbaru saja, solusinya adalah dengan cara mengganti di bagian sitemap dengan perintah: 

Sitemap: http://tipsseountukpemulablog.blogspot.com/feeds/posts/default?orderby=updated&max-results=500

Atau bisa juga dengan fitur baru blogger seperti:

Sitemap: http://tipsseountukpemulablog.blogspot.com/sitemap.xml

Jika di gabung hasilnya akan seperti ini:

User-agent: Mediapartners-Google

Disallow: 

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://tipsseountukpemulablog.blogspot.com/sitemap.xml

Sudah jelaskan? Sekarang agan sudah paham bagaimana cara setting custom robots.txt agar seo friendly dan sekarang saatnya agan untuk menyeting robots.txt pada header tags. Mungkin cukup itu saja yang bisa ane bagikan pada agan-agan semua, semoga ini dapat bermanfaat. AMIIN