Cara Setting robots.txt

Apa itu file robots.txt?

Robots.txt adalah file teks yang dibuat webmaster untuk menginstruksikan robot web (biasanya robot mesin pencari) cara merayapi laman di situs web mereka. File robots.txt adalah bagian dari protokol pengecualian robot (REP), sekelompok standar web yang mengatur bagaimana robot merayapi web, mengakses dan mengindeks konten, dan menayangkan konten itu hingga ke pengguna. REP juga mencakup arahan seperti robot meta, serta petunjuk halaman, subdirektori, atau situs untuk bagaimana mesin pencari seharusnya memperlakukan tautan (seperti "ikuti" atau "nofollow"). Dalam praktiknya, file robots.txt menunjukkan apakah agen pengguna tertentu (perangkat lunak perayapan web) dapat atau tidak dapat merayapi bagian-bagian situs web. Instruksi penjelajahan ini ditentukan dengan "menolak" atau "memungkinkan" perilaku agen pengguna tertentu (atau semua).

User-agent: Googlebot
Disallow:
User-agent: msnbot
Disallow:
User-agent: Yahoo-slurp
Disallow:
User-agent: Slurp
Disallow:
User-agent: Mediapartners-Google
Disallow:
User-agent: AdsBot-Google
Disallow:
User-agent: Googlebot-Mobile
Disallow:
User-agent: Googlebot-Image
Disallow:
User-agent: Yahoo-MMCrawler
Disallow:

User-agent: *
Disallow: /
Disallow: /2014_06_01_archive.html?m=1
Disallow: /2014_07_01_archive.html?m=1
Disallow: /2015_02_01_archive.html?m=1
Disallow: /2014_05_01_archive.html?m=1
Disallow: /2014_11_01_archive.html?m=1
Disallow: /2014_08_01_archive.html?m=1
Disallow: /2015_03_01_archive.html?m=1
Disallow: /2014_04_01_archive.html?m=1
Disallow: /2014/09/mengenal-leica-hds-untuk-forensik-dan-investigasi.html
Disallow: /2014/10/bagaimanakah-proses-fabrikasi.html
Disallow: /2014/11/how-the-work-flow-3d-laser-scanning-to-be-applied-at-pertamina.html

Sitemap: http://www.gatewan.com/feeds/posts/default?orderby=UPDATED

Jejak blog gatewan kala itu.

User-agent: Googlebot
Disallow:
Disallow: /2014_06_01_archive.html?m=1
Disallow: /2014_07_01_archive.html?m=1
Disallow: /2015_02_01_archive.html?m=1
Disallow: /2014_05_01_archive.html?m=1
Disallow: /2014_11_01_archive.html?m=1
Disallow: /2014_08_01_archive.html?m=1
Disallow: /2015_03_01_archive.html?m=1
Disallow: /2014_04_01_archive.html?m=1
Disallow: /2014/09/mengenal-leica-hds-untuk-forensik-dan-investigasi.html
Disallow: /2014/10/bagaimanakah-proses-fabrikasi.html
Disallow: /2014/11/how-the-work-flow-3d-laser-scanning-to-be-applied-at-pertamina.html

User-agent: msnbot
Disallow:
User-agent: Bingbot
Disallow:
User-agent: Yahoo-slurp
Disallow:
User-agent: Slurp
Disallow:
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot-Mobile
Disallow:
User-agent: AdsBot-Google
Disallow:
User-agent: Yahoo-MMCrawler
Disallow:

User-agent: *
Disallow: /

Sitemap: http://www.gatewan.com/feeds/posts/default?orderby=UPDATED

Jejak blog santaiarea kala itu.

User-agent: Googlebot
Disallow:
Disallow: /s72-c/
Disallow: /delete-comment.g?blogID&m=1
Disallow: /delete-comment.g?blogID=
Disallow: /s
Disallow: /p/about-me.html?m=1
Disallow: /s?m=1
Disallow: /p/memuat.html?m=1
Disallow: /2015_02_01_archive.html
Disallow: /2014/06?m=1

User-agent: msnbot
Disallow:
User-agent: Bingbot
Disallow:
User-agent: Yahoo-slurp
Disallow:
User-agent: Slurp
Disallow:
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot-Mobile
Disallow:
User-agent: AdsBot-Google
Disallow:
User-agent: Yahoo-MMCrawler
Disallow:

User-agent: *
Disallow: /

Sitemap: http://www.santaiarea.com/feeds/posts/default?orderby=UPDATED

Jejak blog totaltren kala itu.

User-agent: Googlebot
Disallow:
Disallow: /s
Disallow: /s72-c/

User-agent: msnbot
Disallow:
User-agent: Bingbot
Disallow:
User-agent: Yahoo-slurp
Disallow:
User-agent: Slurp
Disallow:
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot-Mobile
Disallow:
User-agent: AdsBot-Google
Disallow:
User-agent: Yahoo-MMCrawler
Disallow:

User-agent: *
Disallow: /

Sitemap: http://www.totaltren.com/feeds/posts/default?orderby=UPDATED