Robot.txt คือ การเขียนไฟล์เพื่อกำหนดให้ Spider หรือ Bot ของระบบ Search Engine ว่าจะให้มันเก็บเข้าหน้าไหนบ้าง เพื่อเก็บข้อมูลไป เนื่องจากบางทีเราไม่ต้องการให้ Spider หรือ Bot เก็บข้อมูลที่ไม่จำเป็นต่อเว็บไป
ตัวอย่างเช่น
-http://tools.seobook.com/robots-txt/
-http://www.outfront.net/tutorials_02/adv_tech/robots.htm
ประโยชน์
-เพื่อให้ Robot สามารถเก็บข้อมูลได้เร็วมากขึ้น และไม่สิ้นเปลื้อง index
ไม่มีความคิดเห็น:
แสดงความคิดเห็น