เมื่อผมทำ Blogger มาสักพักเจอปัญหาของ robots.txt คือผมไปพบใน Google web master ว่ามีการ "ถูกจำกัดโดย robots.txt" ซึ่งเป้นภาระผมให้ต้องมาหาว่า robots.txt คืออะไร
ซึ่งการดู robots.txt ใน Blogger ง่ายๆ คือ http://xxxxxx.blogspot.com/robots.txt
ความหมายโดยสรุปของผมต่อ robots.txt คือการคำสั่งให้ Robot ของแต่ละ search engine นั้น ทำตามเก็บ index แต่ละอย่างที่เราอนุญาติ โดยบางคนอาจไม่ต้องการให้ search engine เข้าไปในเว็บของเราบางอย่าง เราสามารถเขียนกำหนดได้บน Robot.txt นี้เอง
ความหมายที่ผมหามา
robots.txt เป็น fileที่บอก Search engine ว่า ” ไม่ต้องมาเก็บเว็บไซต์ของฉัน หรือหน้าเว็บบางหน้า หรือไฟล์บางไฟล์ โรบอต (Robot) เป็นโปรแกรมเก็บข้อมูลในอินเตอร์เน็ต ซึ่งบางครั้ง เรียกว่าสไปเดอร์ (Spider) หรือ ครอว์เลอร์(Crawler) จะทําหน้าที่รวบรวมไฟล์ HTML
เพื่อมาเป็นข้อมูล สําหรับสร้างดัชนีค้นหา ให้กับ เสิร์จเอ็นจิน (Search Engine) โดยทั่วไปแล้ว โรบอตจะกลับมาที่เว็บไซต์ที่อ่านไปแล้ว เพื่อตรวจสอบ การเปลี่ยนแปลง ตามระยะเวลาที่กําหนด
จาก http://blog.gootum.com/seo-blog/robotstxt
หลักการทำงานของ Search Engine ทุกตัว จะส่ง robot ของตัวเอง เช่น หากเป็น Google จะเรียกว่า Google bot , MSN จะเรียกของตัวเองว่า MSN bot หรือแม้แต่ Yahoo หรือ Search Engine ตัวอื่น ๆ ก็จะเรียกชื่อที่ต่างกันออกไป เพื่อจุดประสงค์็ ไปไต่ (Craw) ตามเว็บ Link ต่าง เช่น และเก็บเอาเนื้อหา หรือ Content ต่างๆ กลับมาวิเคราะห์ที่ Server ของตัวเอง เพื่อหาว่า เนื้อหาใน Web ที่ไปเก็บมานั้น มีเนื้อหาเกี่ยวกับอะไร เช่น กีฬา , ข่าว , Blog หรือเนื้อหาอื่น ๆ โดยจะใช้กรรมวิธีในการคิด วิเคราะห์ (Algorithm) ที่แตกต่างกันออกไป เพื่อวิเคราะห์ให้ได้ว่า Web นั้น มีเนื้อหาด้านนั้นจริงๆ และนำมาจัดเก็บใน Index Server เพื่อให้ผู้ที่ต้องการค้นหาคำที่ต้องการ มาค้นหาจาก Index Server เ้พื่อจะได้ค้นหา Website ที่เขาต้องการได้รวดเร็ว และตรงตามใจที่สุด จาก catadmin.cattelecom.com/km/blog/kittichonm/category/
The robots.txt file is used to instruct search engine robots about what pages on your website should be crawled and consequently indexed. Most websites have files and folders that are not relevant for search engines (like images or admin files) therefore creating a robots.txt file can actually improve your website indexation.
dailyblogtips.com
แต่สิ่งที่น่าเสียดายของ Blogger คือ ผมไม่สามารถแก้ไข robots.txt ได้
เพราะฉนั้น ใครจะเขียนไรเป้นความลับ คงอยากลำบากใน Blogger นะครับ
สมัครสมาชิก:
ส่งความคิดเห็น (Atom)
ไม่มีความคิดเห็น:
แสดงความคิดเห็น