สวัสดีครับ วันนี้แอดมินจะมาแนะนำเกี่ยวกับเรื่องการสร้างไฟล์ Robots.txt ซึ่งมีผลต่อ google bot ที่เข้ามาเก็บเว็บไซต์เราโดยตรงครับ อยากรู้ว่าทำไมถึงเกี่ยวกับ google มาเก็บเว็บไซต์เรา มาอ่านกันเลยครับ ไฟล์ Robots.txt นั้น เปรียบเสมือนด่านแรกที่ Google bot เข้าเว็บไซต์เราเข้ามาแล้วเจอก่อน ก่อนที่จะเข้าไปอ่าน Content ในหน้า Page นั้นๆ ซึ่งเจ้าตัวไฟล์ Robots.txt นั้นจะทำหน้าที่เหมือนกรองว่า จะให้ Google เข้าหน้าไหนในเว็บเพจได้บ้าง หรือบล็อคไม่ให้เข้าหน้าไหนบ้าง เช่นตัวอย่างเราทำ WordPress เราก็จะเขียนให้ Robots.txt กรองให้ไม่เข้าหน้า /wp-admin เพื่อไม่ให้เข้าไปเก็บข้อมูลหลังบ้านนั่นเอง Syntax ของภาษาที่เขียนในไฟล์ Robots.txt ซึ่งข้อพิเศษของ Robots.txt ก็คือ เราสามารถใส่ Sitemap ลงไปใน Robots.txt ได้อีกด้วย เพื่อบ่งบอก google bot ได้ว่า เรามี Sitemap นะ […]
