สวัสดีครับ วันนี้แอดมินจะมาแนะนำเกี่ยวกับเรื่องการสร้างไฟล์ Robots.txt ซึ่งมีผลต่อ google bot ที่เข้ามาเก็บเว็บไซต์เราโดยตรงครับ อยากรู้ว่าทำไมถึงเกี่ยวกับ google มาเก็บเว็บไซต์เรา มาอ่านกันเลยครับ
ไฟล์ Robots.txt นั้น เปรียบเสมือนด่านแรกที่ Google bot เข้าเว็บไซต์เราเข้ามาแล้วเจอก่อน ก่อนที่จะเข้าไปอ่าน Content ในหน้า Page นั้นๆ ซึ่งเจ้าตัวไฟล์ Robots.txt นั้นจะทำหน้าที่เหมือนกรองว่า จะให้ Google เข้าหน้าไหนในเว็บเพจได้บ้าง หรือบล็อคไม่ให้เข้าหน้าไหนบ้าง เช่นตัวอย่างเราทำ WordPress เราก็จะเขียนให้ Robots.txt กรองให้ไม่เข้าหน้า /wp-admin เพื่อไม่ให้เข้าไปเก็บข้อมูลหลังบ้านนั่นเอง
Syntax ของภาษาที่เขียนในไฟล์ Robots.txt
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]ซึ่งข้อพิเศษของ Robots.txt ก็คือ เราสามารถใส่ Sitemap ลงไปใน Robots.txt ได้อีกด้วย เพื่อบ่งบอก google bot ได้ว่า เรามี Sitemap นะ สามารถวิ่งตามลิงค์ใน Sitemap ได้เลย ฟังดูแล้ว พอจะเข้าใจใช่ไหมครับ มันคือปรับสุขภาพเว็บให้ google bot วิ่งเข้ามาอ่านในเว็บเราได้ง่ายขึ้นนั่นเอง
ตัวอย่างโค๊ดที่เขียนใน Robots.txt
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xmlเห็นรูปแบบโค๊ด Robots.txt กันแล้วใช่ไหมครับ ว่า Syntax เป็นอย่างไร ทีนี้แอดมินจะมาแนะนำวิธีการไปปรับค่า Robots.txt ใน WordPress ของเรา โดยไม่ต้อง FTP เข้าไปที่ Host ครับ สามารถปรับได้บน WordPress หลังบ้านของเราเลย
ขั้นตอนการปรับไฟล์ Robots.txt
1.ติดตั้ง Plugin Yoast SEO
2.เข้าไปที่โปรแกรม Yoast ไปที่ Menu Tools และเลือก Create robots.txt file ตามภาพ
แต่ถ้าคุณไม่สามารถที่จะมาตั้งค่าในนี้ได้ หรือ WordPress ไม่ยอมให้คุณทำ คุณจำเป็นต้องไปปรับค่าในไฟล์ Config.php ให้เป็นดังโค๊ด
define('DISALLOW_FILE_EDIT', true);แค่นี้ก็เป็นอันเสร็จเรียบร้อยแล้วครับ วิธีปรับการตั้งค่าให้ Bot google เข้ามาเก็บโดยตั้งที่ Robots.txt ไม่ยากเลยใช่ไหมครับ ถ้าชอบอย่าลืมกดติดตามเว็บ Javascriptly.com ที่เราจะหา Content เทคนิค และวิธีสอนการปรับค่าต่างๆเกี่ยวกับ WordPress , SEO , Programming และ Javascript มาฝากคุณผู้อ่านทุกท่านครับ
