robots.txt ตั้งค่าดีมีประโยชน์

ขั้นตอนที่สำคัญอีกขั้นตอนหนึ่งที่ลืมไม่ได้หลังเราทำเว็บเสร็จ ก็คือ การตั้งค่าไฟล์ robot.txt  เพราะว่า ไฟล์ robots.txt เป็นไฟล์ที่ทำหน้าที่ระบุการเข้าถึง Directory ต่างๆ ของเว็บ จากพวก Bot (Crawlers, Web Wanderers หรือ Spiders) ของ Search Engine ต่างๆ ที่เข้ามาเก็บข้อมูล จึงทำให้มีปลต่อง SEO ด้วย ถ้าเราตั้งค่าดีๆ ก็จะส่งผลที่ดีกับเว็บไซ์ของเราด้วย

ปกติแล้วหน้าตาของไฟล์ robots.txt หน้าตามตามด้านล่างนี้น่ะคับ 

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /image/  
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/ 
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/  
Disallow: /tmp/

อธิบายความหมายของไฟล์ robots.txt ดังนี้น่ะคับ

User-agent: * ----> อนุญาตให้ Bot ของทุกๆ Search Engine เข้ามาเก็บข้อมูล
Disallow: /.../  ----> ไม่อนุญาตให้เก็บข้อมูลใน Folder นั้นๆ ที่ระบุไว้
Allow: /... ---->  อนุญาตให้เข้าเก็บข้อมูลใน Folder นั้นๆ ที่ระบุไว้

ตั้งแต่ Joomla Version 3.3 ได้มีการแก้ไขการ Block ของ Folder : image, media และ templates ถ้าสังเกตว่าใน robots.txt ไม่มี Folder ทั้ง 3 อันนี้ก็ไม่ต้องตกใจ หรือไปเพิ่มเข้าไปน่ะคับ ยกเว้นว่าเราต้องการที่จะ Block ไม่ให้ Bot เข้าไปเก็บข้อมูลก็สามารถทำได้น่ะคับ

วิธีการตั้งค่า robots.txt สำหรับ Joomla (วิธีการตั้งค่าแตกต่างกันแต่ละคน ถ้าชอบก็เอาไปใช้น่ะคับ)

01"ปลด Block Folder "images" ตรวจดูน่ะคับ ว่ายังถูก Block มั้ย ผมแนะนำว่าควรจะปลด Block เพื่อที่จะให้ Bot มาเก็บข้อมูล เพื่อให้รูปภาพของเว็บไปปรากฏในผลการค้นหารูปภาพ โดยการลบบรรทัดนี้ออกน่ะคับ"

Disallow: /images/

02"เพิ่ม sitemap.xml ไปด้วยน่ะคับ ใส่ต่อลงไปบรรทัดสุดท้ายได้เลยคับ"

sitemap:http://www.domain.com/sitemap.xml

แต่ถ้าใช้ Component สำหรับสร้าง Sitemap เช่า OSmap หรือ Xmap ก็สามารถนำ URL มาใช้ได้เลยน่ะคับ

 Sitemap: index.php?option=com_osmap&view=xml&tmpl=component&id=1
Last modified onWednesday, 08 April 2015 23:15

Leave a comment

Make sure you enter the (*) required information where indicated. HTML code is not allowed.

line ijoomla

Contact i-Joomla

 

095-652-6652
Line ID : gappuci
kingcapuchin@gmail.com
www.i-joomla.net
i.joomla.net

© i-Joomla.net All rights reserved.