Robots.txt คืออะไร ? จำเป็นไหมที่ต้องมี

Robots.txt คืออะไร ? จำเป็นไหมที่ต้องมี

เมื่อใดที่  Search Engine ฺฺส่ง Bot เข้ามาเยี่ยมยังเว็บไซต์ของคุณ สิ่งที่มันจะมองหาอันดับแรกๆ นอกจากลิงก์ หรือไฟล์ต่างๆ แล้วก็จะเป็นไฟล์ Robots.txt นี่ล่ะครับ เปรียบเสมือนเป็นคำสั่งบอกไปยัง Bot ว่าอนุญาตหรือไม่อนุญาตให้เก็บข้อมูลตรงไหนไปหรือให้มองข้ามข้อมูลที่ไหนไป ไม่ต้อง Index เก็บข้อมูล

การสร้าง Robots.txt ก็ไม่มีขั้นตอนอะไรซับซ้อนมากครับ เพียงแค่คุณสร้างไฟล์ robots.txt จากโปรแกรม Text Edittor ธรรมดานี่เอง แล้วก็ เขียนคำสั่งไปทีบรรทัด ดังนี้

User-agent: *
Disallow:

User-agent: *  

ส่วนใหญ่ใช้ * แทน bot ทุกตัวเพื่อง่ายต่อการเขียนคำสั่ง

Disallow:

ไม่ต้องใส่อะไรหลังคำสั่ง Disallow:  เป็นคำสั่งให้ Bot นั้น Index เว็บเพจทุกหน้า ไฟล์ทุกไฟล์ เป็นคำสั่งที่นิยมใช้มากที่สุด

Disallow: /admin

ถ้าแบบนี้จะหมายถึงสั่งให้ bot มองข้ามโฟลเดอร์ /admin ไปเลยครับ หรือ

Disallow: /

จะสั่งให้ Bot ไม่ต้อง index อะไรทั้งสิ้นจากเว็บนี้ ไม่ว่าจะโฟลเดอร์ไหน ไฟล์ใดก็ตาม

 

Robots.txt นี้หากไม่มีก็ไม่ผิด แต่ถ้ามีไว้ก็จะช่วยให้ Google bot รู้ได้ทันทีนะครับว่าต้องทำอะไรต่อบ้าง มีผลดีต่อ Ranking เว็บของคุณแน่นอนครับ


Social Share

บันทึก / บทความ

ติดต่อ / ขอใบเสนอราคา

ต้องการทำเว็บไซต์ หรือสนใจบริการ ส่งเมลมาคุยกันก่อนได้ครับที่ [email protected] [email protected]นี้ แล้วเราจะรีบติดต่อกลับไปให้ไวที่สุดครับ

Image verification