Robots.txt คืออะไร วิธีตั้งค่าและควบคุมการเข้าถึงบอทฉบับมือโปร

Robots.txt

สวัสดีครับหลานๆ กลับมาพบกับพ่อใหญ่ที่ BIQDADDY อีกครั้งนะครับ

หลานๆ เคยสงสัยไหมว่าเวลาที่เราสร้างบ้านเสร็จ เราจะบอกยามหน้าหมู่บ้านอย่างไรว่า ห้องรับแขกให้คนนอกเข้าได้ แต่ห้องนอนห้ามเข้านะ ในโลกของการทำเว็บไซต์ เราใช้ไฟล์เล็กๆ ที่ชื่อว่า Robots.txt เป็นตัวสั่งการครับ

วันนี้พ่อใหญ่จะพาไปเจาะลึกวิชาควบคุมบอท ซึ่งเป็นหัวใจสำคัญของการทำ Technical SEO ที่หลายคนมักมองข้ามจนทำให้เว็บพังมานักต่อนักแล้วครับ

Robots.txt คืออะไร และทำงานอย่างไร

Robots.txt คือ ไฟล์ข้อความธรรมดา (Text File) ที่ถูกวางไว้ในตำแหน่งรากสุดของเว็บไซต์ (Root Directory) ทำหน้าที่เป็นกฎจราจรตามมาตรฐาน REP (Robots Exclusion Protocol) เพื่อบอกกะพริบตาให้ Search Engines ทราบว่า หน้าเว็บไหนหรือไฟล์ใดที่อนุญาตให้เข้ามาเก็บข้อมูลได้ และหน้าไหนที่ห้ามเข้าเด็ดขาด

ทำไมเว็บไซต์ถึงต้องมี Robots.txt

1.ป้องกันข้อมูลส่วนตัว: ห้ามบอทเข้ามาดึงข้อมูลในหน้า Admin, หน้าตะกร้าสินค้า หรือหน้าข้อมูลลูกค้า

2.ประหยัด Crawl Budget: กูเกิลมีโควตาเวลาในการเข้าเว็บเราจำกัด การบล็อกหน้าขยะจะช่วยให้บอทมีเวลาไปเก็บข้อมูลหน้าที่ทำเงินให้เราได้เต็มที่

3.ป้องกันเว็บล่ม: บางครั้งบอทขยะ (Scraper Bots) อาจกระหน่ำเข้าเว็บจนเซิร์ฟเวอร์ทำงานหนัก เราสามารถใช้ไฟล์นี้เตะก้านคอบอทเหล่านั้นออกไปได้

โครงสร้างคำสั่ง (Syntax) ที่ต้องรู้ก่อนเขียน

การเขียนไฟล์นี้ไม่ได้ยากครับหลาน แค่ต้องรู้คำศัพท์หลักๆ 4 คำนี้

3 สูตรตั้งค่า Robots.txt ที่ใช้ได้จริง

พ่อใหญ่รวมสูตรยอดฮิตที่นำไปประยุกต์ใช้กับเว็บหลานได้ทันทีครับ

1.สูตรมาตรฐาน เปิดรับทุกคน (แนะนำสำหรับเว็บทั่วไป)

สูตรนี้บอกให้ Google Bot และเพื่อนๆ เข้ามาเก็บข้อมูลได้ทุกหน้า พร้อมชี้เป้าแผนผังเว็บให้ด้วย

2.สูตรปิดบังความลับ (สำหรับ WordPress)

สูตรนี้ห้ามบอทเข้ามายุ่งกับระบบหลังบ้านและไฟล์ปลั๊กอินต่างๆ

3.สูตรสกัดดาวรุ่ง (บล็อก AI Bots)

ยุคนี้มีบอท AI ชอบมาดูดข้อมูลเว็บเราไปเทรนโมเดลฟรีๆ หลานสามารถสั่งห้ามได้แบบนี้ครับ

วิธีทดสอบไฟล์ Robots.txt ด้วย Google Search Console

เขียนเสร็จแล้วอย่าเพิ่งวางใจครับ เราต้องเช็คความถูกต้องผ่านเครื่องมือของกูเกิลก่อนเสมอ เพื่อให้แน่ใจว่าค่า SEO Metrics ของเว็บเราจะไม่พังทลายลงมา

1.ล็อกอินเข้า Google Search Console

2.ไปที่เมนู การตั้งค่า (Settings) แถบด้านซ้ายล่าง

3.เลือก ข้อมูลเบื้องต้นเกี่ยวกับการรวบรวมข้อมูล (Crawl stats)

4.มองหารายงาน Robots.txt กดเข้าไปเพื่อดูว่ากูเกิลดึงไฟล์ล่าสุดไปเมื่อไหร่ มีสถานะแจ้งเตือน Error หรือไม่

วิธีการตรวจสอบไฟล์ ROBOT แบบของจริง

รวม Error ของ Robots.txt ที่คนทำเว็บพลาดบ่อยที่สุด

ถ้าทดสอบแล้วเจอสีแดง อย่าเพิ่งตกใจครับ พ่อใหญ่รวบรวมอาการยอดฮิตพร้อมวิธีแก้มาให้แล้ว

• ไฟล์มีขนาดใหญ่เกินไป กูเกิลอ่านไฟล์นี้ได้สูงสุดแค่ 500 KB ครับ ถ้ายาวกว่านี้กูเกิลจะเมินและหยุดอ่านทันที หลานต้องจัดกลุ่มคำสั่งให้สั้นลงเพื่อไม่ให้กระทบต่อ Site Structure
• เขียน Syntax ผิด พิมพ์ตัวพิมพ์เล็กพิมพ์ใหญ่ผิด หรือลืมใส่เครื่องหมายทับ (/) ข้างหน้า Path ทำให้บอทอ่านคำสั่งไม่ออก
• หน้าเว็บติดสถานะ Blocked by robots.txt แปลว่าหลานเผลอไปใส่คำสั่ง Disallow ในหน้าที่ต้องการให้อันดับขึ้น ให้รีบเข้าไปลบคำสั่งนั้นออกด่วน

ข้อควรระวัง Robots.txt ไม่ใช่การซ่อนข้อมูล 100 เปอร์เซ็นต์

นี่คือจุดที่มือใหม่ตายน้ำตื้นครับ! การใช้คำสั่ง Disallow หมายถึง ห้ามเข้ามาอ่าน แต่ถ้าบังเอิญมีคนเอาลิงก์ความลับของหลานไปแปะไว้ที่เว็บอื่น กูเกิลก็อาจจะดึงหน้านั้นไปโชว์บนหน้าค้นหาอยู่ดีแม้จะไม่มีคำอธิบายก็ตาม

ถ้าหลานต้องการห้ามแสดงผลบนกูเกิลเด็ดขาด หลานต้องใช้แท็ก noindex ในหน้าเว็บนั้นๆ ควบคู่ไปกับการจัดระเบียบ Structure ให้เป็นหมวดหมู่ครับ อย่าพึ่งพาแค่ไฟล์นี้อย่างเดียว

ประสบการณ์จากพ่อใหญ่ เว็บหายวับเพราะพิมพ์ผิดตัวเดียว

พ่อใหญ่เคยเจอเคสสยองขวัญครับ ลูกค้าจ้างทำเว็บใหม่ ระหว่างสร้างโปรแกรมเมอร์ใส่คำสั่ง Disallow: / เพื่อปิดไม่ให้กูเกิลเข้ามากวน พอเว็บเสร็จดันลืมเอาออก ผ่านไปเป็นเดือนยอดคนเข้าเว็บเป็นศูนย์!

สิ่งที่พ่อใหญ่ทำคือเข้าไปลบสแลชตัวนั้นออกตัวเดียว แล้วกดส่งสัญญาณผ่านระบบ Sitemaps ใน Search Console ใหม่ ภายใน 3 วันอันดับก็กลับมาวิ่งฉิวเหมือนเดิมครับ เห็นไหมครับว่าไฟล์เล็กๆ นี้ทรงพลังแค่ไหน

บทสรุปของพ่อใหญ่

Robots.txt คือเครื่องมือควบคุมทิศทางลมที่ทรงพลังที่สุดบนเซิร์ฟเวอร์ของหลานครับ การตั้งค่าที่ถูกต้องจะช่วยเพิ่มประสิทธิภาพในการเก็บข้อมูลและปกป้องพื้นที่ส่วนตัวของเว็บไซต์ จงตรวจเช็คไฟล์นี้ให้ดีก่อนปล่อยเว็บออกสู่สายตาชาวโลกนะครับ

ก้าวต่อไปของพ่อใหญ่ เมื่อเราเปิดประตูบ้านต้อนรับบอทอย่างถูกต้องแล้ว บทความหน้าพ่อใหญ่จะพาไปเจาะลึกถึงหลักเกณฑ์ว่าทำไมบอทถึงให้คะแนนเว็บเรามากกว่าคู่แข่ง กับเรื่องปัจจัยการจัดอันดับ เตรียมตัวให้พร้อมแล้วตามพ่อใหญ่มาเลยครับ

FAQ หลานๆ ถาม พ่อใหญ่ตอบ (เรื่อง Robots.txt)

ถ้าบล็อกหน้าขยะ อันดับเว็บโดยรวมจะดีขึ้นครับเพราะบอทมีเวลาไปอ่านหน้าที่มีประโยชน์ แต่ถ้าเผลอไปบล็อกหน้าบทความสำคัญ อันดับร่วงแน่นอนครับ