บทความที่เกี่ยวข้อง
Crawl Budget
สวัสดีครับหลานๆ กลับมาพบกับพ่อใหญ่ที่ BIQDADDY อีกครั้งนะครับ
หลานๆ ลองนึกภาพตามพ่อใหญ่นะครับ สมมติว่ามี “ผู้ตรวจการ” แวะมาตรวจโกดังสินค้าของหลาน แต่เขามีเวลาจำกัดแค่ 5 นาที! ถ้าโกดังหลานรกมาก มีห้องขยะเต็มไปหมด ผู้ตรวจการอาจจะเสียเวลาเดินหลงอยู่ในห้องขยะจนหมดเวลา และกลับไปโดยไม่ได้ดู “สินค้าทำเงิน” ที่หลานตั้งใจวางโชว์ไว้เลย
ในโลกของการทำเว็บไซต์ ผู้ตรวจการคนนั้นก็คือ Google Bot และเวลาที่มีจำกัดนั่นแหละครับที่เราเรียกกันว่า Crawl Budget วันนี้พ่อใหญ่จะพาไปเจาะลึกวิชาการบริหารเวลาของบอทระดับ Advance เพื่อให้อันดับเว็บสเกลใหญ่ของหลานพุ่งทะยานไม่สะดุดครับ!
Crawl Budget คืออะไร?
Crawl Budget (งบประมาณการรวบรวมข้อมูล) คือ จำนวนหน้าเว็บไซต์และระยะเวลาสูงสุดที่ระบบสมองกลของ Google ยินดีจะใช้ในการเข้ามาเก็บข้อมูล (Crawl) เว็บไซต์ของเราในช่วงเวลาหนึ่งๆ
กูเกิลต้องแบ่งทรัพยากรไปเก็บข้อมูลเว็บเป็นพันล้านเว็บทั่วโลก มันจึงต้องคำนวณ “โควตา” ของแต่ละเว็บผ่าน 2 ปัจจัยหลัก
- Crawl Capacity Limit (ขีดจำกัดความสามารถของเซิร์ฟเวอร์): บอทจะดูว่าเซิร์ฟเวอร์ของเว็บหลานรับแขกได้ไวแค่ไหน ถ้าเซิร์ฟเวอร์ตอบสนองช้า หรือเริ่มส่ง Error 5xx (Server Error) ออกมา บอทจะถอยทัพและลดความเร็วลงทันทีเพื่อไม่ให้เว็บหลานล่ม
- Crawl Demand (ความต้องการเก็บข้อมูล): บอทจะดูว่าเว็บหลานอัปเดตเนื้อหาบ่อยแค่ไหน (Freshness) และได้รับความนิยม (Authority) จาก Backlink มากเพียงใด
เว็บไซต์แบบไหนที่ “ต้อง” ซีเรียสเรื่อง Crawl Budget?
หลายคนชอบขู่ให้กลัวว่าเว็บเล็กๆ ก็ต้องระวัง แต่ความจริงจาก เอกสาร Official ของ Google Search Central ระบุไว้ชัดเจนครับว่า ถ้าเว็บของหลานมีหลักพันหรือหลักหมื่นหน้าธรรมดาๆ บอทกูเกิลมีกำลังเหลือเฟือที่จะกวาดข้อมูลได้หมดครับ
แต่หลาน ต้อง บริหารจัดการเรื่องนี้อย่างจริงจัง ก็ต่อเมื่อเว็บไซต์เข้าข่าย 2 ข้อนี้
- เว็บขนาดใหญ่ระดับ Enterprise: มีหน้าเว็บมากกว่า 1,000,000 หน้าขึ้นไป (เช่น เว็บ E-Commerce ยักษ์ใหญ่ หรือเว็บรวมประกาศอสังหาริมทรัพย์)
- เว็บที่มีการอัปเดตแบบเรียลไทม์: มีหน้าเว็บระดับ 10,000 หน้าขึ้นไป แต่มีการเปลี่ยนแปลงเนื้อหาอย่างรวดเร็วทุกวัน (เช่น เว็บข่าวระดับประเทศ หรือเว็บบอร์ดที่มี User Generated Content มหาศาล)
4 หลุมพรางที่สูบ Crawl Budget (และวิธีแก้ที่ถูกต้อง 100%)
มาดูกันครับว่าความเข้าใจผิดทางเทคนิคอะไรบ้าง ที่ทำให้โควตาเวลาของบอทสูญเปล่า และเราจะอุดรอยรั่วนี้ได้อย่างไร
1. ความเข้าใจผิดเรื่องแท็ก Noindex
คนทำเว็บหลายคนเข้าใจผิดว่า การใส่แท็ก Meta Robots=”noindex” จะช่วยประหยัดโควตาบอท ผิดถนัดครับ! การที่บอทจะรู้ว่าหน้านั้นมีแท็ก Noindex ฝังอยู่… บอทต้องเสีย Crawl Budget วิ่งเข้ามาโหลดและอ่านโค้ดหน้านั้นไปเรียบร้อยแล้วครับ!
- วิธีแก้: ถ้าต้องการห้ามบอทเข้ามาเหยียบเพื่อประหยัดโควตาจริงๆ หลานต้องใช้คำสั่ง Disallow ในไฟล์ Robots.txt ตั้งแต่หน้าประตูครับ
2. URL Parameters และ Faceted Navigation
ระบบตัวกรองสินค้า (เช่น กรองสี กรองไซส์) มักจะสร้าง URL ที่มีพารามิเตอร์ต่อท้ายยั้วเยี้ย (เช่น ?color=red&size=m) ซึ่งทำให้เกิด Duplicate Content เป็นแสนๆ หน้าโดยไม่รู้ตัว บอทจะเดินหลงอยู่ในเขาวงกตนี้จนหมดโควตา
- วิธีแก้: ใช้ไฟล์ Robots.txt บล็อก Parameter ที่ไม่จำเป็น หรือตั้งค่า URL Parameter Rules ให้ชัดเจน
3. หน้าเว็บขยะ และ Soft 404
การปล่อยให้เว็บมีหน้า 404 เยอะๆ หรือการที่หน้าเว็บไม่มีเนื้อหาแล้ว แต่เซิร์ฟเวอร์ดันส่งรหัส 200 OK กลับไป (เรียกว่า Soft 404) บอทจะงงและเสียเวลาเก็บข้อมูลหน้าเปล่าๆ เหล่านั้นครับ
- วิธีแก้: ถ้าหน้านั้นถูกลบทิ้งไปแล้วถาวร ต้องเซ็ต HTTP Status Code ให้เป็น 410 (Gone) เพื่อบอกกูเกิลอย่างเด็ดขาดว่า “หน้านี้หายไปแล้ว ไม่ต้องกลับมาเช็คซ้ำอีก”
4. ซ่อนขยะไว้ใน Sitemaps
การส่ง URL ที่โดนบล็อกใน Robots.txt, URL ที่ติด Noindex, หรือ URL ที่เป็น 404 Error ใส่เข้าไปในแผนผังเว็บ จะทำให้ระบบของกูเกิลสับสน
- วิธีแก้: ไฟล์ Sitemaps ของหลานต้องสะอาด 100% มีเฉพาะ URL หลักที่ต้องการให้ติดอันดับ (Status 200 OK และ Indexable) เท่านั้นครับ
วิเคราะห์ลึกถึงรากเซิร์ฟเวอร์ (Log File Analysis)
การจะรู้ว่าบอทวิ่งไปอออยู่ตรงไหนของเว็บไซต์ ไม่สามารถเดาได้ด้วยตาเปล่าครับ ในระดับ Enterprise เราต้องทำสิ่งที่เรียกว่า Log File Analysis หรือการแกะรอยไฟล์บันทึกของเซิร์ฟเวอร์ เพื่อดูพฤติกรรมของ Google bot แบบเจาะลึกรายวินาที ว่ามันเสียเวลาไปกับหน้าเว็บที่มี Error หรือหน้า Parameter มากน้อยแค่ไหน
งานผ่าตัดสถาปัตยกรรมเว็บไซต์และเซิร์ฟเวอร์ระดับนี้ เป็นงานสาย Tech จ๋าที่ต้องใช้ผู้เชี่ยวชาญตัวจริงครับ หากคุณเป็นองค์กรขนาดใหญ่ที่มีเว็บไซต์หลักแสนหรือหลักล้านหน้า และกำลังเจอปัญหา “คอนเทนต์ใหม่ทำดัชนีช้า” หรือ “บอทไม่อัปเดตข้อมูล” ทีมงานระดับโปรของ BIQDADDY พร้อมดูแลครับ
เรามีบริการ รับทำ SEO ระดับ Advance ที่ครอบคลุมถึงการทำ Log File Analysis การตั้งค่าเซิร์ฟเวอร์เพื่อคืนค่า HTTP Status ที่ถูกต้อง และการวาง Site Structure ใหม่หมด เพื่อเปิดทางด่วนให้ Googlebot วิ่งฉิวไปหาหน้าทำเงินของคุณ สนใจปรึกษาพ่อใหญ่ได้เลยครับ!
บทสรุปของพ่อใหญ่
Crawl Budget ไม่ใช่เรื่องที่ต้องแพนิกสำหรับเว็บทั่วไป แต่สำหรับเว็บระดับยักษ์ใหญ่ มันคือเส้นเลือดใหญ่ที่ชี้เป็นชี้ตายยอดขายครับ การเข้าใจความแตกต่างระหว่าง “การห้ามทำดัชนี” และ “การห้ามเข้าถึง” อย่างถ่องแท้ จะช่วยให้หลานอุดรอยรั่วของงบประมาณ และผลักดันเนื้อหาคุณภาพขึ้นสู่หน้าค้นหาได้อย่างรวดเร็วและแม่นยำที่สุดครับ
FAQ หลานๆ ถาม พ่อใหญ่ตอบ (เรื่อง Crawl Budget)
ไม่ต้องกังวลเลยครับหลาน! ระบบของกูเกิลฉลาดและมีพลังเหลือเฟือที่จะเก็บข้อมูลเว็บขนาดเล็กได้สบายๆ ให้หลานเอาเวลาไปโฟกัสที่การทำคอนเทนต์และหา Backlink คุณภาพจะเห็นผลลัพธ์คุ้มค่ากว่าครับ
ไม่ใช่ครับ! นี่คือความเข้าใจผิดสุดคลาสสิก การใส่ Noindex คือการบอกว่า “อย่าเอาไปโชว์ในหน้าค้นหานะ” แต่กูเกิลบอท “ต้องเสียโควตา” วิ่งเข้ามาอ่านโค้ดในหน้านั้นก่อนถึงจะรู้ว่าหลานสั่ง Noindex ครับ ถ้าจะประหยัดโควตาต้องบล็อกด้วย Robots.txt ครับ
ทำไม่ได้แล้วครับ! กูเกิลประกาศ ยกเลิกเครื่องมือ Crawl Rate Limiter ใน GSC ไปแล้วตั้งแต่ต้นปี 2024 ปัจจุบัน AI ของกูเกิลจะเป็นคนประเมินสุขภาพเซิร์ฟเวอร์ของหลานเอง ถ้าเซิร์ฟเวอร์ตอบสนองไว ไม่เกิด Error 5xx บอทก็จะเข้ามาเก็บข้อมูลรัวๆ ตามความเหมาะสมครับ
ไม่ช่วยแบบ 100% ครับ ในอดีตบอทจะไม่ตามลิงก์ Nofollow แต่ปัจจุบันกูเกิลปรับกฎให้ Nofollow เป็นแค่ “คำแนะนำ (Hint)” บอทมีสิทธิ์ตัดสินใจเองว่าจะวิ่งตามลิงก์นั้นไปดูหรือไม่ ซึ่งก็อาจจะทำให้เสียโควตาอยู่ดีครับ
เช็คเบื้องต้นได้ที่รายงาน Crawl Stats (สถิติการรวบรวมข้อมูล) ในเมนูการตั้งค่าของ Google Search Console ครับ หลานจะเห็นกราฟเลยว่าบอทเจอปัญหา Server Error หรือเจอหน้า 404 เยอะแค่ไหนในแต่ละวันครับ
เขียนโดย BIQDADDY
อ่านอะไรต่อดี?
