Cloudflare จับมือ OpenAI ทดลองใช้สัญญาณจากเครือข่ายช่วย ChatGPT ค้นเจอหน้าเว็บใหม่ได้หลายร้อยล้านหน้า พร้อมข้ามหน้าซ้ำและหน้าหลอกลวงก่อนเก็บเข้าระบบค้นหา

คนจำนวนมากเริ่มถาม ChatGPT แทนการค้นใน Google คำถามของเจ้าของเว็บจึงเปลี่ยนเป็นว่าหน้าเว็บของเราจะถูกระบบค้นหาของ AI เจอหรือไม่ Cloudflare เปิดเผยผลการทดลองร่วมกับ OpenAI ที่เริ่มตั้งแต่กรกฎาคม 2026 โดยใช้ข้อมูลประกอบ (metadata) จากเครือข่ายของ Cloudflare บอกบอตค้นหาของ OpenAI ว่ามีหน้าใหม่ หน้าไหนเปลี่ยน และหน้าไหนไม่ควรเก็บ เว็บที่ร่วมทดลองมีเพียงราว 1% ของเครือข่าย แต่ช่วยให้ OpenAI ค้นเจอและเก็บหน้าเว็บใหม่เข้าระบบได้หลายร้อยล้านหน้า

ปัญหาที่การทดลองนี้พยายามแก้คือบอตค้นหาเสียแรงไปกับสิ่งที่ไม่มีค่า เช่น บอตจำนวนมากเรียกไฟล์ที่ไม่มีอยู่จริง เว็บบางแห่งพาทุกที่อยู่ที่พิมพ์ผิดกลับไปหน้าแรก และหลายหน้ามีเนื้อหาซ้ำกันภายใต้ที่อยู่ต่างกัน ถ้าบอตไม่รู้ล่วงหน้า ก็ต้องดาวน์โหลดทุกหน้ามาตรวจเอง Cloudflare ซึ่งเห็นรูปแบบการเข้าถึงเหล่านี้จากเครือข่าย จึงส่งสัญญาณให้บอตข้ามหน้าเหล่านี้ได้ตั้งแต่ก่อนดาวน์โหลด

สัญญาณที่ส่งมีสี่กลุ่ม กลุ่มแรกช่วยค้นพบหน้าใหม่ที่บอตยังไม่รู้จัก กลุ่มที่สองกรองหน้าที่ไม่มีอยู่จริงหรือซ้ำกัน กลุ่มที่สามแจ้งว่าหน้าไหนเปลี่ยนจนควรกลับมาอ่านใหม่ และหน้าไหนไม่เปลี่ยนจึงไม่ต้องโหลดซ้ำ กลุ่มที่สี่ชี้หน้าที่อาจเป็นอันตราย เช่น ฟอร์มล็อกอินปลอมที่ถูกฝังในเว็บที่ปกติดี จุดที่น่าสนใจคือระบบชี้เป็นรายหน้า ไม่ได้ลงโทษทั้งเว็บ เว็บที่ถูกเจาะจึงไม่หายจากผลค้นหาทั้งเว็บเพราะหน้าปลอมเพียงหน้าเดียว

Cloudflare ย้ำว่าสัญญาณค้นพบไม่ใช่การอนุญาตให้เข้าถึง และข้อมูลที่ใช้ในการทดลองเป็นข้อมูลประกอบสำหรับค้นหาเท่านั้น ไม่ใช่เนื้อหาของหน้าไปใช้ฝึกโมเดล OpenAI ยังเป็นผู้ประเมินและจัดอันดับหน้าเว็บเองว่าหน้าไหนเกี่ยวข้องและมีประโยชน์ ส่วนเจ้าของเว็บกำหนดได้ว่าจะเปิดให้ระบบ AI เข้าถึงแค่ไหน ผ่านเครื่องมือ AI Crawl Control ของ Cloudflare หรือไฟล์ robots.txt ตามปกติ

ข้อสังเกตจากผู้เขียนต้นฉบับคือการค้นพบหน้าใหม่ช่วงแรกจะทำให้บอตเข้ามาอ่านเว็บมากขึ้นก่อน เพราะหน้าเหล่านั้นต้องถูกประเมิน ระยะถัดไปของการทดลองจะเน้นเลือกหน้าให้แม่นขึ้น ทดสอบสัญญาณการเปลี่ยนแปลงที่เร็วขึ้น และวัดผลลัพธ์ทางธุรกิจของเจ้าของเว็บหลังหน้าถูกค้นพบ

สำหรับธุรกิจไทย ข่าวนี้ย้ำว่าพื้นฐานที่ทำให้ติด Google คือพื้นฐานเดียวกับที่ทำให้ AI ค้นเจอ คือทุกหน้ามีที่อยู่เดียวไม่ซ้ำ หน้าที่ไม่มีจริงตอบว่าไม่พบอย่างถูกต้อง แผนผังเว็บ (sitemap) บอกวันแก้ไขที่ตรงจริง และตัดสินใจให้ชัดว่าเปิดให้บอต AI เข้าถึงส่วนไหน ถ้ายังไม่แน่ใจว่าเว็บมีพื้นฐานครบไหม อ่านทำเว็บให้ติด Google ต้องมีอะไรบ้าง ประกอบได้ ทีมงาน Smart Cyber Tech รับทำเว็บไซต์ที่ค้นเจอทั้งใน Google และผู้ช่วย AI ตั้งแต่โครงสร้างหน้าจนถึงการตั้งค่าบอต ปรึกษาได้ที่ แบบฟอร์มติดต่อ