กำลังเตรียมประสบการณ์ดิจิทัล
เจ้าของเว็บจำนวนมากติดอยู่กับทางเลือกที่แย่ทั้งสองทาง คือยอมให้บอตของ Google หรือ Bing เอาเนื้อหาไปฝึก AI ด้วย หรือไม่ก็บล็อกบอตนั้นแล้วหายไปจากผลค้นหา เพราะบอตตัวเดียวกันทำทั้งสองหน้าที่ Cloudflare เสนอทางออกเมื่อวันที่ 15 กันยายน 2026 ด้วยการกำหนดสถานะ Accountable ให้ผู้ให้บริการบอตที่แยกสองหน้าที่นี้ออกจากกันได้จริง พร้อมตัวเลือกใหม่ในแดชบอร์ดที่ให้บล็อกการฝึก AI โดยยังอยู่ในผลค้นหาต่อไป บทความนี้อธิบายว่ากลไกนี้ทำงานอย่างไร ต้องเขียน robots.txt แบบไหน และเว็บธุรกิจไทยที่อยากถูก AI อ้างอิงควรตัดสินใจอย่างไร ซึ่งคำตอบไม่ใช่การบล็อกเสมอไป
เจ้าของเว็บจำนวนมากติดอยู่กับทางเลือกที่แย่ทั้งสองทาง คือยอมให้บอตของ Google หรือ Bing เอาเนื้อหาไปฝึก AI ด้วย หรือไม่ก็บล็อกบอตนั้นแล้วหายไปจากผลค้นหา เพราะบอตตัวเดียวกันทำทั้งสองหน้าที่ Cloudflare เสนอทางออกเมื่อวันที่ 15 กันยายน 2026 ด้วยการกำหนดสถานะ Accountable ให้ผู้ให้บริการบอตที่แยกสองหน้าที่นี้ออกจากกันได้จริง พร้อมตัวเลือกใหม่ในแดชบอร์ดที่ให้บล็อกการฝึก AI โดยยังอยู่ในผลค้นหาต่อไป บทความนี้อธิบายว่ากลไกนี้ทำงานอย่างไร ต้องเขียน robots.txt แบบไหน และเว็บธุรกิจไทยที่อยากถูก AI อ้างอิงควรตัดสินใจอย่างไร ซึ่งคำตอบไม่ใช่การบล็อกเสมอไป
Googlebot, Bingbot และ Applebot เป็นบอตแบบผสม คือไต่เว็บเพื่อสร้างดัชนีค้นหาและอาจนำเนื้อหาไปฝึกโมเดล AI ด้วย ถ้าเจ้าของเว็บบล็อกบอตทั้งตัว ก็เท่ากับหายจากผลค้นหา ตัวเลขของ Cloudflare สะท้อนความอึดอัดนี้ชัด คือเว็บราว 17 เปอร์เซ็นต์บนเครือข่ายเลือกเปิดกลไกบล็อกการฝึก AI บางอย่าง แต่มีไม่ถึง 1 เปอร์เซ็นต์ที่กล้าบล็อกบอตค้นหา
ทำไมเรื่องนี้จึงกระทบรายได้ Cloudflare อ้างข้อมูลว่าผู้ใช้ที่อ่านสรุปจาก AI มีแนวโน้มจบการค้นหาโดยไม่คลิกเข้าเว็บใดเลยสูงขึ้นกว่า 40 เปอร์เซ็นต์ ในขณะเดียวกันคนที่ถูก AI ส่งมาที่เว็บกลับมีอัตราเปลี่ยนเป็นลูกค้าสูงกว่าคนจากผลค้นหาแบบเดิม 3 ถึงกว่า 5 เท่า ดังนั้นเจ้าของเว็บจึงต้องการควบคุมได้ละเอียดว่าจะให้ AI ใช้เนื้อหาแบบไหน ไม่ใช่เปิดหรือปิดทั้งหมด
Cloudflare ให้สถานะนี้แก่ผู้ให้บริการบอตที่ทำได้หรือให้คำมั่นชัดเจนใน 4 เรื่อง คือ มีช่องทางให้ปฏิเสธการนำไปฝึก AI ผ่าน robots.txt หรือมาตรฐานเทียบเท่า มีตัวเลือกปฏิเสธการนำไปทำสรุปด้วย AI (มีแล้วหรือจะมีภายในต้นปี 2027) ให้ข้อมูลระดับ URL ว่าหน้าไหนถูกใช้ฝึกและมีสถิติการค้นหาอย่างไร และรับประกันว่าการปฏิเสธการฝึกจะไม่กระทบอันดับในผลค้นหา
| กลุ่ม | ผู้ให้บริการ | ความหมาย |
|---|---|---|
| บอตสองหน้าที่ที่แยกได้ | Google (Googlebot) · Microsoft (Bingbot) · Apple (Applebot) | ปฏิเสธการฝึกได้โดยยังอยู่ในผลค้นหา |
| บอตฝึกอย่างเดียว | Amazon · Anthropic · Meta · OpenAI | บอตฝึกแยกจากบอตค้นหาอยู่แล้ว จึงไม่มีปัญหาต้องแลก |
สำหรับ Google และ Apple ใช้ชื่อบอตเฉพาะสำหรับการฝึก คือ Google-Extended และ Applebot-Extended ซึ่งเป็นสัญญาณควบคุมการนำไปฝึกโดยไม่แตะบอตค้นหาหลัก ส่วน Bing ตอนนี้ยังใช้แท็ก NOARCHIVE ในหน้าเว็บ และตั้งเป้ารองรับผ่าน robots.txt ภายในต้นปี 2027
| ผู้ให้บริการ | วิธี |
|---|---|
ใน robots.txt: User-agent: Google-Extended ตามด้วย Disallow: / · Googlebot ยังไต่ตามปกติ | |
| Apple | ใน robots.txt: User-agent: Applebot-Extended ตามด้วย Disallow: / |
| Bing | ตอนนี้ใช้ <meta name="robots" content="noarchive"> ในหน้า · robots.txt ต้นปี 2027 |
ข้อจำกัดของ robots.txt คือเป็นแค่คำขอ บอตที่ไม่ประสงค์ดีไม่สนใจอยู่แล้ว Cloudflare จึงเพิ่มการบังคับที่ระดับเครือข่าย โดยเผยแพร่ความต้องการของเว็บใน robots.txt ระบุตัวตนผู้ให้บริการบอตและจัดประเภทพฤติกรรม บล็อกบอตที่ไม่ทำตาม แล้วรายงานผลการปฏิบัติตามจริงของแต่ละรายผ่าน Cloudflare Radar
| ตัวเลือก | ผล |
|---|---|
| Allow | ปล่อยบอตทุกตัว เว้นที่บล็อกไว้ที่อื่น |
| Disallow AI Training | บอตสองหน้าที่ที่ Accountable ยังไต่เพื่อค้นหาได้ · บอตฝึกอื่นถูกบล็อก |
| Block on pages with ads | บล็อกบอตฝึกเฉพาะหน้าที่มีโฆษณา |
| Block | บล็อกทุกตัว รวมบอตค้นหา = หายจากผลค้นหา |
Cloudflare ระบุว่าจะทำงานร่วมกับ IETF ในมาตรฐานที่กำลังร่าง เช่น ai-prefs เพื่อให้สัญญาณเหล่านี้ใช้ได้ข้ามผู้ให้บริการ ไม่ผูกกับเครือข่ายใดเครือข่ายหนึ่ง
คำตอบขึ้นกับว่าเว็บหากินจากอะไร เว็บสำนักข่าวหรือเว็บที่ขายเนื้อหาโดยตรงมีเหตุผลชัดที่จะปฏิเสธการฝึก AI เพราะเนื้อหาคือสินค้า แต่เว็บบริษัทที่ต้องการให้ลูกค้าหาเจอ รวมถึงถูกอ้างอิงในคำตอบของ ChatGPT, Copilot หรือ Gemini อยู่ในสถานการณ์ตรงข้าม การบล็อกบอตของผู้ให้บริการ AI ทั้งหมดอาจทำให้เว็บหายไปจากคำตอบที่ลูกค้าถาม AI ซึ่งข้อมูลของ Cloudflare เองบอกว่าเป็นช่องทางที่เปลี่ยนเป็นลูกค้าได้สูงที่สุด
แนวทางที่เหมาะกับเว็บบริการส่วนใหญ่คือ เปิดให้บอตค้นหาและบอตของ answer engine เข้าถึงหน้าบริการและบทความ ใช้ Google-Extended หรือ Applebot-Extended เฉพาะเมื่อมีเนื้อหาที่ไม่อยากให้ถูกนำไปฝึกจริง ๆ และตรวจใน Cloudflare Radar หรือ log ของตัวเองว่าบอตตัวไหนมาจริง ก่อนตัดสินใจบล็อกจากความกลัวอย่างเดียว ที่สำคัญคือ robots.txt ที่มีหลายกลุ่ม User-agent ต้องเขียนกฎให้ตรงกันทุกกลุ่ม เพราะบอตที่มีกลุ่มของตัวเองจะไม่อ่านกฎของกลุ่มทั่วไปเลย
ทีมงาน Smart Cyber Tech รับทำเว็บไซต์ที่วางโครงสร้าง robots.txt, sitemap และข้อมูลเชิงโครงสร้างให้เว็บถูกค้นเจอทั้งใน Google และใน answer engine ของ AI พร้อมตั้งค่าการควบคุมบอตบน Cloudflare ให้ตรงกับเป้าหมายธุรกิจ ปรึกษาได้ที่ แบบฟอร์มติดต่อ
บทความอื่นที่เกี่ยวข้อง
ปัญหาของการป้องกันบอทไม่ใช่เรื่องเทคนิคอย่างเดียว แต่เป็นเรื่องเศรษฐศาสตร์ ฝ่ายโจมตีปรับตัวได้ทุกวันด้วยต้นทุนต่ำ ขณะที่ฝ่ายป้องกันอัปเดตเป็นรอบ บทความนี้สรุปแนวคิดที่พยายามกลับสมการนั้น พร้อมสิ่งที่เจ้าของเว็บไทยเอาไปคิดต่อได้
อ่านบทความ
เว็บไซต์ส่วนใหญ่ดีที่สุดในวันเปิดตัว แล้วค่อย ๆ ถดถอยลงจนถึงวันที่ต้องรื้อใหม่ทั้งหมด บทความนี้เสนอว่าปัญหาไม่ได้อยู่ที่เทคโนโลยี แต่อยู่ที่การไม่มีใครดูแลต่อ พร้อมแนวทางแบ่งงานบำรุงรักษาให้เดินหน้าได้ต่อเนื่อง
อ่านบทความ
Cloudflare ประกาศเมื่อวันที่ 10 กันยายน 2026 ว่า DNS resolver สาธารณะ 1.1.1.1 ตรวจสอบลายเซ็น DNSSEC ที่ใช้อัลกอริทึมทนต่อคอมพิวเตอร์ควอนตัมได้แล้ว ฟังดูไกลตัว แต่นี่คือการเตรียมระบบที่ทำหน้าที่เหมือนสมุดโทรศัพท์ของอินเทอร์เน็ตให้ยังเชื่อถือได้ในวันที่คอมพิวเตอร์ควอนตัมถอดกุญแจแบบเดิมได้ บทความนี้อธิบายว่าทำไมลายเซ็นใหม่ที่ใหญ่กว่าเดิมหลายสิบเท่าจึงเป็นโจทย์วิศวกรรมจริง และองค์กรไทยควรเริ่มเตรียมอะไร
อ่านบทความตั้งแต่ประเมินระบบปัจจุบัน วางแผน จนถึงลงมือพัฒนา — คุยกับเราได้โดยไม่มีค่าใช้จ่าย
