ทะเบียนบอทและเอเจนต์: ทางเลือกใหม่ของเจ้าของเว็บในการแยกบอทที่ควรให้ผ่าน

ทราฟฟิกจากบอทเพิ่มขึ้นเจ็ดเท่าตั้งแต่ปี 2023 และไม่ใช่บอททุกตัวที่ควรถูกบล็อก บทความนี้อธิบายแนวคิดทะเบียนกลางที่ให้ผู้ให้บริการบอทประกาศตัวตนและวัตถุประสงค์ พร้อมสิ่งที่เจ้าของเว็บได้จากระบบนี้

โจทย์ของทั้งสองฝั่ง

ฝั่งเจ้าของเว็บมีปัญหาว่ามองไม่เห็นว่าบอทที่เข้ามาคือใคร มาทำอะไร และเอาเนื้อหาไปใช้อย่างไร จึงตัดสินใจได้ยากว่าควรอนุญาตตัวไหน ผลคือหลายเว็บเลือกบล็อกแบบเหมารวม ซึ่งกระทบทั้งบอทที่มาทำดัชนีค้นหาและผู้ช่วย AI ที่มาดึงหน้าเว็บแทนผู้ใช้จริง

ฝั่งผู้ให้บริการบอทก็มีปัญหาไม่ต่างกัน การขอขึ้นทะเบียนแบบเดิมเหมือนส่งเรื่องเข้ากล่องดำ ไม่มีการแจ้งสถานะ ไม่รู้เหตุผลที่ถูกปฏิเสธ และแก้ไขข้อมูลที่เคยส่งไปแล้วไม่ได้ ขณะที่ปริมาณคำขอขึ้นทะเบียนเพิ่มขึ้นเจ็ดเท่าตั้งแต่ปี 2023 จนกระบวนการตรวจด้วยคนล้วนตามไม่ทัน

ทะเบียนกลางทำงานอย่างไร

แนวทางที่นำเสนอคือทะเบียนกลางที่ค้นหาได้ ซึ่งผู้ให้บริการบอทเข้ามากรอกแบบฟอร์มประกาศพฤติกรรมของบอท วิธีใช้เนื้อหา และประเภทของผู้ให้บริการ จากนั้นระบบจะตรวจสอบข้อมูลที่อ้างโดยอัตโนมัติ ทั้งรายการไอพี การค้นหาย้อนกลับผ่าน DNS และลายเซ็นตามมาตรฐานการยืนยันตัวตนของบอท พร้อมแสดงสถานะให้เห็นว่าอยู่ระหว่างรอตรวจ ผ่านแล้ว หรือถูกปฏิเสธ และแก้ไขหรือยกเลิกคำขอที่ยังไม่ถูกตรวจได้

สามมิติที่ผู้ให้บริการบอทต้องประกาศ

มิติแรกคือพฤติกรรมของบอท ว่ามาเก็บข้อมูลเพื่อทำดัชนีค้นหา มาทำงานแทนผู้ใช้ มาเก็บข้อมูล มาฝึกโมเดล หรือมาสนับสนุนงาน SEO มิติที่สองคือการใช้เนื้อหา ซึ่งอิงตามแบบจำลองสัญญาณเนื้อหา คือประกาศว่าเนื้อหาที่เก็บไปจะถูกใช้ทำดัชนีค้นหา ใช้ฝึกโมเดล หรือใช้อ้างอิงเท่านั้น และมิติที่สามคือประเภทของผู้ให้บริการ ว่าเป็นผู้ดำเนินการโดยตรงที่เป็นเจ้าของโครงสร้างพื้นฐานเอง หรือเป็นตัวกลางที่นำทราฟฟิกของผู้อื่นมาส่งต่อ

การแยกมิติแบบนี้สำคัญ เพราะทำให้เจ้าของเว็บกำหนดนโยบายได้ละเอียดกว่าการเลือกอนุญาตหรือบล็อกทั้งตัว เช่นยอมให้ทำดัชนีค้นหาแต่ไม่ยอมให้นำไปฝึกโมเดล ซึ่งเป็นความต้องการที่พบบ่อยที่สุดของเว็บที่ผลิตเนื้อหาเอง

สิ่งที่เจ้าของเว็บได้

เจ้าของเว็บจะเห็นสถานะว่าบอทตัวใดผ่านการยืนยันแล้ว ได้ข้อมูลเชิงธุรกิจว่าบอทเหล่านั้นเข้ามาทำอะไรกับเนื้อหาบ้าง และตั้งค่าความต้องการให้สอดคล้องกับสิ่งที่ผู้ให้บริการบอทประกาศไว้ ซึ่งเชื่อมต่อกับสัญญาณที่ประกาศผ่าน robots.txt อยู่แล้ว

มุมมองสำหรับเว็บไทย

สำหรับเว็บองค์กรทั่วไป การเปิดให้บอทค้นหาและผู้ช่วย AI เข้าถึงได้ยังเป็นทางเลือกที่ถูกต้อง เพราะเป็นช่องทางที่ลูกค้าใหม่จะเจอคุณ โดยเฉพาะเมื่อผู้ใช้จำนวนมากเริ่มถามผู้ช่วย AI แทนการค้นหาแบบเดิม การบล็อกเหมารวมจึงเท่ากับหายไปจากช่องทางที่กำลังโต

สิ่งที่ควรทำแทนคือแยกให้ชัดว่าเนื้อหาส่วนใดยอมให้นำไปใช้อ้างอิงและทำดัชนีได้ และส่วนใดที่เป็นสินทรัพย์ซึ่งไม่ต้องการให้นำไปฝึกโมเดล จากนั้นจึงตั้งค่าให้ตรงกันทั้งใน robots.txt และในระบบป้องกันหน้าเว็บ เพื่อไม่ให้เกิดสภาพที่ประกาศอย่างหนึ่งแต่บังคับใช้อีกอย่าง ซึ่งเป็นปัญหาที่พบบ่อยและทำให้บอทที่ตั้งใจทำตามกฎได้ข้อมูลผิด