อ่านประมาณ 6 นาที
ระดับกลาง
หมวด: ข้อมูลและ AI
อ้างอิง: Nielsen Norman Group (NN/g)
เอเจนต์ AI สองตัวที่ใช้โมเดลเดียวกันอาจทำงานได้ต่างกันมาก เพราะสิ่งที่ตัดสินว่าทำอะไรได้จริงคือซอฟต์แวร์ที่ห่อโมเดลไว้ เรียกว่า agent harness ก่อนซื้อหรือสร้างเอเจนต์ให้ธุรกิจ จึงควรถามว่าระบบเข้าถึงข้อมูลอะไร ทำอะไรได้บ้าง และหยุดเมื่อไร มากกว่าถามแค่ชื่อโมเดล บทความนี้เรียบเรียงจากคำอธิบายของ Nielsen Norman Group พร้อมตัวอย่างงานร้านค้าออนไลน์
Agent harness คืออะไร
โมเดลภาษาขนาดใหญ่ทำได้แค่สร้างข้อความ รวมถึงข้อความที่เป็นคำขอแบบมีโครงสร้าง เช่น ขอเช็กสถานะพัสดุเลขนี้ แต่โมเดลลงมือเช็กเองไม่ได้ Agent harness คือซอฟต์แวร์ที่อยู่รอบโมเดล ทำหน้าที่รับคำขอนั้น ตรวจว่าทำได้หรือไม่ เรียกเครื่องมือที่เกี่ยวข้อง แล้วส่งผลกลับให้โมเดลคิดต่อ วงจรขอ ทำ และรับผลนี้เรียกว่า execution loop และเป็นสิ่งที่เปลี่ยนแชตบอตที่ตอบทีละคำถามให้กลายเป็นเอเจนต์ที่ทำงานต่อเนื่องจนจบ
ภาพรวมการทำงานวนรอบของ agent harness: โมเดลขอใช้เครื่องมือ harness ตรวจสิทธิ์และเรียกเครื่องมือ แล้วส่งผลกลับให้โมเดล (ภาพจาก Nielsen Norman Group)
ลองนึกถึงผู้ช่วยตอบลูกค้าของร้านออนไลน์ เมื่อลูกค้าถามว่าของถึงไหนแล้ว โมเดลจะขอข้อมูลออร์เดอร์ harness เรียกระบบหลังบ้านและส่งผลกลับ โมเดลจึงขอเช็กเลขพัสดุต่อ แล้วค่อยตอบลูกค้า ถ้าต้องคืนเงิน harness อาจหยุดรอให้พนักงานอนุมัติก่อน พฤติกรรมทั้งหมดนี้ไม่ได้มาจากตัวโมเดล แต่มาจากการออกแบบ harness
สามส่วนที่ทำให้เอเจนต์ AI ใช้งานได้ ส่วน หน้าที่ ถ้าทำไม่ดี โมเดล AI คิดว่าจะตอบหรือจะทำอะไรต่อ ตอบผิด ใช้เหตุผลพลาด Harness ส่งข้อมูลให้โมเดล เรียกเครื่องมือ คุมสิทธิ์และเพดานการทำงาน ลืมข้อมูลสำคัญ ทำเกินสิทธิ์ หรือวนไม่จบ หน้าจอผู้ใช้ รับคำสั่ง แสดงผล ขออนุมัติ ผู้ใช้ไม่รู้ว่าระบบกำลังทำอะไร
Harness มีหน้าที่หลักอะไรบ้าง
หน้าที่แรกคือจัดข้อมูลให้โมเดล หรือ context ในแต่ละงาน harness จะรวมคำขอของผู้ใช้ คำสั่งจากทีมพัฒนา ประวัติการคุย ค่าที่ผู้ใช้เคยตั้งไว้ และเอกสารที่เกี่ยวข้อง ถ้าลูกค้าเคยบอกว่าไม่สะดวกรับของวันเสาร์ แต่ข้อมูลนี้ไม่ถูกส่งให้โมเดล ระบบก็จะเสนอวันเสาร์อีก และลูกค้าต้องบอกซ้ำ วิธีส่งข้อมูลก็มีผล ไฟล์ PDF เดียวกันอาจถูกส่งเป็นข้อความล้วนในผลิตภัณฑ์หนึ่ง และส่งเป็นภาพด้วยในอีกผลิตภัณฑ์ ผลลัพธ์จึงต่างกันแม้ใช้โมเดลเดียวกัน
หน้าที่ที่สองคือคุมเครื่องมือและสิทธิ์ การอ่านสถานะออร์เดอร์กับการคืนเงินเป็นคนละระดับความเสี่ยง แม้อยู่ในระบบเดียวกัน harness เป็นตัวกำหนดว่าโมเดลใช้เครื่องมือใดได้และต้องขออนุมัติเมื่อไร แต่การอนุมัติใน harness ไม่ได้ลบล้างสิทธิ์ของระบบปลายทาง ถ้าบัญชีที่เชื่อมอยู่อ่านได้อย่างเดียว เอเจนต์ก็แก้ข้อมูลไม่ได้ การกันหลายชั้นแบบนี้คือสิ่งที่ควรมี
หน้าที่ที่สามคือกำหนดคำสั่งและเพดาน harness จำกัดเวลา ค่าใช้จ่าย และจำนวนรอบก่อนต้องกลับมาหาผู้ใช้ เรื่องนี้สำคัญเพราะโมเดลอาจค้นซ้ำไปเรื่อย ๆ เมื่อหาคำตอบไม่เจอ คำสั่งที่บอกโมเดลว่าควรทำอย่างไรเป็นเพียงคำแนะนำที่โมเดลอาจไม่ทำตามทุกครั้ง ส่วนกฎที่ห้ามพลาดเด็ดขาดต้องบังคับด้วยโค้ดใน harness
ก่อนซื้อเครื่องมือ AI ควรถามอะไร
การรู้ว่าผลิตภัณฑ์ใช้โมเดลรุ่นไหนยังไม่บอกว่าจะทำงานของคุณได้หรือไม่ ควรลองเทียบหลายผลิตภัณฑ์ด้วยงานและข้อมูลชุดเดียวกัน แล้วถามคำถามเหล่านี้
เชื่อมกับระบบที่เราใช้จริงได้ไหม หรือพนักงานต้องคัดลอกข้อมูลเข้าแชตเอง แยกสิทธิ์อ่านกับเขียนได้ไหม และตั้งได้ไหมว่าการกระทำใดต้องให้คนอนุมัติ จำค่าที่ผู้ใช้ตั้งไว้อย่างไร และเก็บข้อมูลลูกค้าไว้ที่ไหน มีเพดานค่าใช้จ่ายและจำนวนรอบไหม เมื่อถึงเพดานแล้วระบบทำอย่างไร ดูย้อนหลังได้ไหมว่าเอเจนต์ทำอะไรไปบ้าง
ถ้าสร้างเอง ต้องออกแบบพฤติกรรมไปพร้อมหน้าจอ
ปุ่มยกเลิกบนหน้าจอเป็นเรื่องง่าย แต่ทีมต้องตัดสินด้วยว่าเมื่อกดแล้วอะไรหยุดบ้าง และงานที่ทำไปแล้วจะจัดการอย่างไร เช่นเดียวกับกล่องขออนุมัติที่ต้องมีการบังคับจริงอยู่เบื้องหลัง ไม่ใช่แค่แสดงข้อความ ทีมออกแบบกับทีมพัฒนาจึงควรคุยกันตั้งแต่ต้นว่าเครื่องมือแต่ละตัวเปิดสิทธิ์อะไรเป็นค่าเริ่มต้น
ทดสอบเอเจนต์ให้ครบทั้งงาน
คำตอบที่เขียนดีไม่ได้พิสูจน์ว่าระบบเช็กข้อมูลถูกหรือรออนุมัติจริง การทดสอบจึงควรทำทั้งงานด้วยข้อมูล เครื่องมือ และสิทธิ์ที่ใกล้เคียงของจริง รวมถึงกรณีที่ผิดปกติ เช่น ระบบปลายทางล่ม ลูกค้าเปลี่ยนใจกลางคัน หรือไม่มีคำตอบที่ถูกต้อง ควรบันทึกทั้งผลลัพธ์และแรงที่คนต้องใช้ตรวจแก้ เมื่อเกิดความผิดพลาด ให้แยกให้ได้ว่าปัญหาอยู่ที่หน้าจอ harness หรือโมเดล เพราะวิธีแก้ต่างกันทั้งหมด
สำหรับธุรกิจไทยที่เริ่มนำเอเจนต์มาใช้ จุดเริ่มต้นที่ปลอดภัยคืองานอ่านข้อมูลอย่างเดียว แล้วค่อยเพิ่มงานที่แก้ข้อมูลโดยมีคนอนุมัติ และออกแบบให้ข้อมูลลูกค้าเป็นไปตาม PDPA ตั้งแต่ต้น อ่านเรื่องการจัดบทบาทและบริบทให้เอเจนต์ AI ประกอบได้ ทีมงาน Smart Cyber Tech พัฒนาระบบเฉพาะองค์กรที่มี AI ช่วยงาน โดยให้ข้อมูลสำคัญอยู่ในระบบของคุณ และบอกตรง ๆ ว่างานไหนไม่จำเป็นต้องใช้ AI ปรึกษาได้ที่ แบบฟอร์มติดต่อ
สรุปสาระสำคัญ Agent harness คืออะไร Harness มีหน้าที่หลักอะไรบ้าง ก่อนซื้อเครื่องมือ AI ควรถามอะไร
แหล่งอ้างอิง เรียบเรียงจาก Nielsen Norman Group (NN/g) —
อ่านบทความต้นฉบับ ภาพปกและแผนภาพ: Nielsen Norman Group (NN/g) · ลิขสิทธิ์ภาพเป็นของเจ้าของต้นฉบับ ใช้ประกอบการรายงานพร้อมอ้างอิงแหล่งที่มา
มีคำถามเพิ่มเติมเกี่ยวกับบทความนี้? เขียนหาเราได้ที่
info@smart-cyber-tech.com
บริการที่เกี่ยวข้องจากทีมงาน Smart Cyber Tech
แบ่งปันบทความนี้:
LINE
Facebook
X
คัดลอกลิงก์
ปรึกษาทีมของเรา