อ่านประมาณ 9 นาที
ระดับกลาง
หมวด: ข้อมูลและ AI
อ้างอิง: GitHub Blog — How to evaluate LLMs before production
โมเดลภาษาที่ได้คะแนนเบนช์มาร์กสูงอาจพังกับงานจริงของลูกค้า ทีมที่ตัดสินใจจากตัวเลขบนตารางจัดอันดับจึงมักเจอปัญหาหลังปล่อยใช้งาน บทความนี้สรุปวิธีประเมินที่ทีม GitHub ใช้ตอนนำโมเดลภาษามาช่วยกรองการแจ้งเตือนผิดในระบบสแกนความลับ ตั้งแต่ตั้งเป้า เตรียมข้อมูล ทดลองอย่างเป็นระบบ ไปจนถึงคำถามที่ต้องตอบได้ก่อนขึ้นระบบจริง
คะแนนสวยบนเบนช์มาร์ก กับข้อมูลจริงที่ยุ่งเหยิง
เบนช์มาร์กมีประโยชน์ช่วงทำต้นแบบ ใช้เทียบโมเดล ลองพรอมป์แรก และดูว่าไอเดียเป็นไปได้หรือไม่ แต่ข้อมูลในระบบจริงมีทั้งข้อความกำกวม ป้ายกำกับที่ไม่ตรงกัน บริบทที่ถูกตัดทอน และกรณีแปลก ๆ ที่เบนช์มาร์กแทบไม่มี ตัวเลขออฟไลน์ที่ดีขึ้นจึงไม่ได้รับประกันพฤติกรรมบนระบบจริง
กรณีศึกษาของต้นฉบับคือ secret scanning ของ GitHub ซึ่งตรวจหาโทเค็นและคีย์ที่หลุดเข้าไปในโค้ด สตริงหลายตัวหน้าตาเหมือนความลับแต่ไม่ใช่ นักพัฒนาจึงเสียเวลาไล่ดูการแจ้งเตือนที่ไม่ต้องแก้ โจทย์คือให้โมเดลช่วยลดผลบวกลวง (แจ้งเตือนทั้งที่ไม่ใช่ของจริง) โดยไม่ทำให้ recall หรือสัดส่วนของจริงที่ระบบจับได้ ลดลงจนไม่ปลอดภัย
ตั้งคำถามเชิงธุรกิจก่อนเลือกโมเดล
เมื่อระบบทำงานไม่ดี ทีมมักรีบแก้พรอมป์ เติมบริบท หรือเปลี่ยนโมเดล ทั้งที่ยังไม่ได้ตกลงว่าการประเมินนี้ใช้ตัดสินเรื่องอะไร ในงานความปลอดภัย การกรองความลับของจริงทิ้งไปหนึ่งรายการร้ายแรงกว่าการให้นักพัฒนาดูการแจ้งเตือนเพิ่มอีกหนึ่งรายการ ความผิดพลาดสองแบบจึงมีน้ำหนักไม่เท่ากัน
ทีม GitHub จัดตัวชี้วัดเป็นสามชั้น ชั้นแรกคือสิ่งที่อยากให้ดีขึ้น คือการลดผลบวกลวงและเพิ่ม precision ชั้นที่สองคือเส้นที่ห้ามข้าม คือ recall ลดได้ไม่เกินช่วงที่กำหนดไว้ล่วงหน้า และชั้นที่สามคือความพร้อมใช้งาน ได้แก่ ความหน่วง ต้นทุน ความเสถียร และความเข้ากันได้กับระบบเดิม ผลทดลองที่ precision พุ่งแต่ recall หลุดเส้นจึงถูกหยุด ขณะที่ผลที่ดีขึ้นพอประมาณแต่อยู่ในเส้นได้ไปต่อ
แผนภาพวงจรการประเมินโมเดลจากบทความต้นฉบับ
ชุดข้อมูลประเมินต้องหน้าตาเหมือนงานจริง
ในงานจริง โมเดลไม่ได้เห็นค่าเดี่ยว ๆ แต่เห็นค่าที่ต้องตัดสินพร้อมโค้ดรอบข้าง ข้อมูลประกอบ และรูปแบบการจัดข้อมูลของระบบ ต้นฉบับยกตัวอย่างโค้ดที่มีตัวแปรหลายตัว แล้วโมเดลไปวิเคราะห์ตัวแปรที่ชื่อฟังดูเกี่ยวกับความปลอดภัยแทนค่าที่ถูกถามจริง พร้อมคำอธิบายที่ฟังดูมีเหตุผล ความผิดพลาดแบบนี้จะไม่โผล่เลยถ้าชุดทดสอบมีแค่ค่าเดียวที่ชัดเจน
ป้ายกำกับจากระบบจริงต้องใช้อย่างระวัง การที่นักพัฒนาปิดการแจ้งเตือนอาจแปลว่าเปลี่ยนคีย์ไปแล้ว ปิดเพื่อให้งานเดินต่อ หรือการแจ้งเตือนผิดจริงก็ได้ จึงต้องถามว่าป้ายเกิดขึ้นอย่างไรและตรงกับคำถามหรือไม่ และให้คนตรวจซ้ำในกลุ่มที่สำคัญ ส่วนข้อมูลสังเคราะห์และชุดข้อมูลเปิดใช้เติมกรณีที่หายาก เช่น ค่าตัวอย่างในเอกสาร โค้ดทดสอบ การอ้างอิงทางอ้อม หรือบริบทที่ขาด แต่ใช้เสริม ไม่ใช่ใช้แทนข้อมูลที่ใกล้ของจริง
ให้การประเมินทำงานเหมือนชุดทดสอบอัตโนมัติ
ระบบที่ใช้โมเดลภาษาเปลี่ยนตลอด ทั้งพรอมป์ รุ่นโมเดล วิธีประกอบอินพุต และตรรกะรอบ ๆ ทีม GitHub จึงรันการประเมินออฟไลน์ซ้ำทุกครั้งที่มีการเปลี่ยนแปลงสำคัญ เหมือน integration test ที่ตรวจระบบทั้งเส้น บันทึกพรอมป์ โมเดล เวอร์ชันชุดข้อมูล และค่าตั้งค่าของทุกรอบ เปลี่ยนตัวแปรใหญ่ทีละตัวแล้วเทียบกับผลอ้างอิงเดิม และเก็บพรอมป์ไว้ในระบบเวอร์ชันเหมือนโค้ดเพื่อย้อนกลับได้
ต้นฉบับยังแนะนำให้ลองโมเดลรุ่นใหม่เป็นประจำ เพราะบางครั้งพรอมป์ยาวเหยียดมีไว้ชดเชยข้อจำกัดของโมเดลรุ่นเก่า โมเดลที่เก่งขึ้นอาจทำได้ดีกว่าด้วยพรอมป์ที่สั้นและดูแลง่ายกว่า แต่ต้องตรวจด้วยว่าไม่ถดถอยในบางหมวด และไม่เปลี่ยนต้นทุน ความหน่วง หรือรูปแบบผลลัพธ์จนระบบเดิมพัง
แผนภาพกรวยคัดกรองงานที่ส่งให้คนตรวจ จากบทความต้นฉบับ
อ่านความผิดพลาดทีละเคส แล้วให้โมเดลช่วยคัด
ค่าเฉลี่ยบอกว่าระบบดีขึ้นหรือไม่ แต่ไม่บอกว่าควรแก้อะไรต่อ ทีม GitHub สุ่มเคสที่ผิดทั้งสองทางมาจัดกลุ่มตามต้นเหตุ ว่ามาจากโมเดล พรอมป์ อินพุต ไปป์ไลน์ ชุดข้อมูล หรือป้ายกำกับ แต่ละกลุ่มชี้ทางแก้ต่างกัน เช่น วิเคราะห์ผิดค่าให้แก้การจัดอินพุต ขาดหลักฐานให้แก้การประกอบบริบท ป้ายผิดให้ทำความสะอาดข้อมูล
เมื่อเคสมากเกินกว่าคนจะตรวจหมด ใช้ LLM-as-judge หรือให้โมเดลอีกตัวช่วยตรวจได้ แต่ต้องถือว่าผลของมันเป็นแค่การทำนายอีกชุด ไม่ใช่คำตอบที่ถูก ใช้มันคัดแยกงาน คือปล่อยเคสชัดเจนและเสี่ยงต่ำผ่านไป ส่งเคสที่มันไม่มั่นใจ ขัดแย้งกัน หรือผลกระทบสูงให้คน สุ่มตรวจเคสที่มันมั่นใจเป็นระยะ ติดตามว่าความเห็นของมัน ระบบ และคนขัดกันตรงไหน และกำหนดเวอร์ชันพรอมป์ของมันเหมือนส่วนอื่น
ผลที่ได้และขอบเขตของมัน
บนชุดข้อมูลออฟไลน์ที่ใช้ประเมิน ทีม GitHub ลดผลบวกลวงได้ 95% โดย recall ยังอยู่ในเส้นที่กำหนด ผู้เขียนต้นฉบับย้ำว่าผลนี้ไม่ได้พิสูจน์พฤติกรรมในทุกสถานการณ์จริง แต่ให้หลักฐานมากพอจะขยับไปทดลองกับระบบจริงแบบควบคุม โดยรู้ล่วงหน้าว่าเสี่ยงตรงไหน
คำถามที่ทีมควรตอบได้ก่อนปล่อยใช้งาน
สรุปเป็นสามด้าน ด้านเป้าหมาย ต้องเขียนได้ว่าการตัดสินใจคืออะไร วัดความสำเร็จด้วยอะไร และเส้นห้ามข้ามคืออะไร ด้านข้อมูลและการทดลอง ชุดประเมินต้องใกล้งานจริง มีเคสยาก รู้ที่มาของป้าย บันทึกเวอร์ชันครบ และแยกทดสอบการเปลี่ยนแปลงใหญ่ ด้านความพร้อม ต้องจัดหมวดความผิดพลาดตามต้นเหตุแล้ว รันซ้ำได้ และอธิบายได้ว่าผลออฟไลน์อาจต่างจากระบบจริงตรงไหน
สำหรับทีมไทยที่เริ่มใช้โมเดลภาษาในงานลูกค้า ทีมงานแนะนำให้เก็บตัวอย่างจากงานจริงสัก 100-200 เคสเป็นชุดประเมินประจำโปรเจกต์ตั้งแต่วันแรก แล้วรันซ้ำทุกครั้งที่เปลี่ยนพรอมป์หรือรุ่นโมเดล จะได้ตอบลูกค้าด้วยตัวเลขว่าระบบดีขึ้นหรือแย่ลง แทนความรู้สึกจากการลองใช้ไม่กี่ครั้ง
ทีมงาน Smart Cyber Tech ให้คำปรึกษาการนำ AI มาใช้ในองค์กร ตั้งแต่กำหนดตัวชี้วัด สร้างชุดข้อมูลประเมินจากงานจริง ไปจนถึงวางขั้นตอนทดสอบก่อนปล่อยระบบให้ลูกค้าใช้ ปรึกษาได้ที่ แบบฟอร์มติดต่อ
สรุปสาระสำคัญ คะแนนสวยบนเบนช์มาร์ก กับข้อมูลจริงที่ยุ่งเหยิง ตั้งคำถามเชิงธุรกิจก่อนเลือกโมเดล ชุดข้อมูลประเมินต้องหน้าตาเหมือนงานจริง
แหล่งอ้างอิง เรียบเรียงจาก GitHub Blog — How to evaluate LLMs before production —
อ่านบทความต้นฉบับ ภาพปกและแผนภาพ: GitHub Blog · ลิขสิทธิ์ภาพเป็นของเจ้าของต้นฉบับ ใช้ประกอบการรายงานพร้อมอ้างอิงแหล่งที่มา
มีคำถามเพิ่มเติมเกี่ยวกับบทความนี้? เขียนหาเราได้ที่
info@smart-cyber-tech.com
บริการที่เกี่ยวข้องจากทีมงาน Smart Cyber Tech
แบ่งปันบทความนี้:
LINE
Facebook
X
คัดลอกลิงก์
ปรึกษาทีมของเรา