อ่านประมาณ 9 นาที
ระดับกลาง
หมวด: DevOps
อ้างอิง: GitHub Blog — How we make AI coding more cost efficient without sacrificing task quality
ค่าใช้จ่ายของเอเจนต์ AI ช่วยเขียนโค้ดลดลงเมื่อเอเจนต์ไม่ต้องทำงานซ้ำ ไม่ใช่เมื่อคำตอบแต่ละครั้งสั้นลง ทีม GitHub Copilot ปรับระบบสี่จุดแล้ววัดผลกับผู้ใช้จริง บทความนี้สรุปว่าแต่ละจุดประหยัดได้เพราะอะไร จุดไหนเกือบทำให้งานเสีย และควรวัดต้นทุนอย่างไรให้ไม่หลอกตัวเอง
ต้นทุนของเอเจนต์เกิดขึ้นตรงไหน
เอเจนต์ช่วยเขียนโค้ดทำงานเป็นรอบ แต่ละรอบระบบส่งคำสั่งกำกับ ประวัติงาน และผลจากเครื่องมือ เช่น ข้อความจากเทอร์มินัลหรือเนื้อหาไฟล์ ให้โมเดลประมวลผล คิดเงินตามโทเคนซึ่งเป็นหน่วยย่อยของข้อความ ส่วนโปรแกรมที่คอยจัดรอบและเรียกเครื่องมือเรียกว่า harness ข้อความที่ใส่ไปจะถูกแบกต่อทุกรอบ ต้นทุนจึงขึ้นกับจำนวนรอบของงานทั้งชิ้น ทีม GitHub เคยลอง RTK เครื่องมือตัดผลลัพธ์เชลล์ให้สั้นลง ผลรายครั้งสั้นลงจริง แต่เมื่อส่วนที่ถูกตัดเป็นข้อมูลสำคัญ โมเดลต้องเปิดผลเต็มหรือรันคำสั่งซ้ำ เฉลี่ยแล้วงานใช้โทเคนมากขึ้นและช้าลง ต้นฉบับย้ำว่าผลนี้จำกัดอยู่กับการตั้งค่าที่ทดสอบ แต่หลักที่ได้คือต้องวัดที่งานทั้งชิ้น ไม่ใช่ที่การเรียกเครื่องมือครั้งเดียว
สี่จุดที่ปรับ เรียงจากเสี่ยงน้อยไปเสี่ยงมาก
สิ่งที่ปรับ สิ่งที่อาจเสียไป ต้นทุนที่ลดลง เลิกเติมเลขบรรทัดตอนเปิดอ่านไฟล์ ไม่มี ราว 3.1% ส่งผลงานเบื้องหลังไปพร้อมการแจ้งเตือน ไม่มี ราว 2.3% ย่อเฉพาะ log ที่ซ้ำซาก รายละเอียดบางส่วน (เรียกคืนได้) ราว 5.5% ย่อคำสั่งกำกับของเครื่องมือแตกงานย่อย พฤติกรรมที่ตั้งใจไว้ ราว 2.9%
ตัวเลขมาจากการทดลอง A/B กับผู้ใช้แยกกันทีละรายการ ต้นฉบับระบุว่าผลไม่จำเป็นต้องบวกรวมกันได้ตรง ๆ
สองจุดที่ไม่ต้องแลกอะไรเลย
จุดแรก เครื่องมือเปิดไฟล์เคยใส่เลขบรรทัดหน้าทุกบรรทัดไว้ให้เครื่องมือแก้ไฟล์รุ่นก่อน แต่รุ่นปัจจุบันหาจุดแก้จากโค้ดรอบข้างแทน เลขจึงเป็นภาระสะสมเปล่า ๆ ถอดออกแล้วชุดทดสอบออฟไลน์ลดต้นทุนได้ราว 5% และผู้ใช้ Copilot CLI ลดราว 3% ต่อคนต่อวัน โดยอัตราสำเร็จไม่ตก จุดที่สองอยู่ที่ harness เดิมเมื่องานเบื้องหลังเสร็จ ระบบปลุกโมเดลโดยไม่แนบผล โมเดลต้องเสียอีกรอบไปขอ สองงานจึงกินสี่รอบ ตอนนี้ระบบรวบงานที่เสร็จใกล้กันแล้วส่งผลไปเลย รอบเดียวจัดการได้ครบ
สองจุดที่ต้องมีเทสต์คุม
การย่อ log ลงมือเฉพาะข้อความจากขั้นติดตั้ง บิลด์ เทสต์ และ lint เมื่อประหยัดได้มากพอ ผลค้นหาอย่าง grep ถูกจัดกลุ่มแต่ไม่ทิ้งผลใด ส่วนผลที่เป็นซอร์สโค้ดอย่าง cat หรือ git diff ไม่แตะเลย และเก็บฉบับเต็มไว้ให้เรียกคืนเสมอ กฎนี้มาจากรุ่นแรกที่ย่อแรงเกิน เช่น เคยย่อ git diff แล้วเอเจนต์ต้องเปิดฉบับเต็มบ่อยจนต้องเลิก
แผนภาพนโยบายบีบอัดผลลัพธ์แยกตามชนิดข้อมูล จากบทความต้นฉบับ
ส่วนพรอมป์ของเครื่องมือ task ที่แตกงานให้เอเจนต์ย่อยทำพร้อมกัน ทีมให้ Copilot เขียนใหม่วนหลายรอบจนเหลือราวครึ่งเดียว ประหยัดราว 1,300 โทเคนต่อรอบ แต่ตอนทดลองกับผู้ใช้พบว่าฉบับย่อเปลี่ยนคำแนะนำแบบยืดหยุ่นให้เป็นกฎตายตัว เอเจนต์ย่อยที่ไม่ขึ้นต่อกันเลยรันทีละตัว ทีมหยุดการทดลอง เขียนเทสต์จับพฤติกรรมนี้ก่อน แล้วแก้ด้วยประโยคสั้นเดียวที่ปล่อยให้โมเดลตัดสินเองว่าจะรันพร้อมกันหรือไม่ พฤติกรรมที่ไม่มีเทสต์จึงหายได้เงียบ ๆ ทุกครั้งที่แก้พรอมป์
แผนภาพผลของการย่อพรอมป์และการทดสอบพฤติกรรม จากบทความต้นฉบับ
วัดอย่างไรให้ตัวเลขเชื่อได้
ทุกการเปลี่ยนแปลงผ่านชุดทดสอบออฟไลน์ก่อน แล้วจึงทดลองแบบควบคุมกับผู้ใช้ โดยดูอัตราสำเร็จและความพึงพอใจคู่กับต้นทุน การย่อผลลัพธ์ยังมีสัญญาณเฉพาะ คือนับว่าเอเจนต์ต้องเปิดฉบับเต็มหรือรันซ้ำบ่อยแค่ไหน และต้องวัดแยกตามผลิตภัณฑ์ เพราะคำสั่งกำกับเครื่องมือไฟล์ที่ได้ผลกับ Copilot code review กลับทำให้ Copilot CLI แพงขึ้นจึงไม่ถูกปล่อย
สำหรับทีมไทยที่บิลค่า AI ขยับทุกเดือน จุดเริ่มคือเปลี่ยนตัวชี้วัดเป็นต้นทุนต่องานที่สำเร็จ ย่อเฉพาะข้อความที่เป็นเสียงรบกวนและเก็บต้นฉบับไว้เสมอ ย้ายขั้นตอนที่โปรแกรมทำเองได้ออกจากโมเดล และมีเทสต์ก่อนแก้พรอมป์ ผู้เขียนต้นฉบับมองว่างานทั้งหมดนี้ไม่ได้ทำให้โมเดลฉลาดขึ้น แต่ตัดงานที่ไม่จำเป็นออก ซึ่งควรทำก่อนคิดเปลี่ยนรุ่นโมเดล
ทีมงาน Smart Cyber Tech ช่วยองค์กรไทยวางขั้นตอนพัฒนาที่ใช้เอเจนต์ AI ร่วมกับ CI/CD ให้วัดต้นทุนและคุณภาพได้จริง ดูรายละเอียด บริการ DevOps และระบบอัตโนมัติ หรือปรึกษาได้ที่ แบบฟอร์มติดต่อ
สรุปสาระสำคัญ ต้นทุนของเอเจนต์เกิดขึ้นตรงไหน สี่จุดที่ปรับ เรียงจากเสี่ยงน้อยไปเสี่ยงมาก สองจุดที่ไม่ต้องแลกอะไรเลย
แหล่งอ้างอิง เรียบเรียงจาก GitHub Blog — How we make AI coding more cost efficient without sacrificing task quality —
อ่านบทความต้นฉบับ ภาพปกและแผนภาพ: GitHub Blog · ลิขสิทธิ์ภาพเป็นของเจ้าของต้นฉบับ ใช้ประกอบการรายงานพร้อมอ้างอิงแหล่งที่มา
มีคำถามเพิ่มเติมเกี่ยวกับบทความนี้? เขียนหาเราได้ที่
info@smart-cyber-tech.com
บริการที่เกี่ยวข้องจากทีมงาน Smart Cyber Tech
แบ่งปันบทความนี้:
LINE
Facebook
X
คัดลอกลิงก์
ปรึกษาทีมของเรา