SCT

กำลังเตรียมประสบการณ์ดิจิทัล

ลดค่าใช้จ่ายของเอเจนต์ AI ช่วยเขียนโค้ดโดยไม่ลดคุณภาพงาน: สี่การทดลองที่วัดผลได้จริง

ค่าใช้จ่ายของเอเจนต์ AI ช่วยเขียนโค้ดลดลงเมื่อเอเจนต์ไม่ต้องทำงานซ้ำ ไม่ใช่เมื่อคำตอบแต่ละครั้งสั้นลง ทีม GitHub Copilot ปรับระบบสี่จุดแล้ววัดผลกับผู้ใช้จริง บทความนี้สรุปว่าแต่ละจุดประหยัดได้เพราะอะไร จุดไหนเกือบทำให้งานเสีย และควรวัดต้นทุนอย่างไรให้ไม่หลอกตัวเอง

ค่าใช้จ่ายของเอเจนต์ AI ช่วยเขียนโค้ดลดลงเมื่อเอเจนต์ไม่ต้องทำงานซ้ำ ไม่ใช่เมื่อคำตอบแต่ละครั้งสั้นลง ทีม GitHub Copilot ปรับระบบสี่จุดแล้ววัดผลกับผู้ใช้จริง บทความนี้สรุปว่าแต่ละจุดประหยัดได้เพราะอะไร จุดไหนเกือบทำให้งานเสีย และควรวัดต้นทุนอย่างไรให้ไม่หลอกตัวเอง

ต้นทุนของเอเจนต์เกิดขึ้นตรงไหน

เอเจนต์ช่วยเขียนโค้ดทำงานเป็นรอบ แต่ละรอบระบบส่งคำสั่งกำกับ ประวัติงาน และผลจากเครื่องมือ เช่น ข้อความจากเทอร์มินัลหรือเนื้อหาไฟล์ ให้โมเดลประมวลผล คิดเงินตามโทเคนซึ่งเป็นหน่วยย่อยของข้อความ ส่วนโปรแกรมที่คอยจัดรอบและเรียกเครื่องมือเรียกว่า harness ข้อความที่ใส่ไปจะถูกแบกต่อทุกรอบ ต้นทุนจึงขึ้นกับจำนวนรอบของงานทั้งชิ้น ทีม GitHub เคยลอง RTK เครื่องมือตัดผลลัพธ์เชลล์ให้สั้นลง ผลรายครั้งสั้นลงจริง แต่เมื่อส่วนที่ถูกตัดเป็นข้อมูลสำคัญ โมเดลต้องเปิดผลเต็มหรือรันคำสั่งซ้ำ เฉลี่ยแล้วงานใช้โทเคนมากขึ้นและช้าลง ต้นฉบับย้ำว่าผลนี้จำกัดอยู่กับการตั้งค่าที่ทดสอบ แต่หลักที่ได้คือต้องวัดที่งานทั้งชิ้น ไม่ใช่ที่การเรียกเครื่องมือครั้งเดียว

สี่จุดที่ปรับ เรียงจากเสี่ยงน้อยไปเสี่ยงมาก

สิ่งที่ปรับสิ่งที่อาจเสียไปต้นทุนที่ลดลง
เลิกเติมเลขบรรทัดตอนเปิดอ่านไฟล์ไม่มีราว 3.1%
ส่งผลงานเบื้องหลังไปพร้อมการแจ้งเตือนไม่มีราว 2.3%
ย่อเฉพาะ log ที่ซ้ำซากรายละเอียดบางส่วน (เรียกคืนได้)ราว 5.5%
ย่อคำสั่งกำกับของเครื่องมือแตกงานย่อยพฤติกรรมที่ตั้งใจไว้ราว 2.9%

ตัวเลขมาจากการทดลอง A/B กับผู้ใช้แยกกันทีละรายการ ต้นฉบับระบุว่าผลไม่จำเป็นต้องบวกรวมกันได้ตรง ๆ

สองจุดที่ไม่ต้องแลกอะไรเลย

จุดแรก เครื่องมือเปิดไฟล์เคยใส่เลขบรรทัดหน้าทุกบรรทัดไว้ให้เครื่องมือแก้ไฟล์รุ่นก่อน แต่รุ่นปัจจุบันหาจุดแก้จากโค้ดรอบข้างแทน เลขจึงเป็นภาระสะสมเปล่า ๆ ถอดออกแล้วชุดทดสอบออฟไลน์ลดต้นทุนได้ราว 5% และผู้ใช้ Copilot CLI ลดราว 3% ต่อคนต่อวัน โดยอัตราสำเร็จไม่ตก จุดที่สองอยู่ที่ harness เดิมเมื่องานเบื้องหลังเสร็จ ระบบปลุกโมเดลโดยไม่แนบผล โมเดลต้องเสียอีกรอบไปขอ สองงานจึงกินสี่รอบ ตอนนี้ระบบรวบงานที่เสร็จใกล้กันแล้วส่งผลไปเลย รอบเดียวจัดการได้ครบ

สองจุดที่ต้องมีเทสต์คุม

การย่อ log ลงมือเฉพาะข้อความจากขั้นติดตั้ง บิลด์ เทสต์ และ lint เมื่อประหยัดได้มากพอ ผลค้นหาอย่าง grep ถูกจัดกลุ่มแต่ไม่ทิ้งผลใด ส่วนผลที่เป็นซอร์สโค้ดอย่าง cat หรือ git diff ไม่แตะเลย และเก็บฉบับเต็มไว้ให้เรียกคืนเสมอ กฎนี้มาจากรุ่นแรกที่ย่อแรงเกิน เช่น เคยย่อ git diff แล้วเอเจนต์ต้องเปิดฉบับเต็มบ่อยจนต้องเลิก

แผนภาพนโยบายบีบอัดผลลัพธ์แยกตามชนิดข้อมูล จากบทความต้นฉบับ
แผนภาพนโยบายบีบอัดผลลัพธ์แยกตามชนิดข้อมูล จากบทความต้นฉบับ

ส่วนพรอมป์ของเครื่องมือ task ที่แตกงานให้เอเจนต์ย่อยทำพร้อมกัน ทีมให้ Copilot เขียนใหม่วนหลายรอบจนเหลือราวครึ่งเดียว ประหยัดราว 1,300 โทเคนต่อรอบ แต่ตอนทดลองกับผู้ใช้พบว่าฉบับย่อเปลี่ยนคำแนะนำแบบยืดหยุ่นให้เป็นกฎตายตัว เอเจนต์ย่อยที่ไม่ขึ้นต่อกันเลยรันทีละตัว ทีมหยุดการทดลอง เขียนเทสต์จับพฤติกรรมนี้ก่อน แล้วแก้ด้วยประโยคสั้นเดียวที่ปล่อยให้โมเดลตัดสินเองว่าจะรันพร้อมกันหรือไม่ พฤติกรรมที่ไม่มีเทสต์จึงหายได้เงียบ ๆ ทุกครั้งที่แก้พรอมป์

แผนภาพผลของการย่อพรอมป์และการทดสอบพฤติกรรม จากบทความต้นฉบับ
แผนภาพผลของการย่อพรอมป์และการทดสอบพฤติกรรม จากบทความต้นฉบับ

วัดอย่างไรให้ตัวเลขเชื่อได้

ทุกการเปลี่ยนแปลงผ่านชุดทดสอบออฟไลน์ก่อน แล้วจึงทดลองแบบควบคุมกับผู้ใช้ โดยดูอัตราสำเร็จและความพึงพอใจคู่กับต้นทุน การย่อผลลัพธ์ยังมีสัญญาณเฉพาะ คือนับว่าเอเจนต์ต้องเปิดฉบับเต็มหรือรันซ้ำบ่อยแค่ไหน และต้องวัดแยกตามผลิตภัณฑ์ เพราะคำสั่งกำกับเครื่องมือไฟล์ที่ได้ผลกับ Copilot code review กลับทำให้ Copilot CLI แพงขึ้นจึงไม่ถูกปล่อย

สำหรับทีมไทยที่บิลค่า AI ขยับทุกเดือน จุดเริ่มคือเปลี่ยนตัวชี้วัดเป็นต้นทุนต่องานที่สำเร็จ ย่อเฉพาะข้อความที่เป็นเสียงรบกวนและเก็บต้นฉบับไว้เสมอ ย้ายขั้นตอนที่โปรแกรมทำเองได้ออกจากโมเดล และมีเทสต์ก่อนแก้พรอมป์ ผู้เขียนต้นฉบับมองว่างานทั้งหมดนี้ไม่ได้ทำให้โมเดลฉลาดขึ้น แต่ตัดงานที่ไม่จำเป็นออก ซึ่งควรทำก่อนคิดเปลี่ยนรุ่นโมเดล

ทีมงาน Smart Cyber Tech ช่วยองค์กรไทยวางขั้นตอนพัฒนาที่ใช้เอเจนต์ AI ร่วมกับ CI/CD ให้วัดต้นทุนและคุณภาพได้จริง ดูรายละเอียด บริการ DevOps และระบบอัตโนมัติ หรือปรึกษาได้ที่ แบบฟอร์มติดต่อ

สรุปสาระสำคัญ

  • ต้นทุนของเอเจนต์เกิดขึ้นตรงไหน
  • สี่จุดที่ปรับ เรียงจากเสี่ยงน้อยไปเสี่ยงมาก
  • สองจุดที่ไม่ต้องแลกอะไรเลย
แหล่งอ้างอิงเรียบเรียงจาก GitHub Blog — How we make AI coding more cost efficient without sacrificing task quality — อ่านบทความต้นฉบับ
ภาพปกและแผนภาพ: GitHub Blog · ลิขสิทธิ์ภาพเป็นของเจ้าของต้นฉบับ ใช้ประกอบการรายงานพร้อมอ้างอิงแหล่งที่มา
มีคำถามเพิ่มเติมเกี่ยวกับบทความนี้? เขียนหาเราได้ที่ info@smart-cyber-tech.com
บริการที่เกี่ยวข้องจากทีมงาน Smart Cyber Tech

บทความอื่นที่เกี่ยวข้อง

บทความที่เกี่ยวข้อง

ประเมินโมเดลภาษาก่อนขึ้นระบบจริง: ทำไมคะแนนเบนช์มาร์กดีถึงไม่ได้แปลว่าใช้งานได้ ข้อมูลและ AI

ประเมินโมเดลภาษาก่อนขึ้นระบบจริง: ทำไมคะแนนเบนช์มาร์กดีถึงไม่ได้แปลว่าใช้งานได้

โมเดลภาษาที่ได้คะแนนเบนช์มาร์กสูงอาจพังกับงานจริงของลูกค้า ทีมที่ตัดสินใจจากตัวเลขบนตารางจัดอันดับจึงมักเจอปัญหาหลังปล่อยใช้งาน บทความนี้สรุปวิธีประเมินที่ทีม GitHub ใช้ตอนนำโมเดลภาษามาช่วยกรองการแจ้งเตือนผิดในระบบสแกนความลับ ตั้งแต่ตั้งเป้า เตรียมข้อมูล ทดลองอย่างเป็นระบบ ไปจนถึงคำถามที่ต้องตอบได้ก่อนขึ้นระบบจริง

อ่านบทความ
ทำให้งานของ AI agent มองเห็นและควบคุมได้ ด้วยแนวคิด canvas แทนการคุยในแชตยาว DevOps

ทำให้งานของ AI agent มองเห็นและควบคุมได้ ด้วยแนวคิด canvas แทนการคุยในแชตยาว

ทีมที่ให้ AI agent ทำงานหลายขั้นตอนเริ่มเสียเวลากับคำถามเดิม ๆ ว่างานถึงไหนแล้ว ใครอนุมัติอะไรไป และตรงไหนยังรอคน เพราะทุกอย่างจมอยู่ในแชตยาว GitHub Copilot app เสนอทางออกชื่อ canvas คือพื้นที่ทำงานร่วมที่คงอยู่และตรวจสอบได้ บทความนี้สรุปแนวคิด ต้นทุนที่ต้องลงก่อน และวิธีเริ่มกับงานที่ทีมทำซ้ำอยู่แล้ว

อ่านบทความ
ให้ระบบช่วยคัดกรอง pull request อัปเดต dependency แล้วเก็บเวลาไว้ตัดสินใจเรื่องที่ยากกว่า DevOps

ให้ระบบช่วยคัดกรอง pull request อัปเดต dependency แล้วเก็บเวลาไว้ตัดสินใจเรื่องที่ยากกว่า

ทีมส่วนใหญ่มี pull request อัปเดต dependency ค้างอยู่เป็นสิบ เพราะการไล่ดูทีละรายการกินเวลาแต่ไม่ต้องใช้ความเชี่ยวชาญ บทความนี้สรุปวิธีให้ระบบอัตโนมัติคัดกรองให้ก่อน แล้วส่งเฉพาะเรื่องที่ต้องใช้วิจารณญาณมาให้คนดู

อ่านบทความ

ติดต่อเพื่อขอรับคำปรึกษาจากทีมงาน

ตั้งแต่ประเมินระบบปัจจุบัน วางแผน จนถึงลงมือพัฒนา — คุยกับเราได้โดยไม่มีค่าใช้จ่าย

ปรึกษาทีมของเรา