SCT

กำลังเตรียมประสบการณ์ดิจิทัล

ทำ AI evaluation ให้ทำซ้ำได้ด้วย Docker Sandboxes: บันทึกว่าอะไรรันจริง ไม่ใช่แค่ตั้งใจจะรันอะไร

ถ้าผลประเมินโมเดลหรือเอเจนต์ AI ของทีมรันบนเครื่องอื่นแล้วได้ไม่เหมือนเดิม ตัวเลขนั้นก็ใช้ตัดสินใจไม่ได้ ต่อให้เลือกเกณฑ์วัดมาดีแค่ไหน บทความนี้ถอดแนวคิดจากโปรเจกต์โอเพนซอร์สของ Docker Captain ที่ใช้ Docker Sandboxes เป็นที่รันงานประเมิน แยกนิยามของงานออกจากที่รัน และเก็บบันทึกการรันที่ตรวจย้อนได้ พร้อมวิธีที่ทีม DevOps ไทยหยิบไปใช้กับงานอื่นนอกเหนือจาก AI

ถ้าผลประเมินโมเดลหรือเอเจนต์ AI ของทีมรันบนเครื่องอื่นแล้วได้ไม่เหมือนเดิม ตัวเลขนั้นก็ใช้ตัดสินใจไม่ได้ ต่อให้เลือกเกณฑ์วัดมาดีแค่ไหน บทความนี้ถอดแนวคิดจากโปรเจกต์โอเพนซอร์สของ Docker Captain ที่ใช้ Docker Sandboxes เป็นที่รันงานประเมิน แยกนิยามของงานออกจากที่รัน และเก็บบันทึกการรันที่ตรวจย้อนได้ พร้อมวิธีที่ทีม DevOps ไทยหยิบไปใช้กับงานอื่นนอกเหนือจาก AI

ตัวเลขที่ไม่มีใครรันซ้ำได้ ยังไม่ใช่หลักฐาน

สถานการณ์ที่พบบ่อยคือ นักพัฒนาคนหนึ่งเปลี่ยน prompt แล้วคะแนนดีขึ้นบนเครื่องตัวเอง แต่อีกสองสัปดาห์เพื่อนร่วมทีมรันสคริปต์เดิมแล้วได้ผลอีกแบบ ต้นเหตุมักอยู่ที่สภาพแวดล้อม เช่น แพ็กเกจ Python ถูกอัปเดต เครื่องมือบนสองเครื่องคนละเวอร์ชัน หรือมีขั้นตอนติดตั้งที่ไม่มีใครจดไว้ การล็อก prompt โมเดล และวิธีให้คะแนนให้คงที่จึงยังไม่พอ ผู้เขียนต้นฉบับมองว่าวงการคุยเรื่อง "วัดอะไร" มาก แต่คุยเรื่อง "รันอย่างไร" น้อยเกินไป

เครื่องมือที่ใช้ และขอบเขตที่ตั้งใจจำกัดไว้

Docker Sandboxes คือสภาพแวดล้อมแยกขาดสำหรับรันโค้ดและเอเจนต์ AI โดยไม่ปนกับเครื่องหลัก สั่งงานผ่านคำสั่ง sbx และเสริมได้ด้วย Kit หรือชุดตั้งค่าที่แพ็กไว้ใส่ให้แซนด์บ็อกซ์ซ้ำได้ ผู้เขียนซึ่งเป็น Docker Captain (นักพัฒนาภายนอกที่ Docker ยกให้เป็นผู้เชี่ยวชาญชุมชน) ทำ SBX AI Evaluation Kit ออกมาเป็นโอเพนซอร์ส ขอบเขตของมันแคบโดยตั้งใจ คือไม่เรียกโมเดล AI ไม่ตัดสินผล และไม่คิดคะแนน จึงไม่ได้มาแทนเฟรมเวิร์กหรือ benchmark ที่ทีมใช้อยู่ มีหน้าที่แค่รันคำสั่งที่กำหนดให้เหมือนเดิมทุกครั้งและเก็บหลักฐานว่าเกิดอะไรขึ้น

แยก "รันอะไร" ออกจาก "รันที่ไหน"

แกนของการออกแบบคือชั้น executor ไฟล์นิยามบอกแค่ว่ารันคำสั่งอะไร ส่วน executor เลือกว่ารันที่ไหน ตั้งเป็น local ก็รันบนเครื่องที่ใช้อยู่ ตั้งเป็น sbx ก็ส่งไปรันใน Docker Sandboxes เวิร์กโฟลว์ที่เขียนตอนพัฒนาจึงย้ายเข้าแซนด์บ็อกซ์ได้ด้วยการแก้ค่าเดียว และได้บันทึกผลโครงสร้างเดิม

ในไฟล์ YAML ส่วน execution มีบรรทัด executor: sbx กับรายการคำสั่ง ซึ่งตัวอย่างในต้นฉบับเป็นคำสั่ง Python ที่พิมพ์ hello from sbx เปิดแซนด์บ็อกซ์พร้อมคิตด้วย sbx run claude --kit . แล้วสั่ง python run_evaluation.py ตัวรันจะตรวจไฟล์นิยาม ส่งคำสั่งเข้าแซนด์บ็อกซ์ และเขียนผลเป็นไฟล์ JSON

บันทึกการรันเก็บอะไรบ้าง

  • executor ที่ใช้ในรอบนั้น และ command คำสั่งที่ถูกรันจริง
  • stdout / stderr ข้อความที่โปรแกรมพิมพ์ออกตามปกติและข้อความแจ้งข้อผิดพลาด
  • exit_code รหัสที่โปรแกรมส่งกลับเมื่อจบ (0 คือจบปกติ)
  • duration_ms เวลาที่ใช้ ตัวอย่างในต้นฉบับคือ 120 มิลลิวินาที

คิตยังสร้าง digest หรือค่าแฮชของการตั้งค่า ผลลัพธ์แต่ละไฟล์จึงผูกกลับไปหานิยามเวอร์ชันที่สร้างมันได้แน่นอน (ผู้เขียนย้ำว่าไม่ได้ตั้งใจแทนระบบติดตามการทดลองเต็มรูปแบบ) เอกสารที่เขียนด้วยมือบอกได้แค่ความตั้งใจ ส่วนบันทึกนี้บอกสิ่งที่เครื่องทำไปจริง

จากการรันครั้งเดียวสู่ชุดประเมิน

งานจริงต้องเทียบ prompt หลายแบบ ตรวจว่ารุ่นใหม่ถอยหลังกว่ารุ่นเก่าหรือไม่ และลองหลายสถานการณ์ คิตจึงให้รวมไฟล์นิยามหลายไฟล์เป็น suite ที่รันซ้ำได้ทีเดียว ทุกรายการยังได้ไฟล์ผลของตัวเอง และได้รายงานสรุปรวมเพิ่มอีกไฟล์ หลักคิดแพ็กสภาพแวดล้อมไว้ในคิตแล้วเก็บหลักฐานทุกครั้งที่รันยังใช้กับการทดสอบถดถอย การตรวจตามนโยบาย การวิเคราะห์ความปลอดภัย และการทดลองสร้างโค้ดได้ด้วย

นำไปใช้กับทีม DevOps ในไทย

ทีมไทยที่เริ่มใส่ AI ลงในผลิตภัณฑ์มักทดสอบด้วยการลองใน notebook ของใครสักคน แล้วผลนั้นกลายเป็นเหตุผลในการตัดสินใจโดยไม่มีใครรันซ้ำได้ แนวทางนี้เปลี่ยนการประเมินให้เป็นงานในไปป์ไลน์ CI เหมือนการทดสอบซอฟต์แวร์ปกติ มีนิยามในคลังโค้ด รันในคอนเทนเนอร์ และเก็บผลเป็น artifact เมื่อเปลี่ยนโมเดลหรือ prompt ทีมจะเห็นความต่างจากหลักฐาน ไม่ใช่จากความรู้สึก และใช้ตอบลูกค้าหรือผู้ตรวจสอบได้ว่าระบบถูกทดสอบอย่างไร ก่อนวางคะแนนสองชุดเทียบกัน ให้ถามก่อนว่าทั้งสองชุดรันในเงื่อนไขที่เทียบกันได้หรือไม่

ทีมงาน Smart Cyber Tech วางระบบ DevOps และไปป์ไลน์ CI/CD ที่รวมการทดสอบและประเมินผลระบบ AI เข้าเป็นขั้นตอนอัตโนมัติ พร้อมเก็บหลักฐานการรันเพื่อการตรวจสอบย้อนหลัง หากทีมของคุณต้องการทำให้การประเมิน AI ทำซ้ำได้และเชื่อถือได้ก่อนขึ้นระบบจริง ปรึกษาได้ที่ แบบฟอร์มติดต่อ

สรุปสาระสำคัญ

  • ตัวเลขที่ไม่มีใครรันซ้ำได้ ยังไม่ใช่หลักฐาน
  • เครื่องมือที่ใช้ และขอบเขตที่ตั้งใจจำกัดไว้
  • แยก "รันอะไร" ออกจาก "รันที่ไหน"
แหล่งอ้างอิงเรียบเรียงจาก Docker Blog — Building Reproducible AI Evaluation Workflows with Docker Sandboxes — อ่านบทความต้นฉบับ
ภาพปก: Docker Blog · ลิขสิทธิ์ภาพเป็นของเจ้าของต้นฉบับ ใช้ประกอบการรายงานพร้อมอ้างอิงแหล่งที่มา
มีคำถามเพิ่มเติมเกี่ยวกับบทความนี้? เขียนหาเราได้ที่ info@smart-cyber-tech.com
บริการที่เกี่ยวข้องจากทีมงาน Smart Cyber Tech

บทความอื่นที่เกี่ยวข้อง

บทความที่เกี่ยวข้อง

ประเมินโมเดลภาษาก่อนขึ้นระบบจริง: ทำไมคะแนนเบนช์มาร์กดีถึงไม่ได้แปลว่าใช้งานได้ ข้อมูลและ AI

ประเมินโมเดลภาษาก่อนขึ้นระบบจริง: ทำไมคะแนนเบนช์มาร์กดีถึงไม่ได้แปลว่าใช้งานได้

โมเดลภาษาที่ได้คะแนนเบนช์มาร์กสูงอาจพังกับงานจริงของลูกค้า ทีมที่ตัดสินใจจากตัวเลขบนตารางจัดอันดับจึงมักเจอปัญหาหลังปล่อยใช้งาน บทความนี้สรุปวิธีประเมินที่ทีม GitHub ใช้ตอนนำโมเดลภาษามาช่วยกรองการแจ้งเตือนผิดในระบบสแกนความลับ ตั้งแต่ตั้งเป้า เตรียมข้อมูล ทดลองอย่างเป็นระบบ ไปจนถึงคำถามที่ต้องตอบได้ก่อนขึ้นระบบจริง

อ่านบทความ
รันเอเจนต์หลายตัวพร้อมกันอย่างปลอดภัย: แยกงานด้วย Git worktree ให้แต่ละเซสชันไม่รบกวนกัน DevOps

รันเอเจนต์หลายตัวพร้อมกันอย่างปลอดภัย: แยกงานด้วย Git worktree ให้แต่ละเซสชันไม่รบกวนกัน

เมื่อเอเจนต์ช่วยเขียนโค้ดทำงานได้นานขึ้นโดยไม่ต้องคอยดู คำถามถัดไปคือจะให้มันทำหลายงานพร้อมกันได้อย่างไรโดยไม่ทับกัน บทความสำหรับผู้เริ่มต้นจาก GitHub อธิบายหลักการที่ทำให้เซสชันของเอเจนต์แยกจากกันด้วย Git worktree และแนะนำวิธีเริ่มจากงานเล็กสองงานก่อน

อ่านบทความ
ให้ระบบช่วยคัดกรอง pull request อัปเดต dependency แล้วเก็บเวลาไว้ตัดสินใจเรื่องที่ยากกว่า DevOps

ให้ระบบช่วยคัดกรอง pull request อัปเดต dependency แล้วเก็บเวลาไว้ตัดสินใจเรื่องที่ยากกว่า

ทีมส่วนใหญ่มี pull request อัปเดต dependency ค้างอยู่เป็นสิบ เพราะการไล่ดูทีละรายการกินเวลาแต่ไม่ต้องใช้ความเชี่ยวชาญ บทความนี้สรุปวิธีให้ระบบอัตโนมัติคัดกรองให้ก่อน แล้วส่งเฉพาะเรื่องที่ต้องใช้วิจารณญาณมาให้คนดู

อ่านบทความ

ติดต่อเพื่อขอรับคำปรึกษาจากทีมงาน

ตั้งแต่ประเมินระบบปัจจุบัน วางแผน จนถึงลงมือพัฒนา — คุยกับเราได้โดยไม่มีค่าใช้จ่าย

ปรึกษาทีมของเรา