ให้เอเจนต์เขียนโค้ดมีความจำที่คุณเป็นเจ้าของ: เปลี่ยนบันทึกเซสชันเก่าให้เป็นความรู้ที่ค้นกลับได้

ทุกครั้งที่ปิดเซสชันของเอเจนต์ช่วยเขียนโค้ด เหตุผลของการตัดสินใจและสิ่งที่ค้นพบระหว่างทางก็หายไปด้วย เซสชันถัดไปจึงต้องเริ่มทำความรู้จักโปรเจกต์ใหม่ทุกครั้ง บทความจาก Hugging Face เสนอแนวทางเก็บบันทึกเซสชันเหล่านั้นให้เป็นความจำที่ค้นกลับได้ ใช้ร่วมกันข้ามเอเจนต์ และอยู่ในมือของทีมเอง

ปัญหาที่ทุกทีมที่ใช้เอเจนต์เจอ

ผู้เขียนบทความสลับใช้เอเจนต์หลายตัวบนหลายเครื่อง และพบว่าเอเจนต์ทุกตัวพบโปรเจกต์ของเขาในฐานะคนแปลกหน้าเสมอ สิ่งที่หายไปไม่ใช่โค้ด เพราะโค้ดอยู่ในระบบควบคุมเวอร์ชันแล้ว แต่เป็นเหตุผลเบื้องหลัง เช่น ทำไมถึงเลือกโมเดลฝังข้อความตัวนี้ ทำไมการแก้ครั้งก่อนถึงล้มเหลว หรือข้อจำกัดที่ค้นพบระหว่างทดลอง ซึ่งทั้งหมดอยู่ในบทสนทนากับเอเจนต์ที่ไม่มีใครกลับไปอ่าน

วิธีแก้ที่นิยมตอนนี้มีสองแบบ แบบแรกคือให้เอเจนต์ย่อบริบทเมื่อหน้าต่างเต็ม ซึ่งมักทิ้งรายละเอียดที่จำเป็นในภายหลัง แบบที่สองคือให้เอเจนต์เขียนบันทึกส่งต่อเมื่อจบงาน ซึ่งเสียโทเคนและขึ้นกับว่าตอนเขียนรู้หรือไม่ว่าอะไรจะสำคัญในอนาคต บทความชี้ว่าทั้งสองแบบเป็นการสรุปล่วงหน้า ในขณะที่หลักฐานดิบทั้งหมดมีอยู่แล้วในบันทึกเซสชัน

แนวคิด: จัดทำดัชนีบันทึกเซสชัน ไม่ใช่สรุปมัน

เครื่องมือโอเพนซอร์สที่บทความนำเสนอทำงานเป็นท่อประมวลผลแบบกำหนดผลได้แน่นอน เริ่มจากแปลงบันทึกของเอเจนต์แต่ละยี่ห้อให้อยู่ในโครงสร้างเดียวกันเป็นรอบสนทนาและบล็อกย่อย จากนั้นตัดเป็นชิ้นและสร้างเวกเตอร์ฝังข้อความบนเครื่องด้วยโมเดลที่ตรึงเวอร์ชันไว้ เขียนลงชุดข้อมูลแบบต่อท้ายอย่างเดียวซึ่งเก็บไว้ในเครื่องหรือบนคลังข้อมูลส่วนตัวก็ได้ ส่วนการค้นกลับผสมการค้นด้วยเวกเตอร์กับการค้นด้วยคำสำคัญ รวมอันดับ จัดอันดับซ้ำด้วยโมเดลตรวจคู่ แล้วถ่วงน้ำหนักให้บันทึกที่ใหม่กว่า

คุณสมบัติสำคัญสามข้อคือ ความจำชุดเดียวใช้ร่วมกันได้กับเอเจนต์หลายตัว การเก็บหลักฐานดิบไว้ครบพร้อมระบุที่มาว่ามาจากเซสชันไหน และการค้นกลับทำบนเครื่องได้โดยไม่ต้องส่งข้อมูลขึ้นคลาวด์ เมื่อเอเจนต์ต้องการข้อมูลเก่า มันจะเรียกคำสั่งเรียกคืนเอง ได้ชิ้นส่วนของเซสชันเดิมกลับมาพร้อมบริบท แล้วนำไปตอบต่อ ตัวอย่างในบทความคือเอเจนต์ตัวหนึ่งเลือกโมเดลฝังข้อความไว้ แล้วเอเจนต์อีกยี่ห้อในเซสชันแยกเรียกคืนการตัดสินใจนั้นได้

ผลเทียบกับการเขียนบันทึกส่งต่อ

ผู้เขียนวัดโทเคนถ่วงน้ำหนักต่อภารกิจที่ทำสำเร็จบนสองงานจริง เปรียบเทียบห้าช่องทางส่งต่อบริบท ผลคือการเรียกคืนจากความจำถูกกว่าการเขียนบันทึกส่งต่อถึง 8 เท่าในงานหนึ่งและ 4 เท่าในอีกงาน และที่สำคัญกว่าคือมันรักษาสิ่งที่ค้นพบซึ่งการสรุปจะทิ้งไป เพราะการสรุปต้องเดาล่วงหน้าว่าอะไรสำคัญ ส่วนการค้นกลับตัดสินตอนที่รู้แล้วว่ากำลังหาอะไร

จุดที่ควรอ่านอย่างระวังคือขนาดของการทดลองยังเล็ก และบทความเขียนโดยทีมที่พัฒนาเครื่องมือเอง ตัวเลขจึงควรถือเป็นสัญญาณของแนวทาง ไม่ใช่ข้อสรุปสากล แต่หลักการที่ว่าหลักฐานดิบที่ค้นได้มีค่ากว่าบทสรุปที่เขียนล่วงหน้า สอดคล้องกับงานวิจัยเรื่องการประเมินและการจัดการบริบทของเอเจนต์ที่ทีมงานเคยสรุปไว้ก่อนหน้า

เรื่องความปลอดภัยของข้อมูลที่ต้องคิดก่อนใช้

บันทึกเซสชันของเอเจนต์มักมีความลับปนอยู่ ทั้งคีย์ API ที่เผลอวางลงไป ผลลัพธ์ของคำสั่งที่พิมพ์ตัวแปรสภาพแวดล้อมออกมา หรือข้อมูลลูกค้าในไฟล์ที่เอเจนต์อ่าน เครื่องมือมีขั้นตอนสแกนและกันความลับออกก่อนเผยแพร่ แต่ทีมที่จะใช้จริงต้องตัดสินใจเองว่าความจำชุดนี้จะอยู่ในเครื่องเท่านั้น อยู่ในคลังส่วนตัวขององค์กร หรือแบ่งปันข้ามทีม และต้องมีคนตรวจก่อนเปิดสิทธิ์ให้เอเจนต์ตัวอื่นอ่าน

นำไปใช้กับทีมไทยอย่างไร

ทีมรับพัฒนาซอฟต์แวร์ในไทยที่ดูแลหลายโปรเจกต์พร้อมกันคือกลุ่มที่ได้ประโยชน์มากที่สุด เพราะการกลับไปแตะโปรเจกต์ที่ทิ้งไว้สามเดือนมักเสียเวลาไปกับการรื้อฟื้นบริบทมากกว่าการเขียนโค้ดจริง ขั้นแรกที่ทำได้ทันทีโดยไม่ต้องติดตั้งอะไรคือเลิกลบบันทึกเซสชันของเอเจนต์ และเก็บไว้ในที่ที่ค้นได้ ขั้นถัดไปจึงค่อยทดลองเครื่องมือจัดทำดัชนีแบบนี้กับโปรเจกต์ภายในหนึ่งโปรเจกต์ก่อน วัดว่าเซสชันใหม่ต้องถามคำถามซ้ำน้อยลงจริงหรือไม่ แล้วค่อยขยาย

สิ่งที่ต้องกำหนดให้ชัดตั้งแต่ต้นคือความจำของงานลูกค้าแต่ละรายต้องแยกกันเด็ดขาด ไม่ให้เอเจนต์ที่ทำงานให้ลูกค้ารายหนึ่งเรียกคืนสิ่งที่เรียนรู้จากระบบของอีกราย ซึ่งเป็นทั้งเรื่องความลับทางการค้าและข้อผูกพันตามสัญญา การออกแบบให้ความจำเป็นชุดข้อมูลที่แยกกันได้ตามโปรเจกต์จึงเป็นเงื่อนไขที่ควรใส่ไว้ในเกณฑ์เลือกเครื่องมือ