NVIDIA ปล่อย Cosmos 3 โมเดลเปิด 4 ตัว จำลองโลกเสมือนให้รถไร้คนขับและหุ่นยนต์ฝึกในวิดีโอที่ตอบสนองต่อการควบคุมแบบต่อเนื่อง ใช้เชิงพาณิชย์ได้

รถไร้คนขับและหุ่นยนต์ต้องฝึกกับสถานการณ์จำนวนมหาศาล ซึ่งเก็บจากโลกจริงทั้งหมดไม่ไหว ทั้งแพงและบางเหตุการณ์อันตรายเกินกว่าจะรอให้เกิดขึ้นจริง NVIDIA จึงปล่อยโมเดลเปิด Cosmos 3 ชุดใหม่ 4 ตัว ที่สร้างวิดีโอโลกเสมือนต่อเนื่องไปทีละช่วงตามคำสั่งควบคุม เช่น หุ่นยนต์ขยับแขนหรือรถเลี้ยว ให้ระบบได้ฝึกและทดสอบในโลกจำลองที่ดูเหมือนจริง โมเดลทั้งหมดดาวน์โหลดได้จาก Hugging Face และใช้เชิงพาณิชย์ได้ตามเงื่อนไขของสัญญาอนุญาต

Cosmos คือแพลตฟอร์ม world model ของ NVIDIA หรือโมเดลที่เรียนรู้ว่าโลกเปลี่ยนแปลงอย่างไรเมื่อมีการกระทำบางอย่าง ต่างจากโมเดลสร้างวิดีโอทั่วไปที่รับข้อความแล้วสร้างคลิปจบในครั้งเดียว รุ่นใหม่นี้สร้างวิดีโอทีละช่วงสั้น ๆ โดยดูทั้งคำสั่งควบคุมล่าสุดและภาพที่สร้างไปแล้ว จากนั้นเก็บสิ่งที่สร้างไว้เป็นประวัติให้รอบถัดไปใช้ต่อ การทำงานแบบวนรอบนี้ทำให้โลกจำลองตอบสนองต่อการกระทำได้ต่อเนื่อง คล้ายเกมจำลองที่ภาพถูกสร้างด้วย AI แทนเอนจินกราฟิก

โมเดลชุดนี้เป็น Cosmos 3 Nano ที่ฝึกต่อสำหรับงานเฉพาะ 4 แบบ ตัวแรก Transfer-Auto สร้างข้อมูลการขับขี่จากกล้องสูงสุด 11 มุมรวมเลนส์ตาปลา พร้อมข้อมูลจากเซนเซอร์ LiDAR และปรับสภาพอากาศ แสง หรือช่วงเวลาของวันได้ ตัวที่สอง Sim-Auto เป็นรุ่นแบบสตรีมที่ส่งภาพกล้องและ LiDAR ต่อเนื่องสำหรับการจำลองการขับขี่ ตัวที่สาม Sim-Transfer แปลงภาพจากโปรแกรมจำลองที่ยังดูไม่สมจริง เช่น แผนที่ความลึกหรือเส้นขอบวัตถุ ให้เป็นวิดีโอที่ดูเหมือนถ่ายจริง ตัวที่สี่ Sim-Bimanual ทำนายภาพถัดไปจากคำสั่งของหุ่นยนต์สองแขน

เพื่อให้สร้างภาพได้เร็วพอสำหรับการจำลองแบบโต้ตอบ NVIDIA ฝึกโมเดลเป็นหลายขั้น ขั้นสำคัญคือการกลั่นโมเดล หรือ distillation ที่สอนโมเดลขนาดเท่าเดิมให้สร้างแต่ละช่วงได้ในเพียง 4 รอบการคำนวณ แทนการคำนวณหลายสิบรอบแบบโมเดลสร้างภาพทั่วไป NVIDIA ระบุว่าทั้ง 4 ตัวมีพารามิเตอร์ที่ฝึกได้ราว 16,000 ล้านตัว ส่วนการรันตัวอย่างหุ่นยนต์สองแขนต้องใช้ Linux การ์ดจอ NVIDIA และ Docker ชุดตัวอย่างที่เผยแพร่ทดสอบบนชิป GB200 หนึ่งตัว ซึ่ง NVIDIA บอกว่าไม่ใช่สเปกขั้นต่ำ

โมเดลใช้สัญญาอนุญาต OpenMDW 1.1 ซึ่งอนุญาตทั้งการใช้เชิงพาณิชย์และไม่ใช่เชิงพาณิชย์ตามเงื่อนไขของสัญญา และมีตัวอย่างโค้ดกับโน้ตบุ๊กใน GitHub ของโครงการ cosmos-framework NVIDIA ยอมรับเองว่างานต่อจากนี้คือการวัดให้ชัดว่าโมเดลจำลองได้แม่นพอสำหรับการฝึกและประเมินระบบควบคุมในงานแบบไหน เพราะโลกจำลองที่ดูสมจริงยังไม่ได้แปลว่าฟิสิกส์ถูกต้องเสมอไป ในงานจำลองการขับขี่ ระบบยังต้องพึ่งโปรแกรมจำลองที่คุมสถานะจริงของโลกอยู่คู่กัน

สำหรับโรงงาน คลังสินค้า และธุรกิจโลจิสติกส์ไทยที่เริ่มใช้หุ่นยนต์หรือระบบตรวจจับด้วยกล้อง โมเดลแบบนี้ช่วยสร้างภาพสถานการณ์ที่หายากหรือเสี่ยงเกินกว่าจะถ่ายจริง เช่น แสงย้อน ฝนตกหนัก หรือของตกขวางทาง เพื่อใช้ทดสอบระบบก่อนติดตั้งหน้างาน แต่ควรวางแผนตรวจผลกับข้อมูลจริงเสมอ ทีมงาน Smart Cyber Tech พัฒนาซอฟต์แวร์สั่งทำที่เชื่อมกับระบบหน้างานจริง ปรึกษาได้ที่ แบบฟอร์มติดต่อ