อ่านประมาณ 8 นาที
ระดับสูง
หมวด: คลาวด์
อ้างอิง: AWS Architecture Blog — Building resilient real-time streaming workers with Amazon DynamoDB leases
ระบบเรียลไทม์ที่ต้องเปิดการเชื่อมต่อค้างไว้นาน ๆ เสี่ยงทำข้อมูลหายทุกครั้งที่เซิร์ฟเวอร์ล่มหรือมีการ deploy ตัวอย่างจาก AWS คือบริการถอดเสียงประชุม 500 ห้องพร้อมกัน ที่ worker ตัวเดียวล่มแล้วการเชื่อมต่อหลุดกว่า 100 รายการ และแต่ละรายการขาดข้อมูล 2-3 นาทีจนกว่าจะมีคนมารีสตาร์ต บทความนี้สรุปแนวทางให้ worker ตัวอื่นรับงานต่อเองด้วย lease บน DynamoDB ทั้งโครงสร้างข้อมูล ลำดับเหตุการณ์ ค่าที่ควรตั้ง ค่าใช้จ่าย และจุดที่ต้องคิดเพิ่ม
ทำไมงานที่ถือการเชื่อมต่อค้างไว้ถึงดูแลยาก
คำขอ HTTP ทั่วไปเข้ามาแล้วจบในรอบเดียว เซิร์ฟเวอร์ไม่ต้องจำอะไร แต่ WebSocket เป็นช่องสื่อสารสองทางที่เปิดค้างไว้ worker ต้องรับข้อความและตอบสัญญาณ keep-alive ตลอดอายุการเชื่อมต่อ ในระบบของ AWS ตัว worker ยังเป็นฝ่ายเปิดการเชื่อมต่อออกไปหาแหล่งข้อมูลต้นทางเอง กลไกระดับเครือข่ายจึงช่วยย้ายงานให้ไม่ได้ ต้องประสานกันที่ระดับแอปพลิเคชัน
ความเป็นเจ้าของการเชื่อมต่อหลุดได้หลายจังหวะ เช่น container ดับกะทันหัน ช่วง deploy ที่ระบบปิด task เก่าก่อนตัวใหม่พร้อม หรือตอนลดจำนวนเครื่องที่ต้องย้ายงานออกก่อนเครื่องดับ ส่วนความผิดพลาดกลับด้านคือ worker สองตัวเข้าใจว่าเป็นเจ้าของการเชื่อมต่อเดียวกัน ทำให้ข้อมูลถูกประมวลผลซ้ำหรือต้นทางปฏิเสธการเชื่อมต่อ
ให้ฐานข้อมูลเป็นผู้ตัดสินว่าใครเป็นเจ้าของ
หัวใจของแพตเทิร์นคือ lease หรือสิทธิ์ความเป็นเจ้าของที่มีวันหมดอายุ ผู้ถือต้องต่ออายุเป็นระยะ ถ้าเงียบไปเพราะล่ม สิทธิ์จะหมดเองและตัวอื่นรับไปได้ DynamoDB ทำหน้าที่เป็นตัวล็อกกลางผ่าน conditional write คือการเขียนที่จะสำเร็จก็ต่อเมื่อเงื่อนไขที่ระบุเป็นจริง และตรวจเงื่อนไขแบบ atomic (ทำเสร็จในจังหวะเดียว ไม่มีใครแทรกได้) จึงไม่ต้องติดตั้งระบบประสานงานแยก
ส่วนประกอบรอบ ๆ คือ API Gateway รับคำสั่ง START และ STOP จากระบบภายนอก, Lambda บันทึกสถานะลง DynamoDB แล้วฝากข้อความแจ้งงานใหม่ไว้ใน Amazon SQS, worker รันบน ECS Fargate และ CloudWatch เก็บจำนวนการเชื่อมต่อที่ใช้งานอยู่ไว้ขยายหรือลดจำนวน worker อัตโนมัติ ทีมผู้เขียนอธิบายว่าใช้ SQS อย่างเดียวไม่พอ เพราะ SQS ส่งงานให้ผู้รับรายเดียวครั้งเดียว ขณะที่ความเป็นเจ้าของการเชื่อมต่อเป็นสถานะที่ต้องรักษาไว้ต่อเนื่องและต้องค้นหาได้ ส่วนไลบรารี amazon-dynamodb-lock-client ที่ AWS มีอยู่แล้วออกแบบมาสำหรับ Java และไม่ได้เก็บข้อมูลการเชื่อมต่อไว้ในแถวเดียวกัน ทีมจึงเขียนด้วย Python แบบ async และรวมทั้งสองอย่างไว้ในรายการเดียวเพื่อลดจำนวนการอ่าน
ข้อมูลที่ต้องเก็บต่อการเชื่อมต่อหนึ่งรายการ
- ตัวตนและปลายทาง — คีย์หลัก pk ในรูป CONN#meeting-123 และ ws_url ที่ต้องเชื่อมต่อ
- สิ่งที่ระบบภายนอกต้องการ — desired_state ซึ่งเป็น STARTED หรือ STOPPED
- ใครถือสิทธิ์และถึงเมื่อไร — lease_owner (รหัส worker) กับ lease_expires_at_ms (เวลาหมดอายุเป็นมิลลิวินาทีแบบ epoch)
- ทำไปถึงไหนแล้ว — last_seq เลขลำดับข้อมูลล่าสุดที่ประมวลผล ใช้ทำต่อจากจุดเดิม
ตารางมี GSI (ดัชนีรองที่ใช้ค้นด้วยแอตทริบิวต์ที่ไม่ใช่คีย์หลัก) โดยใช้ desired_state เป็น partition key และ lease_expires_at_ms เป็น sort key ทำให้ค้นหาการเชื่อมต่อที่ "ควรทำงานอยู่แต่ไม่มีเจ้าของ" ได้ด้วยคำสั่งเดียว
สามสถานการณ์ที่ระบบต้องรับมือ
งานใหม่เข้ามา: ข้อความใน SQS เป็นแค่การบอกใบ้ ไม่ใช่สิทธิ์ worker ตรวจก่อนว่ายังไม่เต็มโควตาและไม่ได้ถือการเชื่อมต่อนี้อยู่แล้ว จากนั้นเขียนชื่อตัวเองลงไปพร้อมเงื่อนไขว่าต้องยังไม่มี lease หรือ lease เดิมหมดอายุแล้ว ถ้ามีสองตัวแย่งกัน DynamoDB ให้ผ่านตัวเดียว อีกตัวได้ ConditionalCheckFailedException แล้วถอยไป ระหว่างทำงาน แต่ละการเชื่อมต่อมีสามงานวิ่งคู่กัน คือส่ง heartbeat ต่ออายุทุก 5 วินาทีโดยมีเงื่อนไขว่าเจ้าของต้องยังเป็นตัวเอง, รับข้อความแล้วบันทึกลงอีกตาราง และเช็กทุก 10 วินาทีว่ามีคำสั่ง STOP หรือไม่ งานใดจบก่อน การเชื่อมต่อนั้นปิดและคืน lease ทันที
ปิดเครื่องตามแผน: ตอน deploy หรือลดจำนวนเครื่อง ECS ส่งสัญญาณ SIGTERM ให้ worker ตั้งธงปิดเครื่องที่ทุกลูปเห็นพร้อมกัน แล้วปิดการเชื่อมต่อและคืน lease ทั้งหมดแบบขนาน เวลาที่ใช้จึงแทบไม่เพิ่มตามจำนวนการเชื่อมต่อ lease ที่คืนแล้วถูกตั้งเวลาหมดอายุเป็น 0 ตัวอื่นจึงรับต่อได้ในรอบค้นหาถัดไปโดยไม่ต้องรอ
ล่มกะทันหัน: worker ไม่มีโอกาสคืนสิทธิ์ lease จึงค้างไว้จนหมดอายุเอง (ค่าเริ่มต้น 20 วินาที) ทุก worker มีลูปกระทบยอด (reconciliation) ที่ค้นผ่าน GSI ทุก 60 วินาที หาการเชื่อมต่อที่ควรทำงานแต่ lease หมดแล้ว และใช้การเขียนแบบมีเงื่อนไขชุดเดิมแย่งรับ หลายตัวค้นพร้อมกันได้โดยไม่รับซ้ำ กรณีเลวร้ายที่สุดจึงกู้คืนได้ในราว 80 วินาที
ภาพประกอบบทความหมวดคลาวด์
ค่าที่ควรตั้งและค่าใช้จ่าย
ค่าตั้งต้นที่ AWS เสนอ คือ lease 20 วินาที heartbeat ทุก 5 วินาที (สัดส่วน 4 ต่อ 1 ได้โอกาสต่ออายุ 4 ครั้งก่อนหมด) กระทบยอดทุก 60 วินาที จำนวนการเชื่อมต่อสูงสุดต่อ task 700 จากการวัดหน่วยความจำและ CPU และหน่วงเวลาก่อนขยายเครื่อง 2 นาที ก่อนลดเครื่อง 15 นาที คำแนะนำสำหรับระบบใหม่คือเริ่มที่ 100 การเชื่อมต่อต่อ task แล้วค่อยขยับ เพราะแต่ละการเชื่อมต่อใช้หน่วยความจำราว 2-5 MB
ต้นทุนหลักมาจากการเขียน heartbeat ซึ่งกิน 1 WCU ต่อครั้ง ตัวเลขประมาณการรายเดือนของ AWS คือ 100 การเชื่อมต่อราว 65 ดอลลาร์แบบ on-demand หรือราว 10 ดอลลาร์แบบ provisioned, 500 การเชื่อมต่อราว 325 กับ 47 ดอลลาร์ และ 2,000 การเชื่อมต่อราว 1,300 กับ 190 ดอลลาร์ งาน heartbeat มีปริมาณสม่ำเสมอ AWS จึงแนะนำ provisioned capacity คู่กับ Auto Scaling สำหรับระบบที่มีการเชื่อมต่อจำนวนมากต่อเนื่อง
ปรับอะไรได้บ้าง และแลกกับอะไร| ถ้าปรับ | ได้ | เสีย |
|---|
| heartbeat จาก 5 เป็น 10 วินาที (และยืด lease ตามสัดส่วน) | ค่าเขียนลดลงครึ่งหนึ่ง | ย้ายงานช้าลงตามสัดส่วน |
| กระทบยอดจาก 60 เป็น 120 วินาที | ค่าอ่านจากการค้นลดลงครึ่งหนึ่ง | กู้คืนจากการล่มกะทันหันช้าลง |
| รวมการเช็กคำสั่ง STOP เป็น BatchGetItem ครั้งเดียว | อ่านรอบละ 1 ครั้งแทน N ครั้ง | ต้องรวมลูปไว้ที่จุดกลาง |
จุดที่ควรคิดเพิ่มก่อนนำไปใช้จริง
เรื่องที่มองข้ามง่ายคือเวลา DynamoDB ไม่ได้ใช้นาฬิกาของตัวเองตัดสินว่า lease หมดอายุหรือยัง แต่ใช้ค่าเวลาที่ worker ส่งมา ถ้านาฬิกาแต่ละเครื่องคลาดกันมาก worker อาจเข้าใจผิดว่าสิทธิ์ของอีกตัวหมดแล้ว บน Fargate ในภูมิภาคเดียวกัน Amazon Time Sync Service คุมให้คลาดกันเพียงไม่กี่มิลลิวินาที แต่ถ้ารันที่อื่นต้องตั้ง NTP เฝ้าดูการคลาด และบวกค่าคลาดสูงสุดที่คาดไว้เข้าไปในระยะ lease
ต้นฉบับไม่ได้ใช้ fencing token หรือเลขกำกับรุ่นของสิทธิ์ ในความเห็นของทีมงาน ช่วงสั้น ๆ ที่ worker เดิมยังไม่รู้ว่าเสียสิทธิ์ เช่นตอนเครือข่ายสะดุด อาจทำให้สองตัวส่งข้อมูลซ้ำกันชั่วครู่ ปลายทางจึงควรรับข้อมูลซ้ำได้โดยไม่เสียหาย (idempotent) เช่นใช้ last_seq ตัดรายการซ้ำ ส่วนทีมผู้เขียนเสนอให้ต่อยอดด้วยการเล่นข้อมูลย้อนจากต้นทางหรือเริ่มต่อจาก offset เพื่ออุดช่องข้อมูลที่ขาดระหว่างการกู้คืน และใช้ AWS X-Ray ติดตามเส้นทางงานข้าม worker
แพตเทิร์นเดียวกันนี้ใช้ได้กับงานในไทยอีกหลายแบบ เช่น ระบบแชตกับลูกค้าแบบเรียลไทม์ ระบบติดตามรถขนส่ง หรือระบบรับข้อมูลจากอุปกรณ์ IoT ที่ต้องถือการเชื่อมต่อค้างไว้ และควรพิสูจน์ว่าการย้ายงานทำงานได้จริงด้วยการจำลองความล้มเหลว ดังที่สรุปไว้ในบทความทดสอบความทนทานของระบบด้วย SQS และ AWS FIS
ทีมงาน Smart Cyber Tech ย้ายระบบขึ้นคลาวด์และวางโครงสร้างพื้นฐานบน AWS Azure และ GCP รวมถึงออกแบบสถาปัตยกรรมที่ย้ายงานได้เองเมื่อเซิร์ฟเวอร์ล่ม ปรึกษาได้ที่ แบบฟอร์มติดต่อ
สรุปสาระสำคัญ
- ทำไมงานที่ถือการเชื่อมต่อค้างไว้ถึงดูแลยาก
- ให้ฐานข้อมูลเป็นผู้ตัดสินว่าใครเป็นเจ้าของ
- ข้อมูลที่ต้องเก็บต่อการเชื่อมต่อหนึ่งรายการ
แหล่งอ้างอิงเรียบเรียงจาก AWS Architecture Blog — Building resilient real-time streaming workers with Amazon DynamoDB leases —
อ่านบทความต้นฉบับภาพปก: AWS Architecture Blog · ลิขสิทธิ์ภาพเป็นของเจ้าของต้นฉบับ ใช้ประกอบการรายงานพร้อมอ้างอิงแหล่งที่มา
มีคำถามเพิ่มเติมเกี่ยวกับบทความนี้? เขียนหาเราได้ที่
info@smart-cyber-tech.com
บริการที่เกี่ยวข้องจากทีมงาน Smart Cyber Tech
แบ่งปันบทความนี้:
LINE
Facebook
X
ปรึกษาทีมของเรา