อ่านประมาณ 9 นาที
ระดับสูง
หมวด: คลาวด์
อ้างอิง: AWS Architecture Blog — Testing application resilience with Amazon SQS and AWS Fault Injection Service
กลไกกันพังที่ไม่เคยถูกทดสอบเป็นแค่สมมติฐาน ระบบที่พึ่งคิวข้อความจะรู้ว่ารอดหรือไม่ก็ต่อเมื่อคิวใช้ไม่ได้จริง AWS Architecture Blog เสนอวิธีจำลองเหตุนั้นอย่างปลอดภัยและทำซ้ำได้ ด้วยการใช้ AWS Fault Injection Service ตัดสิทธิ์เข้าถึงคิว Amazon SQS เป็นช่วงที่ยาวขึ้นเรื่อย ๆ บทความนี้เรียบเรียงสิ่งที่ต้องเตรียม วิธีอ่านผลฝั่งผู้ส่งและผู้รับ และกับดักที่อาจทำให้คิวถูกล็อกจนกู้เองไม่ได้
จำลองอะไร และเพื่อรู้อะไร
จากมุมของแอป เหตุที่ต่างกันอย่างนโยบายสิทธิ์ IAM ตั้งผิด เครือข่ายขาด ดีพลอยพลาด หรือบริการสะดุดชั่วคราว ล้วนออกมาหน้าตาเดียวกัน คือคำสั่งไปยัง SQS เริ่มล้มเหลว การทดลองนี้จึงไม่ได้พิสูจน์ว่า SQS ทำงาน แต่ดูว่าแอปของเราทำอย่างไรเมื่อคิวใช้ไม่ได้ เช่น ยอมแพ้เร็ว เปิดตัวตัดวงจร (circuit breaker กลไกที่หยุดเรียกบริการปลายทางชั่วคราวเมื่อล้มเหลวติดกันหลายครั้ง) หรือพักข้อความไว้ฝั่งผู้ส่ง และทีมมองเห็นเหตุนั้นจากระบบเฝ้าระวังหรือไม่ ผลที่ได้จึงทดสอบทั้งกลไกกู้คืนและการมองเห็นไปพร้อมกัน
สามอย่างที่ต้องมีก่อนกดเริ่ม
อย่างแรกคือสมมติฐานที่เขียนไว้ล่วงหน้า ถ้าทีมพอคาดได้ ให้ระบุพฤติกรรมที่คาด ระยะเวลาฟื้นตัว และตัวชี้วัดที่ใช้ตัดสิน ถ้าไม่เคยทดสอบเลย ให้เขียนเป็นคำถามเชิงสำรวจว่าจะสังเกตอะไร ส่วนต่างระหว่างที่เขียนกับที่เกิดจริงคือรายการงานที่ต้องแก้
อย่างที่สองคือเงื่อนไขหยุด (stop condition) ซึ่งสั่งยุติการทดลองอัตโนมัติเมื่อสัญญาณเตือนของ CloudWatch ดัง ต้องผูกกับสิ่งที่ควรปกติถ้าระบบทนทานจริง เช่น อัตราคำสั่งซื้อที่ล้มเหลว จำนวนการตอบ 5xx ที่ตัวกระจายโหลด หรือความลึกของคิวพักข้อความเสีย (DLQ) ห้ามผูกกับค่าของคิวอย่างอายุข้อความเก่าสุดหรือจำนวนที่ส่ง เพราะค่าพวกนั้นต้องขยับอยู่แล้วเมื่อตัดสิทธิ์ การทดลองจะหยุดตั้งแต่ช่วงแรกโดยไม่ได้เรียนรู้อะไร ต้นฉบับยกตัวอย่างการตั้งเกณฑ์จากสมมติฐาน เช่น คำสั่งซื้อล้มเหลวเกิน 10 ครั้งต่อนาทีติดกันสองนาที
อย่างที่สามคือทางถอยที่เขียนเป็นเอกสาร รวมถึงการรันในสภาพแวดล้อมที่ไม่ใช่ production ก่อน และติดแท็ก FIS-Ready เฉพาะคิวที่ยอมให้ทดลอง
กลไกตัดสิทธิ์ และจุดที่ล็อกตัวเองได้
AWS FIS เป็นบริการจำลองความล้มเหลวที่คุมลำดับการทดลอง โดยเรียกเอกสาร Automation ของ AWS Systems Manager ให้เติมคำสั่งปฏิเสธลงในนโยบายของคิวที่ติดแท็ก รอตามเวลาที่กำหนด แล้วถอดออก และถ้าการทดลองล้มหรือถูกยกเลิก ก็ยังพยายามถอดให้ คำสั่งปฏิเสธนี้บล็อกเฉพาะงานส่ง รับ ลบ เปลี่ยนการมองเห็นข้อความ และล้างคิว แต่ไม่แตะงานจัดการคิว
ข้อห้ามสำคัญคืออย่าปฏิเสธ sqs:* ทั้งหมด ในการประเมินสิทธิ์ของ IAM คำสั่งปฏิเสธชนะคำสั่งอนุญาตเสมอ ถ้าปฏิเสธ sqs:SetQueueAttributes, sqs:AddPermission หรือ sqs:RemovePermission ด้วย แม้แต่บทบาทที่ใส่นโยบายก็ถอดออกไม่ได้ ต้นฉบับแนะนำให้เพิ่มเงื่อนไขเวลาหมดอายุ (DateLessThan บน aws:CurrentTime) ให้คำสั่งปฏิเสธหมดผลเองแม้ขั้นถอดไม่ได้ทำงาน และเลือกขอบเขตผู้ถูกปฏิเสธให้แคบลงเหลือบทบาทของแอปได้ถ้าคิวใช้ร่วมกับระบบอื่น
ทำไมต้องตัดเป็นช่วงที่ยาวขึ้น
ปัญหาแต่ละแบบต้องใช้เวลาต่างกันกว่าจะโผล่ แม่แบบการทดลองจึงตัดสิทธิ์สี่ครั้ง 2, 5, 7 และ 15 นาที คั่นด้วยช่วงพักฟื้น 3, 3 และ 2 นาที ช่วงสั้นบอกว่าแอปรู้ตัวและตัดวงจรเร็วพอไหม ช่วงกลางทำให้เห็นงานค้างสะสมและภาระต่อเธรดพูลกับหน่วยความจำ ส่วนช่วงยาวสุดทดสอบขีดจำกัดเมื่อเหตุยืดเยื้อ ช่วงพักฟื้นแต่ละครั้งยังให้ดูว่าระบบเคลียร์งานค้างที่ใหญ่ขึ้นทันหรือไม่
อ่านผลฝั่งผู้ส่งและผู้รับแยกกัน
ระหว่างถูกตัดสิทธิ์ SQS ตอบ AccessDenied ซึ่งเป็นข้อผิดพลาดที่ลองใหม่ไม่มีประโยชน์ การทดลองนี้จึงพิสูจน์ว่าโค้ดรู้จักแล้วหยุด ไม่ได้ทดสอบเส้นทางลองใหม่ ถ้าอยากทดสอบส่วนนั้นต้องจำลองความผิดพลาดแบบลองใหม่ได้ เช่น ถูกจำกัดอัตราหรือหมดเวลา
| ฝั่ง | สัญญาณที่ดี | สัญญาณอันตราย |
|---|
| ผู้ส่ง | ยอมแพ้เร็ว เปิดตัวตัดวงจร พักข้อความลงที่เก็บสำรองที่ไม่หาย แล้วส่งซ้ำเมื่อกลับมา | ค้างหรือพัง วนลองใหม่ไม่หยุด หรือทิ้งข้อความเงียบ ๆ |
| ผู้รับ | ชะลอการดึงคิว ประมวลผลซ้ำได้โดยไม่เกิดผลซ้ำซ้อน และเคลียร์งานค้างได้สม่ำเสมอหลังคืนสิทธิ์ | ลูปพังหรือค้าง งานค้างไม่ลดเลย หรือเคลียร์ได้ช่วงหนึ่งแล้วหยุดนิ่ง |
ตัวชี้วัดของคิวช่วยยืนยันอาการ NumberOfMessagesSent ควรตกเป็นศูนย์ ApproximateNumberOfMessagesVisible ที่นิ่งผิดปกติบอกว่าไม่มีทั้งการส่งและการดึง ส่วน ApproximateAgeOfOldestMessage จะไต่ขึ้นก็ต่อเมื่อคิวมีข้อความค้างอยู่ก่อน อย่าคาดว่า DLQ จะเต็มระหว่างตัดสิทธิ์ เพราะข้อความย้ายไปที่นั่นได้ต้องถูกรับครบจำนวนครั้งที่ตั้งไว้ก่อน DLQ จึงเป็นสิ่งที่ต้องจับตาช่วงฟื้นตัว
หลังคืนสิทธิ์: ข้อความครบไหม และยังมีความหมายไหม
ให้กระทบยอดข้อความที่พยายามส่งกับที่ประมวลผลได้หลังฟื้นตัว รวมกับที่อยู่ใน DLQ และที่เก็บสำรองฝั่งผู้ส่ง ถ้าไม่ลงตัวคือมีข้อความหาย อีกคำถามที่มักถูกลืมคือข้อความที่รอดมายังควรทำอยู่หรือเปล่า หลังเหตุยาว ๆ บางคำขอผู้ใช้เลิกรอไปแล้ว การทำตามเจตนาที่ล้าสมัยกินกำลังช่วงฟื้นตัว ต้นฉบับแนะนำให้เทียบเวลาของข้อความตอนหยิบมาประมวลผล แล้วตั้งใจทิ้งหรือแยกสิ่งที่หมดความหมาย แทนการปล่อยให้หมดอายุเอง
แนวปฏิบัติที่ตามมาคือลองใหม่เฉพาะข้อผิดพลาดที่มีโอกาสสำเร็จ ใช้การรอแบบทวีคูณพร้อมสุ่มระยะ (exponential backoff with jitter) ผ่านค่าที่ SDK ของ AWS มีให้ ตั้ง DLQ ให้ทุกคิวโดยรับซ้ำราว 3 ถึง 5 ครั้ง และตั้งอายุเก็บของ DLQ ให้ยาวกว่าคิวต้นทาง เพราะคิวมาตรฐานนับอายุจากเวลาเข้าคิวครั้งแรก ไม่เริ่มนับใหม่เมื่อย้าย (ค่าเริ่มต้น 4 วัน สูงสุด 14 วัน)
สำหรับทีมในไทยที่ใช้คิวข้อความในระบบสั่งซื้อ ระบบแจ้งเตือน หรือระบบเชื่อมต่อกับคู่ค้า การทดลองแบบนี้เริ่มได้โดยไม่ต้องใช้เครื่องมือของ AWS ก็ได้ หลักการเดียวกันคือกำหนดสมมติฐาน สร้างความล้มเหลวในสภาพแวดล้อมทดสอบก่อน วัดผลด้วยตัวชี้วัดที่สะท้อนผลกระทบต่อลูกค้า และเตรียมทางถอยไว้เสมอ ทีมงาน Smart Cyber Tech รับย้ายระบบขึ้นคลาวด์และวางสถาปัตยกรรม พร้อมออกแบบการทดสอบความทนทานให้เหมาะกับขนาดของทีมและระบบที่ใช้จริง ปรึกษาได้ที่ แบบฟอร์มติดต่อ
สรุปสาระสำคัญ
- จำลองอะไร และเพื่อรู้อะไร
- สามอย่างที่ต้องมีก่อนกดเริ่ม
- กลไกตัดสิทธิ์ และจุดที่ล็อกตัวเองได้
แหล่งอ้างอิงเรียบเรียงจาก AWS Architecture Blog — Testing application resilience with Amazon SQS and AWS Fault Injection Service —
อ่านบทความต้นฉบับภาพปก: AWS Architecture Blog · ลิขสิทธิ์ภาพเป็นของเจ้าของต้นฉบับ ใช้ประกอบการรายงานพร้อมอ้างอิงแหล่งที่มา
มีคำถามเพิ่มเติมเกี่ยวกับบทความนี้? เขียนหาเราได้ที่
info@smart-cyber-tech.com
บริการที่เกี่ยวข้องจากทีมงาน Smart Cyber Tech
แบ่งปันบทความนี้:
LINE
Facebook
X
ปรึกษาทีมของเรา