Đến nội dung chính
Thư viện GKNơi khơi nguồn tò mò
Tiếng Việt

Vì sao lại cố tình tắt máy chủ, kỹ thuật hỗn loạn (Chaos Engineering)

Có lốp dự phòng trong cốp xe không có nghĩa là khi bị thủng lốp giữa đường, bạn thật sự thay được bánh xe. Nếu chưa từng làm, có lẽ bạn còn không biết phải đặt kích ở đâu. Các dịch vụ internet chạy trên vô số máy chủ cũng vậy: chuẩn bị sẵn thiết bị dự phòng và thật sự trụ vững trong một sự cố thực tế là hai chuyện hoàn toàn khác nhau. Vì thế, một số doanh nghiệp cố tình gây lỗi cho những dịch vụ đang chạy bình thường, và cách làm này được gọi là ‘kỹ thuật hỗn loạn (Chaos Engineering)’.

Nói một cách đơn giản, kỹ thuật hỗn loạn là ‘phương pháp cố tình gây sự cố cho hệ thống bằng các thí nghiệm, nhằm tích lũy niềm tin rằng hệ thống có thể trụ vững ngay cả giữa những xáo trộn khó lường’. Phương pháp này trở nên phổ biến vào năm 2011, khi Netflix, lúc đó đang chuyển lên đám mây, giới thiệu một công cụ tắt ngẫu nhiên các máy chủ đang phục vụ khách hàng thật.

Trong bài viết này, chúng ta sẽ lần lượt tìm hiểu vì sao Netflix thả một ‘con khỉ’ vào phòng máy chủ, bốn bước mà một thí nghiệm hỗn loạn trải qua, phạm vi thí nghiệm đã mở rộng thành cả một đội quân khỉ, và những nguyên tắc để phá hệ thống một cách an toàn.


Ngành kỹ thuật chủ động tạo ra sự cố thay vì chờ nó xảy ra

1. Vì sao Netflix thả khỉ vào phòng máy chủ

Trên lối vào nhà ngập nắng, một người đàn ông quỳ một gối, dùng cờ lê vặn lỏng bánh sau của chiếc xe màu bạc để thay lốp dự phòng

Tháng 8 năm 2008, cơ sở dữ liệu trong trung tâm dữ liệu riêng của Netflix bị hỏng nặng, khiến công ty không thể gửi đĩa DVD trong ba ngày. Từ sự việc này, ngay trong năm đó Netflix bắt đầu chuyển dịch vụ lên đám mây của Amazon Web Services (AWS) và thiết kế hệ thống với giả định rằng một số trong rất nhiều máy chủ có thể hỏng bất cứ lúc nào.

(1) Chỉ có lốp dự phòng là chưa đủ
Tháng 7 năm 2011, blog kỹ thuật của Netflix viết rằng có lốp dự phòng không bảo đảm bạn xử lý được khi thủng lốp. Muốn thật sự sẵn sàng, bạn phải cố tình chọc thủng lốp ngay trước nhà rồi tập thay; việc luyện tập vốn tốn kém ngoài đời thực này lại có thể tự động hóa trên đám mây mà gần như không tốn chi phí.

(2) Chaos Monkey ra đời
Công cụ được tạo ra cho mục đích đó là Chaos Monkey. Nó chọn ngẫu nhiên các máy chủ đang phục vụ khách hàng thật rồi tắt đi, sau đó kiểm tra xem khách hàng có còn dùng dịch vụ bình thường mà không bị ảnh hưởng hay không. Cái tên xuất phát từ hình ảnh một con khỉ xông vào trung tâm dữ liệu và phá thiết bị lung tung; năm 2012, mã nguồn của nó được công bố theo giấy phép Apache 2.0.

(3) Cố tình gây lỗi trong giờ làm việc
Chaos Monkey hoạt động trong giờ làm việc các ngày trong tuần, khi các kỹ sư đang theo dõi. Mục đích là tìm ra điểm yếu vào lúc có thể xử lý ngay khi có vấn đề, rồi sửa để lần sau hệ thống tự phục hồi mà không cần con người can thiệp.


2. Bốn bước của một thí nghiệm hỗn loạn

Lối đi giữa các tủ máy chủ trong trung tâm dữ liệu với đèn trạng thái xanh lá và xanh dương, chỉ có một tủ bên phải bật đèn cảnh báo màu cam và đỏ

Kỹ thuật hỗn loạn không phải là phá máy chủ một cách tùy tiện, mà là một quá trình đặt giả thuyết và kiểm chứng giống như thí nghiệm khoa học. Bộ ‘Nguyên tắc của kỹ thuật hỗn loạn (Principles of Chaos Engineering)’ do các kỹ sư Netflix soạn ra mô tả thí nghiệm qua bốn bước sau.

Đồ họa thông tin về kỹ thuật hỗn loạn: phía trên là bốn bước nối bằng mũi tên — xác định trạng thái ổn định (đồ thị sóng), đặt giả thuyết (bóng đèn), đưa lỗi vào (máy chủ bị sét đánh) và kiểm tra khác biệt (kính lúp); phía dưới, nhóm đối chứng ba máy chủ và nhóm thử nghiệm có một máy chủ bị sét đánh được so sánh bằng dấu bằng với cùng một đồ thị, biểu tượng hồng tâm ở góc dưới bên trái thể hiện việc giảm thiểu bán kính ảnh hưởng
Đồ họa thông tin cho thấy bốn bước của một thí nghiệm kỹ thuật hỗn loạn và cách so sánh trạng thái ổn định của nhóm thử nghiệm bị đưa lỗi vào với nhóm đối chứng được giữ nguyên.
  • Trạng thái ổn định (Steady State): Các chỉ số đo được như thông lượng, tỷ lệ lỗi hay độ trễ phản hồi, cho thấy hệ thống đang vận hành bình thường.
  • Giả thuyết (Hypothesis): Dự đoán rằng trạng thái ổn định sẽ được duy trì ở cả nhóm thử nghiệm bị đưa lỗi vào lẫn nhóm đối chứng được giữ nguyên.
  • Đưa lỗi vào (Fault Injection): Cố tình tạo ra những sự kiện có thể xảy ra ngoài thực tế, như máy chủ bị tắt hay kết nối mạng bị cắt.
  • Nhóm đối chứng và nhóm thử nghiệm (Control Group and Experimental Group): Xem trạng thái ổn định của hai nhóm có xuất hiện khác biệt hay không để kiểm tra xem có bằng chứng bác bỏ giả thuyết không.

Điểm đặc biệt của thí nghiệm này là quan sát kết quả bộc lộ ra bên ngoài thay vì soi từng chi tiết bên trong hệ thống. Càng không tìm thấy khác biệt giữa hai nhóm, niềm tin rằng hệ thống chịu được xáo trộn càng lớn; còn nếu tìm thấy khác biệt, nghĩa là đã phát hiện ra một điểm yếu cần sửa trước khi sự cố thật bùng phát.


3. Thí nghiệm mở rộng thành đội quân khỉ

Nhìn từ trên cao xuống một khu trung tâm dữ liệu lớn với ba cụm tòa nhà nằm tách biệt giữa những cánh đồng xanh

Khi Chaos Monkey chứng tỏ được hiệu quả, Netflix lần lượt tạo ra các công cụ phụ trách nhiều loại sự cố khác nhau và gọi chúng là ‘Simian Army’, tức đội quân khỉ. Phạm vi thí nghiệm cũng mở rộng từ một máy chủ sang cả trung tâm dữ liệu, rồi đến toàn bộ một khu vực.

(1) Chậm đi cũng là sự cố
Latency Monkey cố tình thêm độ trễ vào việc liên lạc giữa các máy chủ để mô phỏng tình huống dịch vụ bị chậm. Nếu cho độ trễ thật dài, có thể thử tình huống giống như dịch vụ ngừng hoạt động mà không cần thật sự tắt máy chủ nào.

(2) Dọn máy chủ vi phạm quy tắc và tài nguyên bỏ không
Conformity Monkey tìm và tắt những máy chủ vi phạm thực hành tốt nhất, chẳng hạn không thuộc nhóm tự động mở rộng, còn Janitor Monkey tìm và dọn những tài nguyên không còn dùng để giữ cho đám mây gọn gàng.

(3) Thí nghiệm tắt cả trung tâm dữ liệu và toàn khu vực
Chaos Gorilla mô phỏng tình huống cả một vùng khả dụng (Availability Zone) của AWS ngừng hoạt động, còn Chaos Kong tắt toàn bộ một khu vực (Region). Việc Netflix chuyển dịch vụ của một khu vực sang khu vực khác ban đầu mất khoảng 50 phút, nhưng sau đó rút xuống còn khoảng 6 phút.


4. Những nguyên tắc để phá hệ thống một cách an toàn

Tại bãi huấn luyện cứu hỏa, ba lính cứu hỏa đội mũ bảo hộ và mặc đồ chống cháy dùng vòi phun nước vào ngọn lửa được kiểm soát bên trong khung huấn luyện bằng thép

Ý tưởng cố tình gây sự cố khá giống một buổi diễn tập chữa cháy. Thực tế, năm 2003, Jesse Robbins ở Amazon đã lấy cảm hứng từ việc huấn luyện lính cứu hỏa để tạo ra ‘Game Day’, ngày cố tình gây ra những sự cố lớn theo lịch định sẵn. Tuy nhiên, cũng như ngọn lửa tập luyện không được lan ra ngoài khu vực quy định, thí nghiệm hỗn loạn cũng có những nguyên tắc phải tuân thủ.

(1) Giảm thiểu bán kính ảnh hưởng
Việc giảm tối đa thiệt hại mà thí nghiệm có thể gây ra cho khách hàng được gọi là ‘giảm thiểu bán kính ảnh hưởng (Blast Radius)’. Thí nghiệm bắt đầu ở phạm vi nhỏ, mở rộng dần khi không có vấn đề, và phải có thể dừng ngay khi thấy bất thường.

(2) Trong môi trường vận hành thật, một cách tự động
Vì hệ thống hoạt động khác nhau tùy môi trường và lưu lượng truy cập, các nguyên tắc khuyến nghị thí nghiệm ngay trong môi trường vận hành thật. Ngoài ra, thí nghiệm làm thủ công khó duy trì lâu dài, nên cần tự động hóa cả thí nghiệm lẫn việc phân tích kết quả để lặp lại đều đặn.

(3) Không chỉ sự cố mà cả những sự kiện bất ngờ
Đối tượng thí nghiệm không chỉ là hỏng hóc phần cứng hay lỗi phần mềm mà còn cả những sự kiện không phải sự cố, như lượng truy cập tăng vọt đột ngột. Các sự kiện được xếp thứ tự ưu tiên để thử nghiệm dựa trên mức độ ảnh hưởng hoặc khả năng thường xảy ra.

Kỹ thuật hỗn loạn xuất phát không hẳn từ nỗ lực loại bỏ hoàn toàn sự cố, mà từ thái độ chấp nhận rằng sự cố nhất định sẽ xảy ra và chủ động trải qua nó trước. Sự cố là điều không tránh khỏi, vậy thà trải qua nó trước vào thời điểm do chính mình chọn – ý nghĩ đơn giản ấy chính là bước đầu tiên để hiểu kỹ thuật hỗn loạn.

Lưu bài viết dưới dạng PDF

Mua phiên bản bài viết bằng ngôn ngữ bạn đang đọc.

US$1.00
Ngôn ngữ đã chọn: Tiếng Việt

US$1.00 · một bài viết · một ngôn ngữ

Chọn cách mua

Mua với tư cách thành viên
  • Đăng nhập trên bất kỳ thiết bị nào để tải lại
  • Được lưu trong lịch sử mua hàng
Mua không cần tài khoản
  • Thanh toán ngay, không cần đăng ký
  • Tải lại trên trình duyệt này
  • Trên thiết bị khác, dùng liên kết riêng hiển thị sau khi mua
  • Nếu sau này đăng nhập thành viên trên trình duyệt này, giao dịch sẽ được chuyển vào tài khoản của bạn
  • Nếu làm mất liên kết và xóa cookie trình duyệt, bạn có thể không tải lại được

Đang kiểm tra giao dịch mua…

Thông tin người bán

Tên doanh nghiệp
아카이지
Người đại diện
안호원
Mã số đăng ký kinh doanh
530-02-04118
Số khai báo bán hàng trực tuyến
2026-경기군포-0626
Cơ quan tiếp nhận
경기도 군포시
Địa chỉ kinh doanh
경기도 군포시 산본천로 119-9, 1109동 405호 (산본동, 주공아파트)
Nhà cung cấp dịch vụ lưu trữ
카페24(주)
Email liên hệ
sgjjojo@gmail.com
Số điện thoại liên hệ
010-4194-0821

Xác minh thông tin người bán (KFTC)