Sau khi khảo sát xong, thứ còn lại trong tay chỉ là một mẫu và một giá trị trung bình. Để biết giá trị trung bình này gần với giá trị thật của tổng thể đến mức nào, ta phải làm lại cuộc khảo sát cả trăm lần, nhưng vì thời gian và chi phí nên trong thực tế gần như bất khả thi. Vậy có cách nào, chỉ với một cuộc khảo sát duy nhất, mà vẫn biết được kết quả có thể dao động nhiều đến đâu không?
Có cách. Đó là coi mẫu đang có như thể là tổng thể rồi lặp đi lặp lại việc lấy mẫu từ bên trong nó, và phương pháp này gọi là bootstrap (Bootstrapping). Đây là một kỹ thuật thống kê tận dụng sức tính toán của máy tính để tìm sai số và khoảng tin cậy của giá trị ước lượng mà không cần công thức phức tạp.
Trong bài này, chúng ta lần lượt xem bootstrap hoạt động theo nguyên lý nào, thực tế tính theo thứ tự ra sao, được dùng ở đâu, và cần thận trọng trong những tình huống nào.
Thống kê trong đó mẫu lại lấy mẫu
Ý tưởng lấy lại từ mẫu đang có
Bootstrap được nhà thống kê người Mỹ Bradley Efron giới thiệu năm 1979 trong bài báo "Các phương pháp bootstrap: Nhìn lại jackknife". Cái tên bắt nguồn từ một cách nói của phương Tây về việc tự nâng mình lên bằng cách kéo dây giày, mang ý nghĩa tự giải quyết chỉ bằng những gì mình có mà không cần sự giúp đỡ bên ngoài.
(1) Coi mẫu là bản thu nhỏ của tổng thể
Tổng thể thì không thể biết, nhưng mẫu thì ở ngay trước mắt. Ta giả định mẫu phần nào giống tổng thể, rồi đọc mức chênh lệch giữa dữ liệu lấy lại từ mẫu và chính mẫu như một phép so sánh với mối quan hệ giữa tổng thể và mẫu.
(2) Bỏ lại cái đã lấy
Cách này gọi là lấy mẫu có hoàn lại. Một giá trị đã được lấy ra vẫn có thể được lấy lại ở lần sau, nên dù từ cùng một mẫu, mỗi lần vẫn tạo ra một mẫu mới hơi khác.
(3) Gốc rễ là jackknife
Trước bootstrap đã có jackknife (Jackknife), phương pháp bỏ từng quan sát ra rồi tính lại để ước chừng sai số. Bootstrap tiến thêm một bước, tạo ra những mẫu đa dạng hơn nhiều nhờ lấy mẫu có hoàn lại.
Ý tưởng biến một cuộc khảo sát thành hàng nghìn cuộc khảo sát giả định là điểm khởi đầu của kỹ thuật này. Vì nó không thu thập dữ liệu mới mà chỉ xem đi xem lại thông tin đã có từ nhiều góc độ, nên ngay từ đầu cũng cần nhớ rằng nó không thể biết được những sự thật không nằm trong mẫu.
Thứ tự tính bootstrap
Quy trình đơn giản đến bất ngờ, chỉ cần một vòng lặp là viết được. Chẳng hạn, lấy có hoàn lại năm lần từ năm giá trị 1, 2, 3, 4, 5 sẽ ra một mẫu mới như 2, 5, 4, 4, 1, trong đó có giá trị bị lặp và có giá trị bị thiếu.
- Lấy mẫu lại (Resampling): Tạo một mẫu mới bằng cách lấy có hoàn lại sao cho bằng kích thước mẫu ban đầu.
- Tính thống kê (Statistic): Từ mẫu mới, tính giá trị muốn biết, ví dụ giá trị trung bình hoặc trung vị.
- Lặp lại (Repetition): Lặp lại quy trình trên thường từ 1.000 đến 10.000 lần rồi thu thập các giá trị.
- Đọc phân phối (Distribution): Vẽ các giá trị thu được thành biểu đồ tần suất thì thấy ngay giá trị ước lượng dao động nhiều hay ít.
Độ trải của phân phối thu được như vậy chính là sai số chuẩn, và nếu xếp các giá trị từ nhỏ đến lớn rồi cắt ở điểm 2,5 phần trăm từ dưới và 2,5 phần trăm từ trên, ta được khoảng tin cậy 95 phần trăm. Cách này gọi là phương pháp phân vị. Tăng số lần lặp thì kết quả ổn định hơn, nhưng không cho biết nhiều hơn lượng thông tin mà mẫu có. Ngoài ra, khi lấy có hoàn lại, xác suất một giá trị gốc không được lấy lần nào sẽ tiến gần khoảng 36,8 phần trăm khi mẫu càng lớn, nên trong mẫu mới có khoảng 63,2 phần trăm giá trị gốc xuất hiện như các giá trị khác nhau.
Những lĩnh vực dùng được dù không có công thức
Thống kê truyền thống tiện nhất với những giá trị có công thức quen thuộc như giá trị trung bình. Còn với những giá trị mà công thức sai số phức tạp hoặc hoàn toàn không có, như trung vị, hệ số tương quan và tỷ số chênh, bootstrap có thể áp dụng nguyên các bước như trên.
(1) Ước lượng khoảng tin cậy
Khi khó tin rằng dữ liệu tuân theo phân phối chuẩn, ta có thể tìm khoảng với ít giả định hơn. Cách này được dùng rộng rãi khi báo cáo mức bất định của khảo sát, dữ liệu lâm sàng và kết quả thí nghiệm.
(2) Bagging trong học máy
Bagging (Bagging) do Leo Breiman đề xuất năm 1996 huấn luyện riêng một mô hình cho từng mẫu bootstrap rồi gộp kết quả lại để dự đoán ổn định hơn. Cách làm này trở thành nền tảng của các phương pháp như rừng ngẫu nhiên.
(3) Độ tin cậy của cây phát sinh loài
Năm 1985, Joseph Felsenstein dùng bootstrap để đánh giá cây tiến hóa của sinh vật đáng tin đến mức nào. Độ tin cậy được tính bằng việc cùng một nhánh xuất hiện thường xuyên ra sao khi lấy lại dữ liệu và dựng cây nhiều lần.
(4) Kiểm tra độ ổn định của mô hình
Nếu lấy lại dữ liệu mà cùng một kết luận cứ lặp lại, ta có thể đánh giá kết quả phân tích là do ngẫu nhiên hay vững chắc.
Nhờ sự tiện lợi là tìm được sai số chỉ bằng một lần tính mà không phải suy ra công thức mới, bootstrap trở thành công cụ cơ bản ở nhiều lĩnh vực.
Những điều bootstrap không giải quyết được
Bootstrap không phải phép màu nên điều kiện sử dụng rất rõ ràng. Nếu dùng mà không biết những giới hạn này, ta sẽ nhận được một khoảng nghe có vẻ hợp lý nhưng sai.
(1) Mẫu tệ thì kết quả cũng tệ
Bootstrap chỉ lấy lại từ mẫu đang có, nên nếu mẫu ban đầu bị lệch về một phía thì sự lệch đó được giữ nguyên. Nó không thể sửa dữ liệu đã thu thập sai.
(2) Khi mẫu quá nhỏ hoặc khi xử lý giá trị cực đoan
Nếu chỉ có vài quan sát, hoặc ước lượng một giá trị ở cực đoan như giá trị lớn nhất, bootstrap có thể không phù hợp.
(3) Khi các giá trị gắn liền với nhau
Với dữ liệu như chuỗi thời gian, nơi giá trị trước và sau ảnh hưởng lẫn nhau, nếu lấy ngẫu nhiên từng giá trị một thì mối quan hệ đó bị phá vỡ. Khi đó người ta dùng bootstrap theo khối (Block Bootstrap), lấy các giá trị liên tiếp theo từng khối.
Một công cụ tốt tỏa sáng trong tay người biết phạm vi sử dụng của nó. Hỏi xem những gì mình có đáng tin đến đâu rồi múc câu trả lời từ bên trong đó, ấy là bước đầu tiên của bootstrap.
