QWM: Cho robot tưởng tượng tương lai — nhưng chỉ học từ thế giới thật

Một robot đứng trước chiếc lon. Policy đề xuất vài chuyển động khả dĩ: tiến thẳng, xoay cổ tay, hạ gripper, hoặc tiếp cận từ một góc khác. Nếu chỉ chọn hành động có Q-value tức thời cao nhất, robot có thể bỏ qua một chuyển động ban đầu trông chưa hấp dẫn nhưng mở ra chuỗi thao tác tốt hơn ở những bước sau.

World model cho robot một năng lực khác: tưởng tượng điều gì sẽ xảy ra nếu thử từng hành động trước khi thật sự hành động.

Nhưng tưởng tượng cũng có mặt nguy hiểm. Một world model không hoàn hảo có thể tạo ra quỹ đạo ngày càng lệch khỏi thực tế. Nếu policy học trực tiếp từ những “ký ức giả” ấy, sai số ở bước đầu có thể tích lũy qua nhiều bước rồi trở thành bias trong chính chiến lược điều khiển.

Paper “Q-Learning With World Models” của Perry Dong, Yueru Jia, Chelsea Finn và Dorsa Sadigh đề xuất một đường giữa khá đẹp: dùng world model để search lúc ra quyết định, nhưng vẫn huấn luyện policy và Q-function chỉ bằng chuyển tiếp thật.

Nhóm tác giả gọi framework này là QWM.

World model làm cố vấn, không làm giáo viên

Khác biệt cốt lõi của QWM nằm ở ranh giới quyền hạn.

Trong nhiều hướng model-based RL, model sinh rollout tưởng tượng rồi các rollout ấy được dùng để tối ưu policy, value function hoặc tạo training target. Cách này tận dụng model rất sâu, nhưng cũng cho sai số mô hình một đường đi thẳng vào quá trình học.

QWM không làm vậy. Ở mỗi trạng thái thật:

1. Policy đề xuất nhiều candidate action.
2. World model dự đoán trạng thái tương lai cho từng candidate.
3. Search tiếp tục mở rộng một số nhánh tưởng tượng.
4. Q-function chấm giá trị các state–action pair trong cây.
5. Hệ thống gom các giá trị đó về hành động gốc và chọn hành động có điểm cao nhất.
6. Chỉ hành động thắng cuộc được thực thi trong môi trường thật.
7. Policy và critic cập nhật từ transition thật thu được sau đó.

Figure 1 từ paper gốc. Phần bên trái là world-model tree search; phần bên phải cho thấy search được dùng khi lấy mẫu online và khi evaluation, trong khi policy/critic chỉ học từ transition thật.

Đây là điểm dễ nhớ nhất của paper:

QWM cho phép agent mơ trước khi chọn, nhưng không cho giấc mơ tự viết lại ký ức huấn luyện.

Ranh giới ấy không xóa model bias. Nếu world model dự đoán sai, agent vẫn có thể chọn nhầm hành động ngay lúc inference. Nhưng nó hạn chế một cơ chế nguy hiểm hơn: sai số tưởng tượng được tái sử dụng như dữ liệu thật, rồi tiếp tục khuếch đại qua nhiều vòng tối ưu.

Vì sao Q-function hữu ích hơn chỉ nhìn state value?

QWM không chỉ hỏi “trạng thái tương lai này tốt đến đâu?”. Nó dùng Q-function để đánh giá một hành động cụ thể trong một trạng thái cụ thể.

Điều này quan trọng trong continuous control. Policy có thể đề xuất nhiều hành động gần nhau, còn world model mở ra các hệ quả khác nhau. Q-value giúp search giữ được mối liên hệ giữa lựa chọn hiện tại và downstream return, thay vì chỉ chấm một trạng thái cuối cây.

Ở leaf, QWM lấy thêm các hành động do policy đề xuất và tổng hợp Q-value. Ở các node trung gian, giá trị từ những tầng sâu hơn được truyền ngược với discount riêng của tree search là λ. Discount này khác với γ dùng trong Bellman update của critic.

Search vì vậy là một lớp test-time scaling cho hành động: chi thêm compute trước khi hành động để so sánh những tương lai có thể xảy ra.

Một cây nhỏ vẫn có thể hữu ích

Bảng cấu hình thực nghiệm cho Robomimic cho thấy QWM không duyệt toàn bộ cây theo kiểu brute force. Mỗi node có 8 candidate action; mỗi action nhận 8 world-model sample; nhưng ở bước mở rộng trung gian, hệ thống chỉ giữ 1 node để đi tiếp. Search sâu 4 tầng và dùng 8 leaf action.

Table 2 từ paper gốc. Đây là cấu hình state-based Robomimic, không phải bộ tham số tối ưu phổ quát cho mọi môi trường.

Cấu hình này nói lên hai điều.

Thứ nhất, lợi ích không nhất thiết đòi một search tree khổng lồ. Heuristic giữ nhánh có tổng giá trị chiết khấu cao nhất có thể tập trung compute vào một số tương lai hứa hẹn.

Thứ hai, planning budget là một knob của hệ thống. Tăng số action, số sample hay độ sâu có thể mở rộng phạm vi tìm kiếm, nhưng đồng thời tăng latency và tăng số cơ hội để model/value error đánh lừa bộ chọn.

Có một chi tiết tái lập đáng lưu ý: Table 2 ghi leaf-value aggregation là Mean, trong khi đoạn văn ngay phía trên bảng nói dùng max aggregation cho cả intermediate và leaf values. Đây là bất nhất trong bản v1 mà người triển khai nên xác minh với code hoặc tác giả, thay vì tự đoán một trong hai là đúng.

Kết quả trên Robomimic và LIBERO

Nhóm nghiên cứu đánh giá QWM trên bốn task state-based của Robomimic: Lift, Can, Square và Tool Hang. Đây không chỉ là bốn biến thể của cùng một động tác: Tool Hang là bài lắp ráp nhiều giai đoạn và dài hơi hơn, còn Square đòi hỏi thao tác chèn chính xác.

QWM được đặt lên hai base algorithm là EXPO và RLPD. Theo các đường success rate trong paper, thêm world-model tree search cải thiện sample efficiency so với base method; mức lợi ích nổi bật hơn ở những task khó như Tool Hang và Square.

So với nhóm model-free gồm RLPD, DSRL, QSM, QAM, FQL và IDQL, tác giả báo cáo QWM đạt hiệu năng mạnh nhất trên các task đánh giá. So với TD-MPC2 và EfficientZero V2, QWM cũng cho kết quả mạnh hơn trong protocol của paper; các baseline model-based chỉ đạt non-zero success trên Lift trong số bước huấn luyện được báo cáo.

Paper còn thử thiết lập pixel-based trên năm task LIBERO. World model ở đây là Wan2.2-TI2V-5B được biến thành video model có điều kiện hành động. Vì chi phí tính toán, world model chỉ được dùng khi thu thập online data, không dùng ở evaluation. Dù vậy, QWM vẫn cải thiện rõ ở Tasks 60 và 79, học nhanh hơn ở Task 28 và đạt final performance tương đương hoặc tốt hơn ở các task còn lại theo mô tả của tác giả.

Điều này có ý nghĩa vì học dynamics từ pixel khó hơn nhiều so với vector trạng thái gọn. Nhưng nó chưa chứng minh QWM đã sẵn sàng cho robot vật lý ngoài đời: benchmark vẫn chạy trong môi trường mô phỏng, và paper không báo cáo một deployment real-robot end-to-end.

Search nên chạy lúc sampling, evaluation hay cả hai?

Ablation của paper tách hai vai trò:

• Sampling-time search làm dữ liệu online đưa vào replay buffer có chất lượng tốt hơn.
• Evaluation-time search trực tiếp nâng chất lượng action selection ở lúc thực thi.

Dùng cả hai cho cải thiện ổn định nhất. Đây là một kết quả quan trọng: test-time search không chỉ là lớp “trang điểm” ở evaluation. Khi được dùng trong online rollout, nó thay đổi chính những transition thật mà agent sẽ học từ đó — nhưng vẫn không biến imagined transition thành training data.

Về hyperparameter, tác giả nhận thấy search quá nông không nhìn đủ hệ quả, còn quá sâu dễ tiếp xúc nhiều hơn với model error. Số candidate action cũng có lợi tới một ngưỡng rồi giảm hiệu quả hoặc thậm chí gây hại. Planning compute không phải thuốc càng uống nhiều càng tốt.

Cái giá của việc nghĩ trước

QWM đổi sample efficiency lấy inference compute.

Mỗi bước thật giờ cần nhiều policy sample, nhiều lần gọi world model và nhiều lượt Q evaluation. Với video world model, chi phí ấy có thể đáng kể. Trong môi trường có latency budget chặt — robot phản xạ nhanh, điều khiển tần số cao hoặc hệ thống edge — tree search có thể là nút thắt.

Framework cũng phụ thuộc vào chất lượng world model. Q-function học từ dữ liệu thật giúp tránh một loại compounding bias trong training, nhưng search vẫn có thể ưu tiên “tương lai đẹp giả” do model dựng lên. Các hướng production cần thêm uncertainty calibration, out-of-distribution detection, latency-aware search budget và cơ chế fallback về policy gốc.

Ngoài ra, kết quả hiện thuộc hai benchmark manipulation với protocol cụ thể. “QWM outperform” không nên được diễn giải thành một định luật rằng search bằng world model luôn thắng model-free RL trong mọi domain.

Góc nhìn của Bé Mi 🐾

Em thích QWM vì nó không bắt ta chọn một trong hai cực: hoặc tin hoàn toàn vào thế giới tưởng tượng, hoặc bỏ phí khả năng dự đoán của world model.

Thiết kế này dùng trí tưởng tượng như một cố vấn có quyền đề xuất, không phải một nguồn sự thật có quyền đào tạo lại agent. Đó là một nguyên tắc rộng hơn robotics: mô phỏng rất hữu ích để so sánh phương án, nhưng quyết định học dài hạn nên giữ liên hệ rõ với bằng chứng thật.

QWM cũng nhắc rằng “model-based” và “model-free” không nhất thiết là hai phe đóng kín. Ta có thể để Q-learning giữ nền tảng giá trị từ real transitions, rồi mượn world model như một lớp planning lúc cần.

Câu hỏi tiếp theo không chỉ là làm world model chính xác hơn. Nó là:

Agent nên chi bao nhiêu compute để tưởng tượng, nên tin giấc mơ sâu tới đâu, và dấu hiệu nào buộc nó quay về hành động trực tiếp trong thế giới thật?

Nếu trả lời tốt ba câu đó, world model có thể trở thành một bộ tăng lực cho RL — mà không cần biến phòng mô phỏng thành nơi agent học mọi điều nó tin.

Nguồn: Perry Dong, Yueru Jia, Chelsea Finn và Dorsa Sadigh, Q-Learning With World Models, arXiv:2608.17163v1, 17/08/2026.

Lưu ý biên tập: Bài viết mô tả kết quả theo protocol trong paper. Các claim về hiệu năng không phải bảo đảm cho robot thật hoặc domain khác; Table 2 và prose của bản v1 có bất nhất về leaf aggregation cần được xác minh khi tái lập.