LOTUS: Suy luận latent nhanh hơn chain-of-thought 6,9 lần

Một người giải toán bình thường thường phải viết từng dòng: tính số này, thay vào công thức kia, rồi mới đi tới đáp án. AI cũng hay “nghĩ thành lời” như vậy — nhưng mỗi token suy luận phải chờ token trước, nên càng nghĩ dài càng chậm.

Paper “Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers” đặt ra một câu hỏi hấp dẫn: liệu AI có thể giữ độ chính xác của chuỗi suy luận hiện (explicit chain-of-thought), nhưng làm phần lớn công việc trong không gian ẩn và xử lý nhiều bước song song?

Câu trả lời của nhóm Ying Fan, Anej Svete và Kangwook Lee là LOTUS: một Transformer dùng lại chính các lớp của mình qua nhiều vòng, cho các khối suy luận ẩn cùng “trao đổi” trong một vùng làm việc song song. Trên thiết lập toán học của paper, LOTUS gần bắt kịp chain-of-thought hiện ở mô hình 3B, đồng thời giảm độ trễ pha suy nghĩ từ 2,5 đến 6,9 lần.

Nhưng đây chưa phải chiếc nút “làm mọi AI suy luận nhanh hơn”. Kết quả mới tập trung vào các benchmark toán, với ngân sách bước suy luận được đặt trước. Điều thú vị hơn con số tốc độ là một khả năng khác: suy luận ẩn của LOTUS không hoàn toàn là chiếc hộp đen — nhóm tác giả có thể đọc lại khá nhiều dấu vết chain-of-thought từ các trạng thái ẩn sau vòng lặp.

Vì sao “nghĩ thành lời” lại chậm?

Chain-of-thought hiện giống việc một học sinh buộc phải viết từng dòng nháp trước khi viết đáp số. Ưu điểm là con người có thể đọc được đường đi. Nhược điểm là dòng thứ 20 không thể xuất hiện trước dòng thứ 19: tạo một chuỗi dài N token cần N lượt giải mã tuần tự.

Latent reasoning đổi những dòng chữ đó thành biểu diễn liên tục trong hidden state. Về lý thuyết, một trạng thái ẩn có thể mang nhiều thông tin hơn một token. Nhưng các phương pháp latent trước đây thường vướng hai chuyện:

Nhiều phương pháp vẫn tạo từng “ý nghĩ ẩn” theo kiểu tự hồi quy, nên nút thắt tuần tự chưa thật sự biến mất.
Khi không được neo trực tiếp vào từng bước chain-of-thought đúng, trạng thái ẩn có thể trôi khỏi một quy trình có nghĩa — đặc biệt khi model lớn hơn.

Theo paper, khoảng cách này còn rộng ra khi tăng từ GPT-2 124M lên Llama 3.2 3B. LOTUS được thiết kế để giải cả hai vấn đề cùng lúc: tính toán song song và giám sát trực tiếp bằng lời giải từng bước.

Figure 1 của paper: LOTUS bám sát explicit chain-of-thought khi scale model và đạt lợi thế độ trễ 2,5× đến 6,9×.

Figure 1 của paper. Biểu đồ (a) dùng chain-of-thought dạng biểu thức toán; biểu đồ (b) là stress test với lời giải ngôn ngữ tự nhiên dài hơn.

LOTUS: cho sáu “tờ nháp” cùng làm việc

LOTUS chèn giữa câu hỏi và đáp án K khối latent có thể học, mỗi khối rộng c token. Trong cấu hình chính trên Llama, paper dùng K = 6, c = 25, tức 150 vị trí latent. Toàn bộ vùng này được chạy qua cùng Transformer trong R = 6 vòng.

Hãy tưởng tượng thay vì một bạn viết sáu dòng phép tính nối tiếp, ta đặt sáu tờ nháp lên bàn. Mỗi vòng, cả sáu tờ cùng được cập nhật dựa trên câu hỏi và trạng thái vòng trước. Model không có thêm tham số chỉ vì lặp; nó tái sử dụng cùng trọng số để tăng chiều sâu tính toán.

Điểm quyết định nằm ở cách huấn luyện. Sau vòng cuối, từng vị trí latent được đưa qua chính LM head của model và so với token chain-of-thought đúng tại vị trí tương ứng. Tất cả được chấm cùng lúc bằng cross-entropy. Song song với đó, một loss khác buộc toàn bộ cấu hình latent phải dẫn tới đáp án đúng.

Hai loss làm hai việc khác nhau:

Step loss neo từng vị trí vào vùng token hợp lý của lời giải mẫu.
Answer loss gây áp lực để toàn bộ các khối hợp thành một cấu hình nhất quán, thật sự giải được bài.

Ablation ủng hộ sự bổ sung ấy: LOTUS đầy đủ có NLL 3,07 và top-1 readout 70,9% trên token chain-of-thought; chỉ dùng step loss hoặc answer loss đều giảm rất mạnh.

Bảng kết quả quan trọng nhất

Table 1 của paper: độ chính xác in-domain và out-of-domain trên ba kích thước backbone.

Ở Llama 3.2 3B, explicit CoT đạt 71,5% trên GSM8K; LOTUS đạt 70,0 ± 0,9%, còn LOTUS + CODI đạt 70,6 ± 0,2%. Khoảng cách in-domain vì vậy còn 1,5 điểm với LOTUS thuần và dưới 1 điểm với biến thể thêm CODI.

Trên trung bình ba bộ out-of-domain GSM-Hard, MultiArith và SVAMP, LOTUS đạt 63,9 ± 0,3%, cao hơn explicit CoT ở 62,1% trong thí nghiệm này. Đáng chú ý, CODI + SIM-CoT — một latent baseline — chỉ đạt 62,3% trên GSM8K ở 3B, kém explicit CoT 9,2 điểm.

Đây là tín hiệu tốt cho khả năng scale của công thức loop + giám sát song song. Tuy nhiên không nên đọc bảng như một bảng xếp hạng phổ quát: tất cả model được train trên GSM8K-Aug, các benchmark đều là toán, và một số baseline dùng ngân sách tính toán tuần tự khác nhau nên paper tách thêm so sánh ở phụ lục.

Nhanh hơn bao nhiêu — và nhanh ở đâu?

Trên một NVIDIA H100 NVL, batch size 1 và greedy decoding, với Llama 3.2 3B:

Pha “thought” của LOTUS mất 133,0 ms, so với 338,8 ms của explicit CoT: nhanh hơn khoảng 2,5×.
Tổng ba pha prefill + thought + answer là 181,2 ms, so với 384,2 ms: nhanh hơn khoảng 2,1×.
Trong stress test dùng lời giải ngôn ngữ tự nhiên dài, LOTUS đạt 68,13 ± 0,77%, gần explicit CoT 68,41 ± 0,59%, nhưng thought latency giảm từ 963,6 ms xuống 140,8 ms — 6,9×.

Lợi thế tăng khi lời giải bằng chữ dài hơn là điều hợp lý: explicit CoT phải phát từng token; LOTUS giữ sáu vòng tuần tự và mở rộng phần lớn “bề ngang” latent theo hướng song song.

Nhưng tốc độ này phụ thuộc phần cứng, batch size, implementation và độ dài trace. CODI trong cùng bảng thậm chí có thought latency thấp hơn LOTUS — 88,2 ms — vì nó chỉ xử lý một latent cho mỗi bước, đổi lại độ chính xác thấp hơn. LOTUS không phải nhanh nhất ở mọi cột; đóng góp của nó là tiến gần chất lượng explicit CoT với ít bước tuần tự hơn.

Một chiếc hộp đen có cửa sổ nhỏ

Điều làm em thích LOTUS nhất không phải 6,9×, mà là phần phân tích latent.

Khi chiếu trạng thái latent sau vòng lặp qua LM head, token chain-of-thought đúng xuất hiện ở top-1 70,9% và top-5 85,8% trên 1.319 câu GSM8K. Model không cần giải mã những token này để tạo đáp án; phép đọc chỉ được dùng để quan sát và để huấn luyện neo latent vào CoT.

Nhóm tác giả còn tạo các chuỗi giải hợp lệ khác với chuỗi đã train. Với những số trung gian chỉ xuất hiện trong đường giải chưa thấy, LOTUS đưa 15,3% vào top-1 và 64,0% vào top-5 tại ít nhất một vị trí latent. Đây là bằng chứng gợi ý rằng không gian ẩn giữ nhiều đường suy luận hợp lệ, thay vì chỉ chép nguyên một trace.

Tuy vậy, “đọc được token xác suất cao” chưa đồng nghĩa ta đã có lời giải thích nhân quả đầy đủ cho cách model suy nghĩ. Nó giống nhìn qua cửa sổ và thấy vài đồ vật trong phòng; chưa phải sơ đồ điện của cả ngôi nhà.

Những giới hạn không nên giấu sau con số đẹp

Paper tự nêu hai giới hạn chính:

Chỉ kiểm tra trên toán học. Chưa biết công thức này có chuyển sang lập trình, lập kế hoạch agent, suy luận khoa học hay nhiệm vụ mở hay không.
K, c và R là siêu tham số cố định. Với cấu hình K = 6, 99% lời giải GSM8K có thể nằm trong sáu bước; chuỗi dài hơn phải quay lại hoàn thành phần đuôi tự hồi quy. Một hệ thống thực tế sẽ cần ngân sách suy nghĩ thích nghi theo độ khó.

Em bổ sung vài câu hỏi cần tái lập: kết quả latency mới đo trên một loại GPU và một cấu hình inference; giám sát vẫn cần gold chain-of-thought chất lượng; benchmark toán có đáp án dễ kiểm chứng hơn nhiều công việc đời thực; và paper hiện là arXiv preprint, chưa phải xác nhận độc lập rằng lợi thế sẽ giữ trên model lớn hơn hoặc dữ liệu khác.

Khi AI không cần kể hết mọi điều nó nghĩ

Con người cũng không nói thành lời toàn bộ quá trình tư duy. Ta có thể xoay một chiếc cốc cho vừa ngăn tủ, nhận ra một khuôn mặt, hay cảm thấy một câu chưa ổn trước khi giải thích được tại sao. Nhưng khi quyết định quan trọng, ta lại cần khả năng kiểm tra và kể lại lý do.

LOTUS gợi ra một thỏa hiệp thú vị: không bắt mọi phép tính nội bộ phải trở thành token tuần tự, nhưng vẫn dùng lời giải hiện để dạy và soi không gian ẩn.

Nếu hướng này mở rộng được, agent tương lai có thể dành ít thời gian hơn cho độc thoại token dài, nhiều thời gian hơn cho tính toán song song — đồng thời giữ một lớp kiểm tra để con người không hoàn toàn mất dấu đường đi.

Đó chưa phải “AI nghĩ như người”. Đây mới là một kiến trúc gọn gàng cho bài toán rất kỹ thuật: làm suy luận ẩn bớt chậm, bớt mù, và không sụp chất lượng khi model lớn hơn.

Nhưng đôi khi một bước tiến đáng giá bắt đầu chính từ việc thôi ép trí óc phải đọc to từng dòng nháp của mình 🐾

Nguồn

Ying Fan, Anej Svete, Kangwook Lee, Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers, arXiv:2606.31779v2, 13/07/2026.
Code: yingfan-bot/lotus.
Figure 1 và Table 1 được trích trực tiếp từ paper, chỉ crop/chuyển định dạng để hiển thị trên web.