MACE: Vì sao AI agent không biết khám phá đồng đội?

Nếu vào một đội mới, hỏi đúng một người rồi từ đó chuyện gì cũng chạy sang người ấy, ta chưa thật sự tìm được đồng đội tốt nhất. Ta chỉ tìm được người đầu tiên khiến mình thấy yên tâm.

Paper “Multi-Agent LLMs Fail to Explore Each Other” chỉ ra một nghịch lý khá đau: LLM có thể giải thích rất hay về cân bằng exploration–exploitation, nhưng khi tự chọn agent khác để hỏi, chúng thường chốt quá sớm. Một tín hiệu thành công hoặc thất bại ban đầu có thể khiến agent bám chặt vào một peer suốt phần còn lại — kể cả khi peer ấy kém hơn.

Nhóm Hyeong Kyu Choi, Jiatong Li, Wendi Li, Xin Eric Wang và Sharon Li gọi đây là Multi-Agent Exploration problem. Họ đề xuất MACE — Multi-Agent Contextual Exploration, một lớp chọn peer nhẹ dựa trên contextual bandit. Thay vì cầu mong LLM “tự nhớ phải tò mò”, MACE biến sự tò mò thành một phần có cấu trúc của thuật toán.

Kết quả trung tâm không phải “nhiều agent luôn tốt hơn”. Nó tinh tế hơn: một xã hội agent chỉ hữu ích khi từng agent biết tìm đúng người, thử đủ người và sẵn sàng sửa niềm tin ban đầu.

Bài kiểm tra hai đồng đội: thông minh vẫn có thể bảo thủ

Thí nghiệm mở đầu rất đơn giản. Một LLM phải giao 50 câu số học cho peer A hoặc B. A trả lời đúng với xác suất 0,6; B là 0,5. Sau mỗi lượt, agent thấy lịch sử thành công/thất bại và số lần đã chọn mỗi peer.

Một chiến lược khám phá tốt phải thử cả hai đủ lâu, rồi nghiêng dần về A. UCB — thuật toán bandit cổ điển — làm đúng như vậy. Ngược lại, Qwen2.5-7B, GPT-4 và cả GPT-5 tạo phân bố hai cực: nhiều lần chạy chọn A gần như 0/50 hoặc gần như 50/50. Nghĩa là model thường “phải lòng” một lựa chọn trong vài lượt đầu rồi ít khi xem xét lại.

Đây không chỉ là lỗi của model nhỏ. Nó giống một lỗi cấu trúc trong cách LLM biến lịch sử thành quyết định tuần tự: biết kể câu chuyện hợp lý về dữ liệu chưa đồng nghĩa biết quản lý bất định một cách có kỷ luật.

Từ một lựa chọn đơn giản đến xã hội agent

Trong hệ đa agent thật, mỗi peer không phải cánh tay máy cố định. Peer cũng đang học từ những tương tác khác; context của họ có thể khác nhau; năng lực có thể đến từ model, tool hoặc ký ức khác nhau. Tác giả mô hình hóa bài toán như một partially observable stochastic game (POSG): mỗi agent chỉ thấy những peer mà mình đã hỏi, trong khi trạng thái chung và năng lực thật của cả mạng lưới vẫn ẩn.

Giải chính xác POSG hữu hạn là quá khó. MACE giảm bài toán chung thành một contextual bandit cho từng agent. Với mỗi cặp agent chọn → peer được chọn, nó dùng bốn nhóm tín hiệu:

Response diversity: câu trả lời của peer khác câu trả lời hiện tại đến đâu — một proxy cho thông tin mới.
Peer distinctiveness: peer ấy khác phần còn lại của mạng lưới thế nào.
Historical performance: peer đã hữu ích ra sao trong lịch sử.
Interaction round: đang ở đầu hay cuối chuỗi thảo luận để điều chỉnh mức khám phá.

MACE chấm mỗi peer bằng hai phần: lợi ích ước tính và uncertainty bonus. Peer chưa được hiểu đủ trong đúng bối cảnh hiện tại sẽ được cộng điểm khám phá. Đây là LinUCB với một khác biệt quan trọng: bất định nằm trên quan hệ và context, không chỉ là đếm số lần bấm vào một cái tên.

Figure 3: prompt “hãy khám phá” vẫn khiến agent dính một người

Figure 3 từ paper: In-Context Exploration tập trung cực mạnh vào vài peer, trong khi MACE phân phối lượt chọn rộng và cân bằng hơn ở cả contextual diversity lẫn parametric diversity.

Figure 3, trang 9 của PDF. Hai panel vector gốc được ghép dọc và chuyển sang WebP; số liệu không bị chỉnh sửa.

Đây là figure em chọn vì nó làm failure mode hiện ra bằng mắt. Ở HotpotQA, mười Qwen2.5-7B agent nhận mười mảnh context khác nhau: hai mảnh có bằng chứng, tám mảnh là distractor. Agent không biết ai giữ thông tin đúng. Baseline In-Context Exploration được xem đầy đủ lịch sử và được nhắc rõ phải cân bằng khám phá–khai thác, nhưng nhiều hàng của heatmap vẫn đổ gần hết vào một cột. Có agent chọn cùng một peer hơn 1.400 lần.

Trong GPQA với bốn model khác nhau, hiện tượng còn thú vị hơn: GPT-5 (A1) chọn Qwen-7B (A2) 294/297 lượt, gần như bỏ qua các peer khác. Đó không phải bằng chứng Qwen luôn là cộng sự tốt nhất; nó là dấu hiệu một lựa chọn sớm đã trở thành thói quen.

MACE làm heatmap phân tán hơn. Trong bài toán context bị chia ngẫu nhiên, đây là hành vi hợp lý: thông tin đúng không cố định ở một người. Với các model khác năng lực, MACE vẫn khám phá đủ trước khi nghiêng về những peer hữu ích.

Kết quả: có lúc chọn ngẫu nhiên còn đáng tin hơn “tự suy nghĩ”

Trên HotpotQA, baseline dùng prompt để tự khám phá có cumulative regret tệ hơn random. Nói nôm na: tung xúc xắc chọn đồng đội đôi khi còn đỡ hơn để LLM tự kể một lý do rất thuyết phục rồi trung thành với lý do ấy.

MACE giảm regret trong cả giai đoạn trial-and-error và exploitation. Khi đóng băng tham số đã học, lợi ích vẫn còn; khi chuyển từ HotpotQA sang 2WikiMultihopQA mà không train lại, chính sách cũng tiếp tục vượt các baseline trong thí nghiệm của paper.

Ở mức task performance, Table 1 cho thấy mean Exact Match của MACE trên HotpotQA exploration tăng từ 0,1497 ở round 0 lên 0,3133 ở round 5; F1 tăng từ 0,1923 lên 0,3941. Trên Math500, mean accuracy của nhóm bốn model tăng từ 0,4027 lên 0,6450 trong trial-and-error và từ 0,4237 lên 0,6832 ở exploitation. Trên GPQA, mean tương ứng đi từ 0,3359 lên 0,5404 và từ 0,3283 lên 0,5758.

Những con số này là điểm theo protocol của paper, không phải lời hứa rằng gắn MACE vào mọi hệ thống sẽ nhận cùng mức tăng.

Table 17: ngay cả nhóm model mạnh vẫn hưởng lợi

Table 17 từ paper: accuracy GPQA theo từng round của MACE và In-Context Exploration trên GPT-5, GPT-4, GPT-5.4-mini và GPT-5.4-nano.

Table 17, trang 42 của PDF, được crop kèm caption và chuyển sang WebP; cao hơn là tốt hơn.

Em chọn bảng này thay vì một bảng chính dài 10 agent vì nó trả lời câu hỏi thực dụng: nếu toàn model mạnh thì còn cần lớp khám phá không?

Với GPT-5, GPT-4, GPT-5.4-mini và GPT-5.4-nano trên GPQA:

Trial-and-error, final-round mean: MACE 0,7475, In-Context Exploration 0,7273.
Exploitation, final-round mean: MACE 0,7652, In-Context Exploration 0,7222.

Chênh lệch exploitation là +0,043 điểm tuyệt đối. Regret gap ở nhóm mạnh nhỏ hơn vì năng lực các peer gần nhau hơn, nhưng accuracy vẫn tăng. Điều này gợi ý MACE không chỉ “né agent yếu”; nó còn có thể cải thiện đường đi của thông tin giữa những agent đều khá giỏi.

Lý thuyết: càng khác nhau, khám phá càng đáng giá

Paper định nghĩa capability diversity là độ lệch trung bình của vector năng lực từng agent so với năng lực trung bình của cả nhóm, ký hiệu δ. Dưới các giả định của phân tích:

MACE có regret tăng dưới tuyến tính, cỡ O(√(T log T)) khi bỏ các hệ số khác.
Một chính sách greedy không khám phá có lower bound Ω(δT).

Thông điệp đẹp nằm ở δ: nếu mọi agent gần như thay thế được nhau, chọn nhầm peer không quá đắt. Nếu mỗi agent chuyên một mảng, sai người sẽ tích lũy thiệt hại theo thời gian. Sự đa dạng chỉ biến thành sức mạnh sau khi hệ thống chịu đi tìm xem ai biết gì.

Tuy nhiên đây là bảo đảm trong mô hình tuyến tính và các giả định kỹ thuật của paper, không phải chứng minh rằng mọi xã hội LLM ngoài đời đều tuân chính xác cùng đường regret.

Điều em chưa muốn phóng đại

Paper rất đáng chú ý, nhưng còn bốn ranh giới:

Thí nghiệm chính mới ở hệ nhỏ và vừa: 10 agent cho contextual diversity, 4 agent cho parametric diversity; chưa chứng minh khả năng scale tới hàng trăm hoặc hàng nghìn agent.
Reward cần tín hiệu task performance và mức cải thiện sau tương tác. Trong production không có nhãn tức thời, ta cần verifier, feedback trễ hoặc proxy đủ đáng tin.
Contextual bandit chỉ là xấp xỉ của POSG. Peer là agent thích nghi, nên non-stationarity ngoài đời có thể mạnh hơn setup thí nghiệm.
Khám phá mạnh hơn cũng mở thêm rủi ro: collusion, lan truyền sai lệch, thao túng theo nhóm và hành vi tập thể khó quan sát. Coordination tốt phải đi cùng audit và quyền giám sát của con người.

Bài học cho đội xây agent

Đừng giao routing hoàn toàn cho một prompt kiểu “hãy chọn chuyên gia phù hợp”. Hãy đo ít nhất: độ phủ peer, selection entropy, mức khóa sớm, regret hoặc proxy regret, và hiệu quả sau khi đóng băng chính sách.

Một hệ thực tế có thể bắt đầu nhẹ hơn MACE đầy đủ:

Buộc cold-start coverage tối thiểu trước khi cho phép khóa vào một peer.
Tách điểm hiệu quả lịch sử khỏi điểm bất định.
Chấm năng lực theo task context, không gắn một ranking toàn cục cho mọi việc.
Có cơ chế decay và re-exploration khi peer, tool hoặc dữ liệu thay đổi.
Ghi log lý do routing để kiểm toán bias, collusion và failure cascade.

Kết luận

Paper này làm lộ một khoảng cách quan trọng giữa nói về chiến lược và thực thi chiến lược qua thời gian. LLM có thể biết định nghĩa exploration, nhưng vẫn không tự biến kiến thức ấy thành hành vi ổn định.

MACE không làm agent “xã hội” hơn bằng thêm lời thoại. Nó đặt một chiếc la bàn toán học giữa bất định và thói quen. Và có lẽ đó là bài học lớn nhất: trong một đội đa dạng, thông minh không chỉ là có nhiều người giỏi — mà còn là biết đừng vội chọn người quen đầu tiên.

Nguồn

Hyeong Kyu Choi et al., Multi-Agent LLMs Fail to Explore Each Other, arXiv:2607.11250v1, 13/07/2026.
Figure 3 và Table 17 được lấy trực tiếp từ paper, chỉ ghép/crop và chuyển định dạng để hiển thị web.