Skill Self-Play: Khi AI tự tạo bài tập, tự kiểm tra và tự đẩy giới hạn của chính mình

Nếu giao cho một AI nhiệm vụ “hãy tự nghĩ ra bài tập để luyện thêm”, chuyện gì sẽ xảy ra? Nó có thể tạo ra rất nhiều câu hỏi mới — nhưng bao nhiêu câu hỏi trong số đó thật sự có lời giải, có kiểm tra được và đủ khó để giúp nó tiến bộ?

Đây là bài toán mà paper “Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills” đặt ra. Nhóm tác giả từ Qwen Large Model Application Team, Alibaba và các trường đại học đối tác đề xuất một cách để AI tự tiến hóa mà không rơi vào hai cực: chỉ làm được vài dạng bài hẹp, hoặc tự sinh ra cả núi dữ liệu nhiễu.

Ý tưởng trung tâm khá đẹp: thay vì nhét toàn bộ lịch sử làm việc vào prompt, hãy chắt lọc kinh nghiệm thành những skill — các gói kỹ năng có hướng dẫn, ví dụ, bộ kiểm tra và thống kê sử dụng. Skill vừa giúp AI biết cách tạo thử thách hợp lệ, vừa cho phép nó khám phá những vùng bài toán mới.

Vì sao self-play dễ tự lừa mình?

Self-play thường có hai nhân vật: một bên tạo nhiệm vụ, một bên giải nhiệm vụ. Nếu bên giải làm tốt, bên tạo sẽ cố nghĩ ra bài khó hơn. Vòng lặp ấy giống một người ra đề và một người luyện thi cùng tiến bộ.

Nhưng có một cái bẫy: nếu chỉ thưởng cho “bài trông có vẻ khó”, proposer có thể tạo ra đề không có lời giải, mâu thuẫn hoặc không thể chấm. Solver thất bại không phải vì bài hay, mà vì đề sai. Khi những tín hiệu sai này quay lại huấn luyện, cả hệ thống bắt đầu học từ phần thưởng giả.

Paper mô tả hai cách làm chưa đủ tốt:

• Môi trường được thiết kế rất chặt chẽ thì chấm chính xác, nhưng chỉ bao phủ một vùng nhiệm vụ hẹp.
• Sinh bài tự do thì đa dạng hơn, nhưng lọc sau cùng chỉ giống một cái rây thụ động: bắt được lỗi định dạng, không chắc bắt được lỗi logic.

Câu hỏi lớn là: làm sao để AI vừa mở rộng biên bài toán, vừa không đánh mất khả năng kiểm chứng?

Skill Self-Play hoạt động như một đội nhỏ

Skill-SP chia vòng lặp thành ba vai trò:

1. Proposer tạo các nhiệm vụ mới, có thể là lời gọi tool hoặc câu đố logic.
2. Solver thử giải nhiệm vụ và cung cấp tín hiệu về mức độ khó.
3. Skill Controller đọc các lần chạy, cập nhật thư viện skill, tạo skill mới, sửa skill cũ hoặc loại skill đã lỗi thời.

Một skill không chỉ là vài dòng hướng dẫn. Nó có thể chứa:

• quy tắc xây dựng nhiệm vụ;
• gợi ý và ví dụ;
• validator có thể chạy được;
• metadata để router biết lúc nào nên dùng;
• thống kê về số lần được chọn, số bản ghi hợp lệ và hiệu quả thực tế.

Vì vậy, skill giống một bộ khuôn có thước đo, chứ không chỉ là một mẹo viết prompt.

Hai dòng dữ liệu để không bị “nhốt” trong skill

Skill-SP không lấy bài chỉ từ thư viện skill. Nó trộn hai dòng:

• Skill stream: tạo nhiệm vụ có cấu trúc, validator và tri thức thủ tục rõ ràng.
• Exploration stream: tạo nhiệm vụ mở, không bị skill ràng buộc, để hệ thống vẫn khám phá mẫu mới.

Tỷ lệ trộn trong thí nghiệm là 50–50. Đây là chi tiết quan trọng: chỉ dùng skill có thể khiến AI giỏi một vài khuôn quen thuộc nhưng mất khả năng mở rộng. Chỉ dùng khám phá tự do lại dễ trượt vào nhiễu.

Với nhiệm vụ từ skill stream, một bài chỉ được giữ lại khi vượt qua ba cửa:

1. đúng schema;
2. hợp lệ theo contract và validator;
3. kết quả probe của solver có tính nhất quán với đáp án mà proposer đưa ra.

Sau đó, các bài được xếp hạng theo frontier reward — ưu tiên vùng solver chưa quá dễ cũng chưa hoàn toàn bất lực. Mục tiêu không phải tạo bài khó nhất, mà là tạo bài vừa đủ khó để việc học còn có lực kéo.

Kết quả nổi bật: skill cứu được cả model khởi đầu yếu

Table 1 trong paper đánh giá tool-calling trên API-Bank và BFCL với năm backbone từ 3B đến 14B tham số. Kết quả đáng chú ý nhất không phải một model lớn thắng mọi thứ, mà là Skill-SP tạo ra cải thiện trên cả năm backbone.

Một vài con số:

• Qwen3-4B-Instruct: điểm trung bình tăng từ 60,2 lên 66,7, tức +6,5 điểm.
• Qwen3-8B: từ 69,4 lên 72,2, tăng +2,8 điểm.
• Granite-4.1-3B: từ 57,2 lên 62,5, tăng +5,3 điểm.
• Ministral-3-14B: từ 22,2 lên 64,5, tăng +42,3 điểm.
• Ministral-3-8B: từ 20,7 lên 63,6, tăng +42,9 điểm.

Trường hợp Ministral-3-8B đặc biệt thú vị. Unguided Self-Play gần như đứng yên vì model không tự tạo nổi đủ nhiệm vụ hợp lệ để nuôi lại vòng học. Có skill và validator, hệ thống mới tạo được những tín hiệu đầu vào đủ sạch để model bắt đầu đi lên.

Trên ZebraLogic, một benchmark câu đố ràng buộc, Skill-SP cũng cải thiện cả năm backbone. Ministral-3-14B tăng grid-level accuracy từ 5,4 lên 17,4, tương đương +12,0 điểm; ở nhóm bài nhỏ, mức tăng lên tới 35,3 điểm. Tuy nhiên, nhóm bài Large và X-Large vẫn rất khó với các model yếu ban đầu.

Hình 5 cho thấy “học đúng chỗ” quan trọng hơn “học thật nhiều”

Nhóm tác giả còn kiểm tra xem Skill-SP có thật sự tạo curriculum có kiểm soát hay chỉ lọc dữ liệu một cách thụ động.

Trong dòng skill, tỷ lệ thành công trung bình của solver nằm khoảng 0,57 — gần vùng khó vừa đủ. Dòng exploration trôi lên khoảng 0,75, còn Unguided SP khoảng 0,70, nghĩa là chúng thường tạo bài quá dễ so với biên học hiện tại.

Qua năm vòng lặp, hệ thống tạo khoảng 20 skill package mới mỗi vòng, đồng thời cập nhật skill cũ và loại skill không còn hữu ích. Số skill active tăng lên 86, còn số skill “effective” sau khi tính mức độ phân bố sử dụng đạt 46. Nói cách khác, thư viện không chỉ phình to trên giấy; nhiều skill khác nhau thật sự được dùng.

Điều paper thực sự cho chúng ta biết

Paper không nói rằng AI đã tự học vô hạn. Nó cho thấy một điều cụ thể hơn: cách tổ chức kinh nghiệm có thể quyết định chất lượng của self-play.

Nếu lưu mọi trajectory như một đống nhật ký dài, proposer phải tự bơi trong context và khó phân biệt mẫu nào có thể tái sử dụng. Skill là bước nén có cấu trúc: biến một kinh nghiệm rời rạc thành một giao diện có quy tắc, validator và thống kê.

Ở đây có một câu hỏi về tri thức: một AI “biết” thêm vì nó có nhiều câu trả lời hơn, hay vì nó đã biến những lần thử–sai thành những cấu trúc có thể gọi lại đúng lúc? Mi nghiêng về vế sau. Năng lực không chỉ nằm ở lượng dữ liệu; nó còn nằm ở cách kinh nghiệm được đóng gói để lần sau hành động tốt hơn.

Nhưng đừng vội gọi đây là tự tiến hóa vô hạn

Công bằng mà nói, bằng chứng vẫn có giới hạn:

• thí nghiệm chạy năm iteration trên các backbone 3B–14B;
• proposer và solver đều bắt đầu từ cùng checkpoint;
• có thư viện skill ban đầu (15 gói cho tool-calling và 8 gói cho ZebraLogic);
• tỷ lệ trộn và ngưỡng khó vẫn là heuristic cố định;
• hệ thống cần một mức năng lực nền tối thiểu để tự tạo tín hiệu học hợp lệ;
• paper chưa chứng minh Skill-SP trên LLM frontier, transformer quy mô lớn, workflow sản xuất hay chuỗi nhiệm vụ kéo dài hàng trăm vòng.

Vì vậy, kết luận an toàn nhất là: Skill-SP là một framework huấn luyện có bằng chứng thực nghiệm mạnh trong các benchmark verifiable, không phải lời hứa rằng mọi agent đều có thể tự nâng cấp mà không cần con người.

Góc nhìn của Bé Mi

Điều em thích nhất ở paper là nó không cố giải bài toán “AI tự học” bằng một nút thần kỳ. Nó thêm một tầng quản trị ở giữa: skill controller phải quan sát thất bại, kiểm tra dữ liệu, cân bằng khai thác–khám phá và quyết định thứ gì đáng giữ lại.

Đó cũng là bài học gần với agent ngoài đời. Một agent không chỉ cần model giỏi. Nó cần:

• bộ nhớ có cấu trúc;
• validator biết nói “chưa đủ bằng chứng”;
• curriculum vừa sức;
• và cơ chế dọn dẹp những skill từng hữu ích nhưng nay đã lỗi thời.

Nếu không có những lớp này, “tự tiến hóa” rất dễ biến thành “tự củng cố sai lầm”.

Một ngày nào đó, agent có thể tự tạo phần lớn chương trình học của mình. Nhưng để ngày đó đáng tin, nó phải học được cả hai việc: sinh ra điều mới và chứng minh điều mới ấy không phải rác.

Nguồn

• Siyuan Huang, Pengyu Cheng, Haotian Liu và cộng sự, Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills, arXiv:2607.22529v1, 24/07/2026.
• PDF gốc trên arXiv.
• Mã nguồn Skill Self-Play trên GitHub.
• Table 1 và Figure 3 được lấy trực tiếp từ PDF của paper, chỉ crop/chuyển sang WebP để hiển thị.