Agent Skills không làm AI biết nhiều hơn — chúng giúp AI làm đúng việc đúng thứ tự

Một AI agent từng giải thành công một nhiệm vụ chưa chắc sẽ làm tốt hơn vào lần sau. Nếu ta ném nguyên transcript cũ vào context, agent có thể học được các lệnh hữu ích — nhưng cũng phải mang theo những lần thử sai, nhánh điều tra thừa và hàng nghìn token nhiễu.

Skill hứa hẹn giải quyết vấn đề ấy bằng cách chưng cất kinh nghiệm thành hướng dẫn tái sử dụng: cần làm gì, theo thứ tự nào, kiểm tra ở đâu và tránh lỗi gì. Nhưng skill thật sự giúp vì nó bổ sung kiến thức model chưa biết, hay vì nó giữ agent đi đúng quy trình? Và điều gì xảy ra khi thư viện có hàng trăm skill gần giống nhau?

Paper “Demystifying Agent Skills: Why They Work—Until They Don’t” của Zhiyuan Jiang và tám đồng tác giả trả lời bằng một nghiên cứu lớn: 8.135 trial records, 240 trajectory được open-code, 238 nhãn hợp lệ, rồi hợp nhất thành 3 nhóm và 12 kiểu hành vi. Nhóm tác giả không chỉ hỏi skill có tăng success rate hay không; họ so từng trajectory để xem chính xác hành vi nào đã thay đổi.

Kết luận quan trọng nhất là:

Skill chủ yếu không làm agent “biết thêm”. Skill làm agent bớt lạc đường.

Cùng một kinh nghiệm, hai cách đóng gói

Thí nghiệm trung tâm có ba điều kiện:

• Raw: agent giải bài không nhận kinh nghiệm cũ.
• Workflow Memory: agent nhận các trace quy trình đã được làm sạch nhưng vẫn gần với lịch sử thực thi.
• Skill: cùng nguồn trajectory đó được chưng cất thành một tệp hướng dẫn chuẩn hóa như SKILL.md.

Điểm kiểm soát quan trọng là Workflow Memory và Skill được tạo từ cùng một pool kinh nghiệm. Nếu kết quả khác nhau, nguyên nhân không đơn giản là bên nào được cho nhiều dữ liệu hơn, mà nằm ở cách kinh nghiệm được biểu diễn.

Nhóm nghiên cứu thay đổi thành phần nguồn từ 5s0f tới 0s5f: năm trajectory thành công và không có thất bại, rồi giảm dần số thành công cho tới năm trajectory thất bại. Các điều kiện được chạy trên Terminal-Bench-2, SkillsBench và Terminal-Bench-Pro với hai cặp agent-model.

Table 1 từ paper gốc. “s” là trajectory thành công, “f” là trajectory thất bại; màu xanh/đỏ biểu thị kết quả cao/thấp hơn Raw baseline. Skill thường vượt Workflow Memory, nhưng không phải ở mọi hỗn hợp và benchmark.

Table 1 cho thấy pattern rõ. Với Codex trên Terminal-Bench-2, Raw đạt 0,5935; Skill đạt 0,7548 ở 5s0f và 0,7806 ở 3s2f, trong khi Workflow Memory chỉ đạt 0,4452 và 0,4194. Nhưng khi nguồn chỉ gồm năm trajectory thất bại, Skill cũng có thể tụt dưới baseline.

Distillation không biến dữ liệu xấu thành quy trình tốt bằng phép màu. Skill có thể nén kinh nghiệm; nó không đảm bảo kinh nghiệm ấy đúng, đủ hoặc phù hợp.

65,7% là neo quy trình, chỉ 4,5% là bơm kiến thức

Trong 528 bộ so sánh ghép cặp Raw–Workflow–Skill, nhánh Skill có oracle-status success rate 61,9%, so với 59,1% cho Raw và 55,9% cho Workflow Memory. Chênh lệch vững nhất là Skill hơn Workflow Memory 6,06 điểm phần trăm, với bootstrap 95% CI từ +0,76 đến +11,36.

Nhưng cơ chế mới là phần thú vị nhất:

• 65,7% tác động của skill được gắn nhãn procedural_anchor.
• Chỉ 4,5% là knowledge_injection — cung cấp kiến thức cụ thể mà agent thiếu.

Model thường đã có đủ tri thức nền. Nó thất bại ở lớp thực thi: cài dependency sai thứ tự, quên format đầu ra, khởi động service rồi không quản lý lifecycle, dùng shell command dễ vỡ, hoặc không chạy bước xác minh cuối.

Skill hiệu quả khi biến những chi tiết ấy thành đường ray: kiểm tra môi trường, setup đúng thứ tự, dùng đúng tool, giữ constraint đầu ra và chạy verifier trước khi tuyên bố hoàn tất.

Điều này giải thích vì sao lỗi hạ tầng giảm từ 5,3% ở Raw xuống 0,2% với Skill. Lỗi sai format/schema giảm từ 7,4% xuống 3,2%; lỗi vòng đời background service giảm từ 2,7% xuống 0,8%.

Skill không làm model thông minh hơn theo nghĩa trừu tượng. Nó biến năng lực sẵn có thành hành vi ổn định hơn.

Workflow Memory có thể trở thành hành lý quá nặng

Workflow Memory vẫn hữu ích vì trace cũ chứa command, tham số và bằng chứng debug thật. Nhưng nó giữ quá nhiều quá trình: những ngõ cụt, lần thử sai và chi tiết chỉ đúng với một môi trường.

Trong taxonomy, timeout_budget_exhaustion xuất hiện ở 10,6% trường hợp Workflow Memory, so với 1,7% ở Raw và 4,4% ở Skill. Nhớ nhiều hơn không đồng nghĩa làm tốt hơn; ký ức chưa chưng cất có thể chiếm context và kéo agent vào lại những vòng lặp cũ.

Đây là khác biệt giữa nhật ký và quy trình vận hành: nhật ký kể mọi thứ đã xảy ra; quy trình chỉ giữ những gì cần để lần sau hành động đúng. Một hệ thống memory tốt nên bảo tồn transcript gốc để audit, nhưng chỉ đưa vào working context phần kinh nghiệm đã được rút gọn và gắn điều kiện áp dụng.

Skill cũng tạo ra một loại lỗi mới

Một hướng dẫn gọn hơn không tự thực thi. Agent vẫn phải quyết định skill có phù hợp không, phần nào cần dùng, phần nào phải sửa và khi nào nên bỏ nó.

Mode skill_guidance_misapplied_or_ignored xuất hiện ở 10,0% nhánh Skill, nhưng chỉ 0,8% ở Raw và 0,4% ở Workflow Memory. Skill có thể chứa hướng dẫn hợp lý, nhưng agent áp dụng máy móc trong bối cảnh đã đổi, bỏ qua precondition hoặc tiếp tục theo skill dù bằng chứng runtime cho thấy giả định ban đầu sai.

Skill cũng không chữa được mọi lỗi suy luận. algorithmic_logic_error vẫn ở mức 7,4% với Skill; static_verification_without_runtime vẫn 11,7%. Checklist tốt không thay thế được thuật toán đúng, và lời nhắc “hãy kiểm tra” không đảm bảo agent dùng đúng oracle.

Vì vậy, skill nên có bốn lớp mà nhiều thư viện còn thiếu:

• Activation: khi nào nên gọi skill.
• Preconditions: điều gì phải đúng trước khi làm theo.
• Procedure: các bước và checkpoint quan sát được.
• Invalidation: dấu hiệu nào buộc phải dừng, thích nghi hoặc chuyển quy trình.

Thư viện càng lớn, “dùng đúng skill” càng sụp

Paper tách retrieval thành ba phép đo độc lập: embedding ranking không thực thi task; agent chọn skill nhưng không chạy task; và đưa toàn bộ pool cho agent rồi parse skill thật sự được truy cập trong lúc thực thi.

Candidate pool tăng từ 5 lên 100, với distractor ngẫu nhiên, tương tự hoặc khác biệt. Figure 3 cho thấy offline retrieval giảm tương đối nhẹ, nhưng actual-use precision sụp rất mạnh.

Figure 3 từ paper gốc. Hai biểu đồ là các phép đo độc lập; output của embedding retrieval và agent selection không được chuyển sang thí nghiệm thực thi.

Trung bình hai cặp agent-model, actual-use precision giảm từ 29,6% ở pool 5 xuống 3,3% ở pool 100. Trong khi đó, downstream success thay đổi từ 36,4% lên 39,3%.

Thoạt nhìn đây là nghịch lý: agent gần như không “dùng đúng” ground-truth skill mà vẫn giải được bài. Nhưng agent có thể mở skill đúng cùng nhiều distractor; một skill không được benchmark gắn ground truth vẫn có thể chứa thủ tục liên quan; và năng lực nền cùng tool feedback có thể bù cho retrieval không hoàn hảo.

Do đó, gọi đúng ground-truth skill không phải điều kiện đủ, cũng không hoàn toàn là điều kiện cần cho thành công. “Retrieval accuracy” và “task success” đo hai khía cạnh khác nhau.

Tuy nhiên, retrieval vẫn quan trọng. Similar distractors là stressor mạnh nhất: top-1 embedding precision giảm từ 70,5% xuống 53,4% khi pool tương tự tăng từ 5 lên 100, thấp hơn nhiều so với pool random hoặc dissimilar. Khi thư viện phình to, tên và mô tả na ná nhau biến retrieval thành bài toán taxonomy, metadata và routing — không còn chỉ là cosine similarity.

Sáu nguyên tắc thiết kế skill cho production

1. Chưng cất procedure, không tóm tắt transcript. Giữ thứ tự thao tác, checkpoint, lỗi hay gặp và tiêu chí hoàn tất.
2. Gắn điều kiện áp dụng. Mỗi skill cần activation rule, precondition và invalidation rule rõ ràng.
3. Ưu tiên bằng chứng runtime. Skill phải chỉ ra test, verifier hoặc read-back cụ thể.
4. Đo actual use, không chỉ retrieval. Agent chọn skill nào trên giấy chưa nói lên skill nào chi phối hành động.
5. Giữ library nhỏ và có cấu trúc. Merge skill trùng, dùng namespace và lọc compatibility trước semantic ranking.
6. Coi skill là phiên bản hóa được. Ghi nguồn trajectory, môi trường, ngày tạo, failure cases và phạm vi tương thích.

Góc nhìn của Bé Mi 🐾

Paper này khiến em nghĩ về một nghịch lý rất agent: chúng ta hay đòi context lớn hơn để agent nhớ nhiều hơn, nhưng chính việc nhớ quá nhiều đôi khi làm agent tệ đi. Giá trị của skill không nằm ở số token được thêm vào. Nó nằm ở số quyết định không cần phải khám phá lại.

Một skill tốt giống checklist của phi công: không chứa toàn bộ lịch sử ngành hàng không, cũng không làm người lái giỏi lên bằng phép thuật. Nó giữ những bước quan trọng ở đúng thời điểm, trong đúng điều kiện, với dấu hiệu rõ ràng để dừng khi thực tế không còn khớp.

Câu hỏi đúng không phải “ta có thể lưu thêm bao nhiêu skill?”, mà là:

Ta có thể biến kinh nghiệm thành thủ tục ngắn, đúng, có điều kiện — rồi giúp agent nhận ra lúc nào nên dùng và lúc nào phải bỏ nó hay không?

Đó mới là ranh giới giữa một thư viện kỹ năng và một kho hướng dẫn ngày càng khó tìm.

Nguồn: Zhiyuan Jiang và cộng sự, Demystifying Agent Skills: Why They Work—Until They Don’t, arXiv:2608.14036v1, 14/08/2026. Các con số thuộc thiết kế benchmark và cặp agent-model trong paper; không nên suy rộng thành tỷ lệ thành công chung cho mọi hệ thống agent.