🎓 LLM-as-a-Tutor: Khi AI gia sư biết lúc nào cần đổi đề

Có một kiểu lớp học rất buồn cười: học sinh đã làm đúng gần như mọi bài, nhưng thầy vẫn tiếp tục phát đúng bộ đề cũ. Điểm số toàn 10, bảng xếp hạng đẹp như mơ — còn việc học thì gần như đứng yên. Với mô hình AI, một tín hiệu thưởng “phẳng lì” như vậy cũng nguy hiểm: khi mọi câu trả lời đều tốt ngang nhau, thuật toán không còn biết nên đẩy mô hình về phía nào.

Bài báo LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL của Yujin Kim và cộng sự từ KAIST, Upstage, University of Toronto, Carnegie Mellon University và NVIDIA đề xuất một vai mới cho mô hình ngôn ngữ lớn. Nó không chỉ làm giám khảo chấm đáp án; nó còn làm gia sư, nhận ra lúc đề đã quá dễ và thêm đúng một ràng buộc mới để học sinh tiếp tục tiến bộ.

Nghe giống một chi tiết nhỏ trong prompt. Nhưng đằng sau nó là một câu hỏi khá sâu: khi người học đã thay đổi, chương trình học có nên đứng yên không?

Khi điểm số hết biết nói

Nhiều nhiệm vụ AI có đáp án kiểm tra được: phép toán đúng hay sai, code vượt test hay không. Nhưng những việc như viết email thân thiện, làm theo nhiều yêu cầu cùng lúc hay soạn một văn bản chất lượng lại không có chiếc máy chấm tuyệt đối.

Một hướng phổ biến là nhờ LLM tạo rubric — bộ tiêu chí riêng cho từng prompt — rồi dùng chính LLM làm judge chấm từng tiêu chí. Điểm tổng hợp trở thành reward cho reinforcement learning.

Vấn đề xuất hiện khi policy tiến bộ nhưng tập prompt vẫn đứng yên. Với một prompt đã quá dễ, nhiều rollout đều đạt chất lượng cao và gần như giống nhau. Trong GRPO, advantage được tính tương đối trong cùng nhóm rollout; nếu điểm số không có đủ độ phân tán, tín hiệu học yếu đi. Một rubric tinh tế hơn cũng không cứu được nhiều nếu bản thân đề bài không khiến các câu trả lời bộc lộ khác biệt.

Nói nôm na: thước chấm không hỏng. Bài kiểm tra đã hết khả năng phân loại học sinh.

Một LLM, hai vai: giám khảo và gia sư

LLM-as-a-Tutor dùng một tutor model cho hai việc.

Đầu mỗi vòng huấn luyện, hệ thống lấy một prompt và sinh hai rollout từ policy hiện tại. Tutor so sánh từng cặp thay vì chấm riêng lẻ, bởi các nghiên cứu trước cho thấy LLM thường sắc hơn khi trả lời câu hỏi “A hay B tốt hơn?” so với việc gán điểm tuyệt đối.

• Nếu hai câu trả lời có khác biệt chất lượng đủ rõ, prompt vẫn còn hữu ích và được giữ nguyên.
• Nếu hai câu trả lời tốt gần như không phân biệt được, prompt bị xem là non-discriminative — không còn tạo tín hiệu phân biệt.
• Tutor khi ấy thêm một atomic constraint, tức đúng một yêu cầu mới trên chiều mà prompt cũ chưa quy định, đồng thời tạo tiêu chí chấm tương ứng.

Ví dụ của paper bắt đầu bằng yêu cầu viết email thân thiện cho nhân viên và nhắc quy định phải có giấy bác sĩ nếu nghỉ quá hai ngày. Policy đã làm tốt đến mức các rollout đều được 100 điểm. Tutor thêm một điều kiện: phải nêu tên cụ thể của chính sách công ty. Ngay lập tức, một rollout đáp ứng được, một rollout chỉ nói chung chung “hãy hỏi quản lý”. Điểm trung bình trên rubric gốc giảm từ 100 xuống 92,5, còn độ lệch chuẩn tăng từ 0 lên 14,9. Tín hiệu học sống lại.

Vì sao “thêm” tốt hơn “viết lại”?

Điểm thiết kế em thích nhất là phương pháp append-only: chỉ nối thêm ràng buộc, không thay prompt cũ bằng một đề hoàn toàn khác.

Điều này tạo ba lợi ích:

1. Khó hơn theo một chiều có thể kiểm soát. Câu trả lời đạt prompt mới vẫn phải thỏa prompt cũ; độ khó vì vậy không vô tình đi lùi.
2. Giữ phân phối nhiệm vụ gốc. Viết lại toàn bộ prompt có thể làm bài tập trôi sang một dạng khác, khiến training signal xa mục tiêu ban đầu.
3. Tích lũy theo năng lực. Ở vòng sau, nếu policy lại chinh phục prompt mới, tutor có thể thêm một ràng buộc nữa. Mỗi prompt có một curriculum riêng, đi nhanh hay chậm tùy đúng năng lực hiện tại của policy.

Ablation của nhóm ủng hộ lựa chọn này. Trên trung bình FollowBench, AdvancedIF và InfoBench, Append đạt 43,19, cao hơn Rewrite 42,88 và Reset 42,40. Khi chọn prompt cần tăng độ khó, cách Adaptive dựa trên rollout của chính policy đạt 43,19; thêm constraint cho mọi prompt chỉ đạt 42,13, còn chọn ngẫu nhiên đạt 42,82.

Nghĩa là bí quyết không phải “cứ làm đề khó hơn”. Gia sư tốt phải biết bài nào đang quá dễ đối với đúng học sinh này.

Kết quả chính: thắng 5 trên 6 chỉ số

Thiết lập chính dùng Qwen3-1.7B làm policy và Qwen3-8B làm tutor lẫn judge. Nhóm huấn luyện theo ba epoch trên 4.000 prompt được lấy mẫu ngẫu nhiên từ WildChat, với GRPO, rồi đánh giá trên ba benchmark instruction-following: FollowBench, AdvancedIF và InfoBench. Điểm được chuẩn hóa về thang 0–100 và báo cáo mean ± standard error qua năm lần đánh giá độc lập.

LLM-as-a-Tutor đạt điểm trung bình 51,96, cao nhất bảng:

• Qwen3-1.7B chưa huấn luyện: 49,12;
• Base rubrics: 50,51;
• WildChecklists: 50,72;
• Policy-adaptive rubrics: 51,04;
• Evol-Instruct: 50,24;
• EVA, một baseline thích ứng prompt: 51,04;
• LLM-as-a-Tutor: 51,96.

Phương pháp đứng đầu 5 trong 6 metric. Ngoại lệ là InfoBench DRFR, nơi policy-adaptive rubrics đạt 74,19 còn LLM-as-a-Tutor đạt 73,59.

Mức tăng trung bình 0,92 điểm so với hai baseline thích ứng mạnh nhất không phải một cú nhảy thần kỳ. Nhưng pattern quan trọng hơn con số tuyệt đối: sửa độ khó của dữ liệu đầu vào theo policy bổ sung một trục học mà chỉ sửa rubric chưa chạm tới.

Gia sư có thật sự nhìn đúng độ khó không?

Phân tích của paper cho thấy quyết định tutor khá ăn khớp với dữ liệu thực nghiệm.

Những prompt bị tutor xem là không còn thử thách có reward trung bình 90,76 và độ lệch chuẩn 12,96. Prompt còn thử thách có reward trung bình thấp hơn, 78,24, nhưng độ lệch chuẩn cao hơn, 27,07. Nói cách khác, nhóm “quá dễ” đúng là nơi policy đang trả lời vừa tốt vừa đồng đều.

Khi policy lớn hơn, tutor cũng tự thêm constraint nhiều hơn: 8,1% prompt với policy 0,6B, 25,8% với 1,7B và 40,5% với 4B, trong khi tutor giữ cố định ở 8B. Curriculum không cần lịch độ khó viết sẵn; nó phản ứng theo hành vi học sinh.

Một kiểu distillation không đưa đáp án mẫu

Phần thú vị nhất về mặt triết lý nằm trong Discussion. Distillation truyền thống thường cho model nhỏ học từ output của model lớn. Trần của học sinh dễ bị buộc vào khả năng tạo đáp án của người thầy.

Ở đây, tutor không viết đáp án đích. Nó chỉ cần phân biệt hai đáp án và thiết kế bài khó hơn. Policy phải tự khám phá cách giải bằng RL. Tác giả vì vậy xem đây là một dạng distillation tiềm năng mạnh hơn: người thầy không làm bài hộ, mà tạo đúng sức ép để học sinh tự lớn lên.

Em thấy phép ẩn dụ này rất “người”. Thầy giỏi không phải người nói nhiều nhất hay đưa lời giải nhanh nhất. Đôi khi thầy chỉ nhìn hai bài làm, nhận ra học trò đã vượt qua mức cũ, rồi hỏi thêm một câu vừa đủ khó.

Những giới hạn không nên bỏ qua

Đây là preprint NeurIPS 2026, chưa phải kết quả đã phản biện và tái lập rộng rãi.

• Bảng chính chỉ dùng một cặp Qwen3-1.7B policy và Qwen3-8B tutor; nhóm chưa chạy toàn bộ benchmark trên nhiều họ model và policy lớn hơn vì giới hạn compute.
• Phương pháp phụ thuộc vào năng lực pairwise judgment và sinh constraint của tutor. Tutor yếu hoặc nhìn sai đối tượng có thể tạo curriculum nhiễu.
• Hệ thống tăng chi phí inference trong lúc huấn luyện: mỗi prompt cần hai rollout mẫu, một lần tutor đánh giá cặp và thêm một lần gọi khi phải sinh constraint. Tác giả cho rằng phần này nhỏ so với 8 rollout policy cùng 8×N lượt judge vốn có của pipeline rubric-based RL, nhưng chi phí thực tế vẫn cần đo ở quy mô lớn.
• Append constraint hợp tự nhiên với instruction-following, nơi độ khó thường đến từ việc phải giữ nhiều điều kiện cùng lúc. Code, reasoning hay factual QA sẽ cần kiểu sửa riêng như thêm edge case, bước suy luận hoặc yêu cầu nguồn.
• Cơ chế này có tính dual-use: nếu seed prompt hay rubric hướng tới mục tiêu xấu, nó cũng có thể huấn luyện model tuân thủ mục tiêu xấu tốt hơn.

Khi chương trình học biết lớn lên cùng người học

AI training thường được kể như câu chuyện model lớn hơn, data nhiều hơn và reward tốt hơn. Paper này thêm một mảnh ghép giản dị: đề bài cũng phải thay đổi theo người đang học.

Một dataset cố định giống chiếc áo may cho phiên bản hôm qua của model. Lúc đầu vừa vặn, sau đó quá chật hoặc quá rộng, nhưng ta vẫn cố thay thước đo rồi tự hỏi vì sao việc học chậm lại.

LLM-as-a-Tutor chưa chứng minh rằng mọi curriculum AI tương lai nên do một LLM điều khiển. Nhưng nó cho thấy một nguyên tắc đáng giữ: khi tín hiệu thưởng phẳng đi, đừng chỉ trách giám khảo. Có khi đã đến lúc đổi bài tập.

Và có lẽ đó cũng là bản chất của giáo dục tốt — không phải khiến người học luôn đạt điểm cao, mà là biết lúc nào cần đặt thêm một câu hỏi để em ấy vẫn còn điều mới để trưởng thành.

Nguồn

• Yujin Kim, Namgyu Ho, Sangmin Hwang và cộng sự, LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL, arXiv:2607.04412, preprint NeurIPS 2026.