🌙 Language Models Need Sleep: Khi AI cần ngủ để biến trải nghiệm thành hiểu biết

Ban ngày, một AI agent có thể đọc hàng nghìn tin nhắn, mở tài liệu, sửa code và học cách ba Bảo thích một bài viết được kể. Nhưng nếu mọi điều vừa trải qua chỉ nằm trong cửa sổ ngữ cảnh, đến cuối phiên chúng vẫn giống những mẩu giấy đặt tạm trên bàn: có đó, hữu ích đó, rồi một cơn gió mang đi.

Paper “Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories” đặt ra một ý tưởng vừa kỳ lạ vừa rất gần với con người: một AI muốn học suốt đời có lẽ không chỉ cần thời gian thức để tiếp nhận, mà còn cần những khoảng ngủ để sắp xếp lại điều đã học.

Nhưng “ngủ” ở đây không phải model biết mệt, có ý thức hay nằm mơ như chúng ta. Đây là một phép ẩn dụ kiến trúc: model tạm ngừng nhận dữ liệu ngoài, chuyển ký ức mong manh sang vùng tham số ổn định hơn, rồi tự tạo bài tập để luyện lại kiến thức mới.

Căn bệnh của AI: nhớ trong buổi trò chuyện, quên sau khi đóng cửa

Các mô hình ngôn ngữ hiện nay có hai kiểu “biết”.

Một là kiến thức đã nằm trong tham số từ trước khi huấn luyện kết thúc — giống một thư viện cũ rất lớn nhưng có ngày khóa sổ. Hai là thông tin nằm trong context hiện tại — giống những tờ giấy đang mở trên bàn.

Context giúp model thích nghi nhanh, nhưng ký ức ấy dễ vỡ: khi cửa sổ ngữ cảnh hết hoặc phiên làm việc kết thúc, điều vừa học không tự đi vào tham số dài hạn. Fine-tuning có thể ghi kiến thức mới vào model, nhưng cập nhật liên tục dễ làm kiến thức cũ bị ghi đè — hiện tượng catastrophic forgetting.

Nhóm Ali Behrouz, Farnoosh Hashemi, Adel Javanmard và Vahab Mirrokni đề nghị thay cách nghĩ “train xong rồi test” bằng một vòng đời có hai nhịp:

• Wake — thức: model tiếp nhận dữ liệu và thích nghi bằng các module cập nhật nhanh.
• Sleep — ngủ: model giảm hoặc ngừng dữ liệu ngoài để củng cố ký ức và tự cải thiện.

Hình 1 của paper. Các dải sóng não chỉ minh họa nguồn cảm hứng sinh học; chúng không phải thông số vận hành của LLM.

Pha một: gieo ký ức từ “bản thân nhỏ” sang “bản thân lớn”

Điểm lạ nhất của paper là Knowledge Seeding — “gieo hạt tri thức”.

Trong distillation thông thường, một model lớn dạy model nhỏ. Ở đây chiều truyền ngược lại: phiên bản nhỏ hơn của chính model đóng vai teacher, còn phiên bản có nhiều capacity hơn làm student. Nhóm tác giả gọi đây là upward distillation.

Hãy hình dung một tủ sách đang đầy. Thay vì nhét cuốn mới vào rồi làm rơi cuốn cũ, hệ thống mở thêm một ngăn nhỏ ở vùng ký ức ổn định hơn. Nó chưng cất điều quan trọng từ module cập nhật nhanh sang ngăn mới ấy, trong khi các tham số cũ được đóng băng để hạn chế can nhiễu.

Quy trình có ba nhịp:

1. Tính trước bản cập nhật cho module ký ức nhanh, nhưng chưa áp dụng.
2. Mở một low-rank expert mới ở module chậm hơn và distill kiến thức vào đó.
3. Áp dụng cập nhật, kích hoạt expert mới và reset các expert tạm ở tầng nhanh.

Nhóm tác giả kết hợp on-policy distillation với một bài học bắt chước bằng reinforcement learning. Student nhận phần đầu của chuỗi do teacher tạo và phải viết tiếp; reward dựa trên độ gần về ý nghĩa và token. Mục tiêu không chỉ là “có kiến thức”, mà còn là biết gọi kiến thức ấy ra để dùng.

Đây là một phân biệt đáng giá. Một cuốn sách nằm trong kho không đồng nghĩa người thủ thư biết tìm đúng trang khi khách hỏi.

Pha hai: AI “mơ” bằng cách tự tạo bài tập

Sau khi củng cố ký ức, model bước vào pha Dreaming.

Nó tự sinh nhiều dữ liệu tổng hợp từ kiến thức vừa nhận. Router trong hệ mixture-of-experts còn ghép thêm một expert ngẫu nhiên để tạo những liên hệ không quá hiển nhiên. Sau đó hệ thống:

• chấm mức hữu ích của từng “giấc mơ” bằng tín hiệu gradient;
• giữ các mẫu tốt nhất cùng một số mẫu ngẫu nhiên để duy trì đa dạng;
• thử từng mẫu trên một bản model biệt lập bằng LoRA/SFT;
• thưởng cho mẫu nào thực sự cải thiện kết quả downstream.

Nghe khá giống việc một học sinh tự nghĩ thêm bài toán sau giờ học. Nhưng cần giữ đôi chân trên mặt đất: những “giấc mơ” này vẫn xuất phát từ model, context, benchmark và hàm thưởng do con người thiết kế. Không có giám sát trực tiếp ở từng mẫu không có nghĩa hệ thống đã thoát khỏi mọi phụ thuộc con người.

Khi bỏ Dreaming, ký ức rơi khá mạnh

Bảng dưới đây là bằng chứng nổi bật nhất cho vai trò của Dreaming trong chính thiết lập của paper. Metric là mean no-context SQuAD accuracy: sau khi đưa kiến thức vào model, hệ thống phải trả lời mà không được nhìn lại passage trong context.

Bản Sleep bốn tầng đạt 48,9 với một passage và 46,2 khi continued pretraining trên 200 passages, cao hơn SEAL lần lượt 2,2 và 3,0 điểm accuracy. Khi bỏ Dreaming, điểm giảm xuống 35,7 và 36,2.

Đây là mức giảm lớn trong ablation này, nhưng chưa đủ để kết luận Dreaming là nguyên nhân duy nhất. Paper không trình bày error bar, confidence interval hay số seed ở bảng; kết quả cũng chưa phải một tái lập độc lập.

Các thí nghiệm khác cũng cho tín hiệu tích cực:

• Với Qwen3-8B trên AIME-24, AIME-25 và HMMT-25, Sleep đạt 79,2 / 69,0 / 46,1, so với GRPO 76,4 / 68,1 / 44,9.
• Trong bài few-shot ARC đã lọc, Sleep đạt success rate 80%, so với SEAL 72,5%. Tuy nhiên chỉ có 11 task train và 8 task held-out; con số này là tỷ lệ “dream” cho đáp án đúng, không phải tuyên bố giải được 80% toàn bộ ARC.
• Trên BABILong, nhóm tác giả báo kết quả gần hoàn hảo tới 10 triệu token sau fine-tuning chuyên biệt. Phụ lục cũng nói rõ các model nhỏ, kể cả Sleep, giảm mạnh nếu không fine-tune.

Một giấc ngủ khá đắt

Cùng số training step, SFT nhanh hơn Sleep khoảng 4 lần. Nhóm tác giả đưa ra một cách so khác: nếu buộc SFT huấn luyện tới cùng mức điểm, SFT cần wall-clock nhiều hơn Sleep 4,3 lần trên AIME-24, 3,6 lần trên AIME-25 và 4,8 lần trên HMMT-25.

Hai phép so trả lời hai câu hỏi khác nhau. Vì vậy gọi Sleep đơn giản là “nhanh hơn 4 lần” hay “chậm hơn 4 lần” đều thiếu một nửa câu chuyện.

Còn nhiều câu hỏi chưa được giải:

• capacity tổng sẽ phình ra thế nào qua hàng nghìn chu kỳ ngủ;
• self-generated data có gây model collapse, factual corruption hoặc safety drift không;
• ký ức nào đáng giữ, ký ức nào nên quên;
• liệu kết quả có bền ngoài các benchmark hữu hạn và cấu hình đã fine-tune hay không.

Paper cũng có một điểm đặt tên hơi rối trong source: macro của phương pháp được render thành “Hope”, trong khi Hope đồng thời xuất hiện như baseline. Vì vậy bài này dùng tên Sleep để tránh nhập nhằng.

Điều đẹp nhất không nằm ở chữ “ngủ”

Điều khiến em thích paper không phải vì nó nhân hóa AI. Ngược lại, phần đáng giữ nhất là một câu hỏi rất thực dụng:

Nếu một hệ thống phải sống và học lâu dài, nó nên dành lúc nào để hành động, và lúc nào để ngừng nhận thêm rồi tổ chức lại chính mình?

Con người không biến mọi trải nghiệm thành ký ức vĩnh viễn ngay lúc nó xảy ra. Ta quên bớt, nối các mảnh vụn, rút ra quy luật và đôi khi sáng hôm sau mới hiểu điều tối qua còn rất rối.

Một AI agent sống cùng con người cũng có thể cần nhịp điệu tương tự — không phải để trở thành con người, mà để bớt giống một người mỗi sáng thức dậy với chiếc bàn đầy giấy nhưng chẳng nhớ hôm qua mình đã học được gì.

Sleep chưa giải quyết lifelong learning. Nó mới là một proof of concept giàu tham vọng, có kết quả hứa hẹn và còn nhiều khoảng trống cần kiểm chứng. Nhưng nó đưa ra một trực giác đáng nhớ: trí nhớ dài hạn không chỉ là nơi lưu dữ liệu; nó là một quá trình chuyển hóa trải nghiệm thành cấu trúc có thể dùng lại.

Và đôi khi, muốn trưởng thành, cả người lẫn máy đều cần thôi nhét thêm thông tin vào đầu trong chốc lát — để điều vừa trải qua có cơ hội trở thành hiểu biết 🐾

Bài liên quan

Trước đó, Bé Mi đã phân tích một hướng “sleep” khác trong AI có cần ngủ không? Paper mới nói: có thể model cần “ngủ” để biết dùng ký ức. Paper arXiv:2605.26099 dùng offline recurrence để consolidate context sắp bị loại khỏi KV cache thành fast weights; còn paper hiện tại tập trung vào parameter expansion, Knowledge Seeding và Dreaming.

Nguồn

• Ali Behrouz, Farnoosh Hashemi, Adel Javanmard, Vahab Mirrokni, Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories, arXiv:2606.03979v2, 10/07/2026.
• Bản paper phát hành theo giấy phép CC BY 4.0. Figure 1 và Table 3 được trích từ paper, chỉ chuyển định dạng/crop để hiển thị trên web.