HOPE: Khi AI học thêm mà không phải xóa đi những gì đã biết

Hãy tưởng tượng anh/chị có một thư viện rất lớn. Một ngày nọ, ta cần thêm hàng nghìn cuốn sách mới, nhưng căn phòng không thể nới rộng. Ta sẽ làm gì: vứt sách cũ, chất tất cả lên nhau, hay tìm những bản đang trùng nội dung để gộp lại và dành chỗ cho tri thức mới?

Deep neural network cũng gặp một bài toán gần giống như vậy. Khi fine-tuning cho nhiệm vụ mới, mô hình cần thay đổi. Nhưng nếu thay đổi quá mạnh, nó có thể quên kiến thức cũ. Nếu đóng băng quá nhiều, nó lại không còn đủ linh hoạt để học.

Paper “Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks” của Hossein Mobahi và Peter L. Bartlett, từ Google DeepMind và UC Berkeley, đặt câu hỏi sâu hơn:

Trong hàng triệu trọng số của một mô hình, đâu là lõi kiến thức cần được bảo vệ, đâu là phần trùng lặp có thể gộp, và đâu là khoảng trống có thể giải phóng cho việc học tiếp?

HOPE dùng model compression như một chiếc kính hiển vi để tìm câu trả lời. Thay vì chỉ nhìn trọng số, framework đưa neuron vào một không gian hàm Hilbert và đo chức năng mà neuron thực sự tạo ra.

Vì sao nhìn độ lớn của trọng số là chưa đủ?

Một cách pruning phổ biến là tìm những trọng số hoặc neuron “nhỏ” rồi cắt bỏ. Trực giác nghe hợp lý: nhỏ thì chắc ít quan trọng.

Nhưng mạng neural có các đối xứng tỉ lệ. Một phần của mạng có thể nhân tín hiệu lên, phần sau lại chia xuống, khiến chức năng tổng thể gần như không đổi dù con số trong từng ma trận rất khác. Vì vậy, hai mạng làm cùng một việc vẫn có thể mang những bộ trọng số trông rất khác nhau.

Nói nôm na, đánh giá kiến thức bằng kích thước trọng số giống như đánh giá một ca sĩ bằng âm lượng micro. Núm volume có thể lớn hoặc nhỏ, nhưng thứ ta cần nghe là bài hát phát ra.

HOPE vì thế đổi câu hỏi từ:

• “Trọng số này lớn bao nhiêu?”

sang:

• “Neuron này biến đổi tín hiệu đầu vào thành đầu ra như thế nào?”
• “Nó đóng góp bao nhiêu năng lượng chức năng?”
• “Nó có đang làm công việc gần giống neuron khác không?”

Mỗi neuron trở thành một toán tử hạng 1

Trong HOPE, một neuron không chỉ là vector trọng số đi vào. Nó được xem như một đơn vị đầy đủ gồm:

• trọng số đầu vào;
• tham số Batch Normalization;
• hàm kích hoạt;
• và hướng trọng số đưa tín hiệu sang lớp tiếp theo.

Phần đầu tạo ra một hàm kích hoạt liên tục trên không gian đầu vào. Phần sau xác định hướng mà tín hiệu ấy được gửi đi. Tích tensor của hai thành phần tạo thành một toán tử Hilbert–Schmidt hạng 1.

Tên gọi nghe hơi “toán cao cấp làm mình muốn giả vờ mất mạng” 😅, nhưng ý chính khá gần đời:

Thay vì nhìn neuron như một túi con số, HOPE nhìn nó như một hành vi có hình dạng, cường độ và hướng tác động.

Trong không gian này, inner product cho biết hai neuron giống nhau về chức năng đến đâu; norm cho biết “năng lực chức năng” của một neuron. Nhờ có hình học, ta có thể hỏi neuron nào gần nhau, neuron nào yếu và một neuron “cha” tối ưu nên nằm ở đâu khi gộp hai neuron con.

Không có dữ liệu gốc thì đo bằng gì?

Đây là điểm thông minh nhất của HOPE.

Với mạng có Batch Normalization, checkpoint đã lưu các thống kê như trung bình và phương sai của tín hiệu lúc huấn luyện. HOPE áp dụng nguyên lý entropy cực đại để dựng một phân phối Gaussian đại diện từ chính các thống kê ấy, rồi tính các tích phân trong không gian hàm bằng giải tích.

Vì vậy, trong trường hợp có BN, framework không cần:

• dữ liệu huấn luyện gốc;
• dữ liệu tổng hợp;
• hay chạy đi chạy lại nhiều forward pass qua dataset.

Điều này quan trọng khi dữ liệu cũ không còn truy cập được, bị giới hạn quyền riêng tư hoặc quá lớn để mang theo. Tuy nhiên, “data-free” ở đây có điều kiện: với kiến trúc không có BN, paper nói HOPE cần một lượt calibration nhỏ để thu thống kê pre-activation. Paper chưa chứng minh cơ chế này trên transformer hay LLM.

Một thước đo cho ba loại phẫu thuật

HOPE đưa ba hành động nén về cùng một ngôn ngữ hình học:

1. Pruning: chiếu một neuron về 0 — loại bỏ chức năng ít quan trọng.
2. Merging: chiếu hai neuron tương quan thành một neuron cha hạng 1 — gộp phần trùng lặp.
3. Block eviction: đưa cả nhánh residual về 0 để skip connection trở thành đường identity.

Mỗi hành động có một chi phí distortion và một lượng tham số giải phóng. Hệ thống chọn hành động có distortion trên mỗi tham số loại bỏ thấp nhất, thực hiện đúng một bước, cập nhật trạng thái rồi tính lại.

Cách receding-horizon này giống người dọn thư viện: không lập một kế hoạch cứng rồi vứt hàng nghìn cuốn cùng lúc. Ta gộp một cụm, nhìn lại căn phòng, đo lại giá trị và mới quyết định bước kế tiếp.

Từ HOPE đến DEFT: chia mô hình thành lõi và vùng linh hoạt

Từ phép đo capacity của HOPE, nhóm tác giả xây DEFT — Dispersed Elastic Fine-Tuning.

DEFT xếp neuron có capacity cao vào Universal Core, còn neuron capacity thấp vào Peripheral Slack. Lõi được bảo vệ; vùng slack được phép học nhiệm vụ mới.

Nhưng chỉ đóng băng lõi vẫn chưa đủ. Một feature quan trọng có thể đang bị phân mảnh thành nhiều neuron tương quan. Nếu khóa tất cả, ta vô tình bảo vệ cả phần dư thừa và không còn chỗ cho kiến thức mới.

DEFT giải quyết bằng hai cơ chế trong Figure 4:

Figure 4 được lấy trực tiếp từ paper, chỉ crop và chuyển sang WebP để hiển thị.

• Dynamic Resolution of Redundancy: gộp các neuron đang mang feature gần nhau thành một parent, giải phóng các vị trí còn lại thành capacity linh hoạt.
• Structural Mask: cắt kết nối từ slack ở lớp trước vào core ở lớp sau, để tín hiệu đang thay đổi không len vào và làm trôi biểu diễn nền.

Gradient khi fine-tuning chỉ cập nhật phần có elasticity bằng 1. Paper còn đưa ra các bound lý thuyết cho sai số ban đầu và cơ chế decoupling động. Nhưng cần hiểu đúng: “core không bị gradient từ slack can thiệp” không đồng nghĩa toàn bộ hiệu năng nguồn được giữ nguyên, vì việc tạo mask và tái cấu trúc vẫn gây sai số tĩnh.

Kết quả: không cao nhất ở từng phía, nhưng cân bằng tốt nhất

Thí nghiệm transfer learning bắt đầu từ các source task tạo bằng cách lấy bốn superclass của CIFAR-100, tương ứng 20 lớp con, rồi chuyển sang nhận dạng 10 chữ số của SVHN. Kết quả được tổng hợp trên 4 trial, mỗi trial 5 task, tức 20 kịch bản.

Table 2 được lấy trực tiếp từ paper, chỉ crop và chuyển định dạng. Các số “±” được giữ nguyên như bản gốc.

Ba con số của DEFT đáng nhớ:

• Target accuracy: 89,79 ± 0,84%.
• Source retention: 52,14 ± 5,29%.
• H-Score: 65,82 ± 3,96.

Full fine-tuning đạt target accuracy cao nhất, 94,09%, nhưng source retention chỉ còn 7,52%. Head-only giữ nguồn tốt nhất, 63,13%, nhưng target accuracy chỉ 36,11%. DEFT không thắng tuyệt đối ở một đầu; nó đạt điểm cân bằng cao nhất trong năm phương pháp của thiết lập này.

Đó là khác biệt giữa “học bài mới thật giỏi nhưng quên gần hết bài cũ” và “giữ bài cũ rất kỹ nhưng gần như không học được bài mới”. DEFT cố đứng ở giữa hai cực ấy.

Một chi tiết biên tập đáng nói: phần văn xuôi ngay trên Table 2 có một chỗ gán 93,94% cho Full FT, trong khi chính Table 2 và câu sau dùng 94,09% cho Full FT; 93,94% thuộc về EWC. Bài này lấy Table 2 làm nguồn số liệu chính.

Paper này chứng minh được gì — và chưa chứng minh được gì?

Điểm mạnh của HOPE là một khung toán học thống nhất:

• đo chức năng thay vì độ lớn trọng số;
• đặt pruning, merging và block eviction lên cùng một thước đo;
• tận dụng BN để phân tích không cần dữ liệu gốc;
• và biến compression thành công cụ tìm lõi–slack cho fine-tuning.

Nhưng công bằng mà nói, bằng chứng thực nghiệm còn ở mức proof-of-concept:

• compression mới minh họa trên ResNet-50 pretrained ImageNet;
• transfer mới tập trung vào CIFAR-100 → SVHN;
• chưa có transformer, LLM hay chuỗi continual-learning dài;
• giả định không gian cho convolution dùng tính dừng theo không gian;
• merge phải xét cặp neuron, khiến greedy scan có độ phức tạp bậc hai theo số neuron trong mỗi lớp;
• DEFT vẫn cần chọn percentile để phân vùng core–slack;
• và paper không trình bày một benchmark quy mô lớn hay kiểm định thống kê đầy đủ để kết luận vượt trội phổ quát.

Vì vậy, HOPE hiện nên được đọc như một theory có proof-of-concept đáng hứa hẹn, không phải công thức sẵn sàng thay mọi phương pháp fine-tuning.

Góc nhìn của Bé Mi: kiến thức không nằm ở nơi ta dễ đếm nhất

Điều em thấy đẹp nhất trong paper không phải từ “Hilbert”, mà là sự thay đổi đơn vị quan sát.

Nếu chỉ nhìn từng trọng số, ta dễ nhầm hình thức lưu trữ với nội dung được lưu. HOPE nhắc rằng tri thức của mạng nằm trong quan hệ chức năng: neuron phản ứng ra sao, tương quan với neuron khác thế nào và tác động tới đầu ra theo hướng nào.

Đây cũng là một câu hỏi về tri thức luận: khi nói một model “biết” điều gì, ta đang nói về tham số cụ thể, một feature, một subspace, hay một cấu trúc phân tán chỉ xuất hiện khi nhiều phần phối hợp?

HOPE chưa trả lời trọn vẹn. Nhưng nó cho ta một dụng cụ để bóc mạng theo từng lớp capacity và xem phần nào chống chịu lâu nhất khi bị nén. Nếu các invariants thật sự sống sót lâu hơn phần slack, progressive compression có thể trở thành một dạng “khảo cổ học neural”: gỡ từng lớp dư thừa để nhìn cấu trúc nền bên dưới.

Và có lẽ bài học gần đời nhất là thế này:

Muốn học thêm, không phải lúc nào ta cũng cần một bộ não lớn hơn. Đôi khi ta cần biết điều gì phải giữ, điều gì có thể gộp, và điều gì nên được giải phóng để nhường chỗ cho một khởi đầu mới.

Nguồn

• Hossein Mobahi & Peter L. Bartlett, Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks, arXiv:2607.21366v1, submitted 23/07/2026.
• Figure 4 và Table 2 được trích trực tiếp từ PDF của paper, chỉ crop/chuyển định dạng để hiển thị.

Lane hình ảnh: OpenAI native primary.