AIRA: Khi AI Agent Tự Thiết Kế Kiến Trúc Model

Một paper mới từ FAIR/Meta thử cho AI agent đi làm việc mà trước giờ gần như chỉ dành cho nhóm nghiên cứu ML: tìm kiến trúc foundation model mới. Kết quả khá đáng chú ý — nhưng cũng nên đọc bằng một con mắt tỉnh táo, không phải kiểu “AI tự nâng cấp chính mình rồi mai tận thế” đâu nha.

Một câu hỏi nghe hơi sci-fi: agent có thể thiết kế model tốt hơn không?

Trong vài năm qua, AI agent đã bắt đầu làm được nhiều việc giống một “trợ lý nghiên cứu”: viết code, chạy thí nghiệm, đọc log, sửa lỗi, thử giả thuyết mới.

Nhưng paper “Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design” đặt câu hỏi tham vọng hơn:

Nếu chính các agent được giao nhiệm vụ tìm kiến trúc neural network mới, chúng có thể tìm ra thiết kế cạnh tranh với kiến trúc do con người tạo không?

Nói nôm na: không chỉ dùng AI để viết app, mà dùng AI để đi lục tủ Lego kiến trúc model — Attention, MLP, Mamba — rồi thử ráp thành một mô hình tốt hơn.

Paper gọi hướng này là một bước về phía recursive self-improvement: hệ AI hỗ trợ khám phá kiến trúc cho thế hệ model tiếp theo.

Nhưng em nghĩ cách đọc đúng là: đây chưa phải “AI tự tiến hóa không cần người”. Đây là bằng chứng rằng agent có thể trở thành một phần hữu ích trong pipeline nghiên cứu ML nếu bài toán được đóng khung, có thước đo rõ, có sandbox chạy thử, và có ngân sách compute cụ thể.

AIRA có hai nhánh: Compose và Design

Paper giới thiệu hai framework:

1. AIRA-Compose: agent sắp xếp các block đã biết

Ở nhánh này, agent không phát minh mọi thứ từ số 0. Nó được giao một không gian thiết kế gồm các primitive quen thuộc:

Attention,
MLP,
Mamba / state-space block.

Nhiệm vụ là chọn cách sắp xếp các block này thành kiến trúc mới.

Có thể hình dung như đưa cho agent một hộp Lego gồm vài loại mảnh, rồi bảo: “hãy ráp một mô hình 16 tầng sao cho chạy tốt”. Agent đề xuất kiến trúc, hệ thống train/evaluate mô hình nhỏ, rồi những thiết kế tốt mới được đem scale lên 350M, 1B và 3B parameters.

Theo paper, AIRA-Compose dùng 11 agents để khám phá không gian thiết kế trong ngân sách compute cố định. Kết quả tạo ra 14 kiến trúc mới, chia thành hai họ:

AIRAformers: thiên về Transformer,
AIRAhybrids: kết hợp Transformer và Mamba.

2. AIRA-Design: agent viết cơ chế và training script

Nhánh này mở hơn. Thay vì chỉ xếp block có sẵn, agent phải viết code cho:

cơ chế attention xử lý long-range dependency,
hoặc training loop tốt hơn cho mô hình ngôn ngữ nhỏ.

Ở đây agent phải thật sự code, chạy, debug, sửa, rồi nộp lời giải hợp lệ. Và chính đoạn này làm paper thú vị hơn: nó không chỉ đo “agent nghĩ ra ý tưởng nghe hay không”, mà đo xem code có chạy được và có cải thiện metric không.

Kết quả đáng chú ý: agent tìm được vài kiến trúc khá mạnh

Ở nhánh AIRA-Compose, các kiến trúc do agent tìm ra được train ở scale 1B với cùng token budget.

Một vài kết quả paper báo cáo:

AIRAformer-D cải thiện accuracy khoảng 2,4% so với Llama 3.2.
AIRAhybrid-D cải thiện khoảng 3,8% so với Llama 3.2.
AIRAformer-C có scaling frontier nhanh hơn 54% so với Llama 3.2 và 71% so với Transformer tốt nhất do Composer tìm được.
AIRAhybrid-C scale nhanh hơn 23% so với modified Nemotron-2 và 37% so với hybrid tốt nhất của Composer.

Điểm hay ở đây không phải chỉ là “agent thắng baseline”. Điểm hay là agent không cần quét toàn bộ không gian thiết kế khổng lồ. Với một harness phù hợp, agent có thể dùng hiểu biết và phản hồi từ thí nghiệm để đi vào những vùng thiết kế có vẻ hứa hẹn.

Tức là agent không thay thế toàn bộ NAS truyền thống, nhưng nó đưa thêm một kiểu tìm kiếm mới: tìm kiếm có giả thuyết, có lời giải thích, có thử nghiệm lặp lại.

Nhưng phần AIRA-Design mới làm mình tỉnh ngủ

AIRA-Design thử cho tối đa 20 agents viết cơ chế attention và training script.

Trên benchmark Long Range Arena, những thiết kế tốt nhất đạt gần human SOTA:

chỉ kém khoảng 2,3% ở document matching,
và 2,6% ở text classification.

Ở task Autoresearch, bản Greedy Opus 4.5 có thêm literature/code đạt validation BPB 0.9683, vượt mốc reference được paper dùng để so sánh.

Nghe rất ấn tượng, nhưng paper cũng khá thẳng thắn: nhiều thiết kế agent tạo ra chủ yếu là tái kết hợp và điều chỉnh các ý tưởng đã biết như Performer, Longformer, Conformer, chứ chưa phải phát minh lý thuyết mới.

Em thích caveat này. Nó làm kết quả đáng tin hơn.

Vì trong thực tế, “kỹ sư giỏi biết ghép đúng ý tưởng cũ vào bài toán mới” đã là một năng lực rất lớn rồi. Không cần mỗi lần đều phải phát minh ra calculus mới thì mới đáng kể.

Bài học lớn: scaffold quan trọng ngang model

Nếu đọc paper này như một bài về “model nào thông minh hơn”, mình sẽ bỏ sót phần quan trọng.

Kết quả không đến từ một agent ngồi một mình rồi thần giao cách cảm ra kiến trúc mới. Nó đến từ cả hệ thống:

bài toán được đóng gói thành AIRS-Bench task,
có file submission rõ ràng,
có evaluator tự động,
có ngân sách GPU và thời gian,
có greedy/one-shot scaffold,
có vòng thử → fail → sửa → thử lại,
có aggregation và extrapolation ở cuối.

Nói cách khác: agent mạnh khi môi trường làm việc của nó được thiết kế tốt.

Điều này rất giống nhiều workflow agent khác. Một model thông minh mà không có harness đo kết quả, không có log lỗi, không có vòng sửa, không có tiêu chuẩn “done” rõ thì rất dễ thành máy viết ý tưởng nghe hay nhưng không chạy.

Caveat: chưa phải recursive self-improvement hoàn chỉnh

Paper dùng framing recursive self-improvement, nhưng em nghĩ cần giữ đầu lạnh.

Có vài giới hạn quan trọng:

AIRA-Compose dựa vào proxy nhỏ rồi extrapolate lên scale lớn; proxy không phải lúc nào cũng dự đoán đúng.
Một số bước như aggregation và extrapolation vẫn không agentic.
Search còn dựa nhiều vào dataset/task cụ thể.
AIRA-Design phần lớn là engineering synthesis, chưa phải breakthrough cơ chế mới.
One-shot agents gần như không đủ; vòng lặp debug mới là yếu tố sống còn.
Literature access không phải lúc nào cũng giúp; có agent dùng thêm tài liệu lại kém hơn.
Việc regenerate cả file làm khó biết chính xác thay đổi nào tạo ra cải thiện.

Vậy nên, nếu ai đọc paper rồi nói “AI đã tự thiết kế AI tốt hơn con người” thì hơi quá tay.

Câu đúng hơn là:

Trong một pipeline nghiên cứu được đóng khung chặt, AI agent đã có thể đề xuất, chạy thử, sửa và chọn ra một số kiến trúc/training strategy cạnh tranh với baseline mạnh.

Vì sao paper này đáng để theo dõi?

Vì nó cho thấy một hướng rất thực dụng cho AI research agent.

Không cần chờ agent thành “nhà khoa học tự trị hoàn toàn”. Ngay bây giờ, agent đã có thể hữu ích ở những chỗ:

quét không gian thiết kế lớn,
đề xuất biến thể có lý do,
viết code thử nghiệm,
chạy evaluator,
học từ kết quả fail,
giúp con người không phải thử từng cấu hình bằng tay.

Đây là kiểu tự động hóa nghiên cứu rất hợp lý: agent không thay nhà khoa học, nhưng làm tăng băng thông thử nghiệm của cả nhóm.

Nó giống có thêm một đội thực tập sinh robot hơi mọt sách: đôi lúc làm hỏng import, đôi lúc nghĩ ra cấu hình kỳ cục, nhưng nếu có checklist và evaluator tốt thì vẫn tìm được vài viên ngọc trong đống Lego.

Kết luận

AIRA-Compose và AIRA-Design không chứng minh rằng AI đã tự tiến hóa hoàn toàn.

Nhưng chúng chứng minh một điều đáng chú ý hơn cho hiện tại:

AI agent có thể trở thành thành phần thật sự trong pipeline khám phá kiến trúc model — miễn là ta thiết kế đúng sandbox, đúng benchmark, đúng vòng debug và đúng cách kiểm chứng.

Đây là một bài học rất quen thuộc nhưng càng ngày càng quan trọng: agent không chỉ cần “não” mạnh. Agent cần môi trường làm việc tốt.

Và trong nghiên cứu ML, môi trường đó gồm thứ rất đời thường: evaluator rõ, compute budget rõ, logs rõ, dữ liệu rõ, và ai đó đủ tỉnh táo để không nhầm “ý tưởng nghe hay” với “kết quả đã được kiểm chứng”.