59% AI kẹt ở bài test game puzzle: Tín hiệu cảnh báo cho token AI và agent DeFi?

Lướt qua tin tức dễ, lần theo dấu vết mới khó. Con số 59% mà Epoch AI vừa công bố trên Crypto Briefing là một dấu vết kiểu vậy. Theo báo cáo, mọi mô hình AI hàng đầu tham gia bài kiểm tra game puzzle của tổ chức này đều không vượt qua mốc 59%. Hãy đặt con số đó cạnh những màn trình diễn 85-90% trên MMLU, GSM8K, HumanEval mà các phòng lab vẫn tự hào công bố. Chênh lệch quá lớn. Và vì bài viết xuất hiện trên một trang tin về crypto, không phải một tạp chí AI học thuật, tôi đọc nó như một tín hiệu thị trường, không phải một bài nghiên cứu thuần túy. Epoch AI không phải một công ty train model. Họ là một tổ chức nghiên cứu chuyên thống kê và phân tích chính sách AI; tài sản lớn nhất của họ là dữ liệu và phương pháp đo lường. Việc họ xây dựng một benchmark mới là hành động của một bên thứ ba muốn tạo ra một cây thước đo khác với những gì các phòng lab tự công bố. Trong bối cảnh các token gắn với AI agent, các giao thức DeFi được quảng cáo là “tự động vận hành bằng AI” và các quỹ đầu tư đang đổ tiền vào mọi thứ có nhãn “AI crypto”, một cây thước như vậy có thể thay đổi cách nhà đầu tư định giá. Game puzzle là cách gọi chung cho những bài test không dựa vào kiến thức văn bản có sẵn. Một mô hình có thể giỏi tóm tắt tài liệu, viết code, trả lời câu hỏi lịch sử, nhưng khi phải suy luận theo luật chơi mới, lập kế hoạch nhiều bước và xử lý tình huống không xuất hiện trong dữ liệu huấn luyện, nó bắt đầu lộ ra giới hạn. Điều khiến tôi dừng lại không phải là điểm 59% thấp. Mà là việc các mô hình có kiến trúc, dữ liệu và quy mô khác nhau lại cùng hội tụ quanh 59%. Trong đo lường, sự hội tụ như vậy thường báo hiệu một bài test đang chạm vào đúng ranh giới chung của một họ giải pháp. Những mô hình ngôn ngữ lớn hiện nay, dù là mã nguồn đóng hay mở, đều dùng chung một kiến trúc tự hồi quy, dự đoán token tiếp theo. Chúng rất mạnh trong việc tái hiện pattern ngôn ngữ, nhưng yếu trong việc xây dựng mô hình thế giới để suy luận trên luật lệ chưa từng gặp. Vì vậy, một benchmark game puzzle, nếu được thiết kế kỹ, có thể tách riêng hai thứ mà ngành công nghiệp vẫn hay gộp chung: ghi nhớ và tổng quát hóa. Điểm 59% còn có thể đến từ những yêu cầu như: hiểu luật chơi qua một đoạn mô tả ngắn, dự đoán trạng thái tiếp theo, tìm nước đi hợp lệ, hoặc nhận ra một ràng buộc phản trực giác. Những dạng này không thể giải bằng cách tra cứu câu trả lời tương tự. Mô hình phải tự tạo một không gian trạng thái, lan truyền các điều kiện và duyệt qua nhiều nhánh suy luận. Đây là bài toán mà mô hình ngôn ngữ thuần túy chưa được tối ưu hóa để làm tốt. Từ kinh nghiệm audit smart contract của tôi, có một điểm tương đồng thú vị. Khi tôi rà soát một hợp đồng thông minh, nếu nhiều đoạn code khác nhau cùng mắc một lỗi, tôi không kết luận rằng tất cả lập trình viên đều kém. Tôi kết luận rằng pattern lỗi đó đến từ một giả định chung, ví dụ “hàm này chỉ gọi nội bộ nên không cần kiểm tra người gọi”. Còn ở đây, 59% là pattern chung của toàn ngành. Nó báo hiệu rằng cách huấn luyện hiện tại đang bỏ qua một dạng năng lực mà con người vẫn dùng mỗi ngày: khả năng học một trò chơi mới từ vài ví dụ rồi chơi tốt ngay. Khi đọc một bản tin như thế này, tôi thường áp dụng một chữ ký quen thuộc: — Root: Điều tra vụ pump and dump NFT. Ý tôi là, đừng dừng lại ở bề mặt tin tức, hãy hỏi ai được lợi. Epoch AI có lợi gì khi công bố 59% trên Crypto Briefing? Có thể họ muốn tạo sức ép để trở thành “cơ quan kiểm định năng lực AI” có tầm ảnh hưởng. Có thể họ đang chuẩn bị gây quỹ. Cũng có thể họ muốn thu hút các đối tác doanh nghiệp đang cần một bên thứ ba đứng ra đánh giá rủi ro. Bất kể lý do, con số 59% đang có giá trị truyền thông rất lớn. Nhưng chính tại đây, bức tranh bắt đầu có nhiều lỗ hổng. Báo cáo chưa nói rõ benchmark này là dạng văn bản, hình ảnh hay đa phương thức. Chưa có kết quả kiểm tra nhiễm dữ liệu huấn luyện. Chưa có điểm baseline của con người. Chưa rõ mô hình có được dùng công cụ bên ngoài hay không. Nếu không có những dữ kiện đó, “59%” chỉ là một con số thô. Một con số thô có thể gây hoảng loạn, cũng có thể gây hưng phấn, nhưng không giúp ai ra quyết định đúng. Nói đến đây, tôi muốn đưa ra một góc nhìn nghịch lý. Một bài test mà mọi mô hình hàng đầu đều kẹt ở 59% có thể không phải bằng chứng cho thấy AI yếu. Nó có thể là bằng chứng cho thấy benchmark này thiếu độ phân giải. Nếu tất cả học sinh trong lớp đều đạt 5/10, bài kiểm tra đó không phân biệt được học sinh yếu và học sinh giỏi. Tương tự, nếu các mô hình từ vài trăm tỷ tham số đến hàng nghìn tỷ tham số đều cùng 59%, nhà đầu tư không thể dùng benchmark này để chọn model tốt hơn. Nó chỉ cho biết một ranh giới chung, không cho biết ai đang vượt qua ranh giới đó. Còn một rủi ro nữa, mang tên Goodhart's Law. Khi một chỉ số trở thành mục tiêu, nó không còn là chỉ số tốt nữa. Những người bán token AI có thể không cần đọc báo cáo, họ chỉ cần biết 59% để đẩy giá hoặc dìm giá. Những phòng lab có thể nhanh chóng huấn luyện mô hình trên hàng triệu game puzzle tương tự và nâng điểm lên 80% trong vòng một năm. Nhưng nếu làm vậy, benchmark này sẽ lặp lại sai lầm của MMLU: trở thành một bài thi được ôn luyện, không còn phản ánh năng lực tổng quát hóa thật. Nếu bạn đang nắm giữ token của các dự án AI, hãy đọc kỹ phần này. Ngành crypto đang có một kiểu tường thuật lặp đi lặp lại: AI agent sẽ tự động quản lý danh mục, tối ưu thanh khoản, phát hiện rug pull và giao dịch nhanh hơn con người. Những câu chuyện đó giúp dự án gọi vốn hàng chục triệu đô. Nhưng một benchmark như của Epoch AI, nếu được công nhận, sẽ cho thấy các agent này chỉ giỏi trong những tình huống chúng đã thấy. Khi thị trường xuất hiện một biến động mới, một cơ chế thanh khoản chưa từng có, một kiểu tấn công chưa từng được ghi nhận, các agent này có thể hành động sai theo cách rất tự tin. Điều đó nguy hiểm hơn một con bot im lặng. Đối với các quỹ đầu tư, 59% có thể trở thành một công cụ thẩm định. Trước đây, họ phải tin vào báo cáo năng lực do chính công ty AI viết. Bây giờ họ có thể yêu cầu một bên thứ ba như Epoch AI đánh giá và so sánh. Nếu xu hướng này lan rộng, những dự án AI không minh bạch về dữ liệu đánh giá sẽ bị giảm giá trị. Với 14 năm quan sát ngành, tôi đã thấy quá nhiều thứ từng được gọi là “thay đổi cuộc chơi” rồi biến mất. Các benchmark cũng vậy. Chúng là sản phẩm của một thời điểm, phản ánh nỗi sợ và kỳ vọng của thời điểm đó. Năm 2017, ICO được đánh giá bằng white paper. Năm 2021, NFT được đánh giá bằng Discord và đội ngũ. Năm 2026, AI đang được đánh giá bằng benchmark. Câu hỏi là benchmark nào sẽ thực sự trường tồn. Vậy điều gì thực sự đáng theo dõi? Không phải con số 59%, mà là những tài liệu bổ sung sẽ được công bố sau đợt truyền thông này. Liệu Epoch AI có công bố danh sách mô hình, điểm của con người, quy trình chống ô nhiễm dữ liệu, và các phép đo lặp lại không? Nếu có, 59% sẽ là một cột mốc nghiêm túc. Nếu không, nó chỉ là một cú hích truyền thông có chủ đích. Trong thị trường crypto, nơi mà những lời hứa về AI agent tự trị đang được bán khắp nơi, tôi muốn nhấn mạnh một điều: lướt qua tin tức dễ, lần theo dấu vết mới khó. Trước khi nạp tiền vào bất kỳ giao thức nào gắn mác AI, hãy tự hỏi: giao thức đó đã được kiểm tra bằng những bài toán chưa từng xuất hiện trong dữ liệu của nó chưa? Và nếu chưa, ai sẽ chịu trách nhiệm cho 41% sai số còn lại?