Liệu LLM có thể tự mình bước vào cuộc phiêu lưu?
Chúng ta đều biết LLM có thể giải các phương trình toán học phức tạp, nhảy múa trên những dòng code. Nhưng nếu đặt LLM vào một hầm ngục chỉ toàn chữ, nơi mọi hành động đều được quyết định bằng prompt-văn bản, chúng sẽ xoay xở thế nào?
Đó là ý tưởng của TextQuests, một chuẩn mực mới do Trung tâm An toàn AI tại San Francisco phát triển. Nhóm nghiên cứu đã “hồi sinh” 25 trò chơi văn bản kinh điển, trong đó có huyền thoại Zork, để kiểm tra khả năng lập kế hoạch, ghi nhớ và thích ứng của các mô hình AI.
Một chút lịch sử: vào cuối thập niên 1970, game thủ tương tác với máy tính hoàn toàn qua những dòng chữ. Người chơi gõ những câu lệnh đơn giản như “GO NORTH” hay “GET LAMP”, máy tính phản hồi bằng đoạn mô tả ngắn. Nhóm sinh viên MIT yêu khoa học đã biến hình thức này thành game Zork (1979), sau đó sáng lập công ty Infocom, nơi khai sinh nhiều game văn bản kinh điển của thập niên 1980.
Theo báo cáo TextQuests, dù giao diện tưởng chừng thô sơ, trò chơi kiểu này có thể ngốn hơn 30 giờ chơi và yêu cầu hàng trăm hành động chính xác. Chúng trở thành môi trường giàu thách thức để đánh giá AI agent trong các nhiệm vụ phức tạp.
Josh Spurgin, Chuyên gia Kỹ thuật AI Cấp cao tại IBM (đồng thời là game thủ kỳ cựu) cho rằng những chuẩn mực như TextQuests có thể phơi bày những hành vi bất ngờ ở AI. “Nếu một mô hình đang chơi game kiểu Zork mà lại rất tự tin với một quyết định sai, tôi muốn biết vì sao nó nghĩ đó là lựa chọn đúng. Lý do là gì?” - ông chia sẻ với IBM Think.
Nhà phê bình game Cara Ellison cho rằng TextQuests thiên về kiểm tra trí nhớ hơn khả năng lý luận. “Đưa LLM vào trò chơi văn bản không có nghĩa bắt nó ‘suy nghĩ’ hay ‘giải quyết vấn đề’. Thực chất, bạn chỉ đang kiểm tra xem nó đã từng bắt gặp ngôn ngữ này trước đây chưa,” bà nói.
Câu hỏi đặt ra là: nghiên cứu tương lai sẽ hé lộ điều gì? Liệu những trò chơi cổ điển này có thật sự là thước đo trí thông minh, hay chỉ là bài tập nhận diện mẫu tinh vi? Và chuyện gì xảy ra khi một bộ não nhân tạo khổng lồ đối mặt với thử thách tưởng chừng đơn giản: “GO NORTH - TIẾN VỀ PHÍA BẮC”?