Tongyi: nghiên cứu chuyên sâu, chi phí phun sương
Nghiên cứu sâu có thể không còn đòi hỏi nguồn ngân sách dồi dào nữa. Mô hình Tongyi DeepResearch mới của gã khổng lồ công nghệ Trung Quốc Alibaba đã vươn lên dẫn đầu danh sách mô hình được tải xuống nhiều nhất của Hugging Face tuần trước.
Tongyi là agent nghiên cứu chuyên sâu tự động, hoạt động nhanh hơn, tiết kiệm chi phí hơn so với các agent có khả năng nghiên cứu phức tạp. Tin vui hơn nữa: Tongyi còn là mã nguồn mở.
"Tôi nghĩ đây là bước tiến thực sự tuyệt vời", Gabe Goodhart, Kiến trúc sư trưởng về Sáng tạo Mở AI tại IBM, chia sẻ trong tập gần đây của podcast Mixture of Experts. Ông hoan nghênh tin tức Alibaba phát triển LLM mở "mà bạn có thể chạy trên máy trạm cá nhân, ngang tầm với một hệ thống nghiên cứu tiên tiến".
Các agent nghiên cứu chuyên sâu tự động thu thập, tổng hợp, phân tích thông tin từ nhiều nguồn. Thông thường, chúng chạy trên LLM lớn, yêu cầu hàng trăm tỷ tham số, mất nhiều thời gian để suy luận (đôi khi lên đến 30 phút cho mỗi truy vấn) vì chúng tham khảo nhiều nguồn hơn so với các agent phản hồi ngay lập tức.
Mặc dù Tongyi DeepResearch có 30 tỷ tham số, nó chỉ kích hoạt 3 tỷ mã thông báo cùng một lúc. Điều này cho phép suy luận nhanh hơn, chi phí thấp hơn so với các agent nghiên cứu sâu đang phổ biến, đồng thời vẫn duy trì hiệu suất tương đương.
Ngoài các tiêu chuẩn chung, Tongyi DeepResearch rất thành thạo trong một số task vụ thực tế, ví dụ có thể "tự động thực hiện các nhiệm vụ nghiên cứu phức tạp, nhiều bước, tương tự quy trình làm việc của một luật sư mới vào nghề", nhóm DeepResearch của Tongyi Lab đã viết trong bài đăng trên blog GitHub. Theo bài đăng này, agent nghiên cứu pháp lý Tongyi FaRui đạt điểm chính xác cao hơn agent Deep Research của OpenAI và Claude của Anthropic khi trích dẫn các điều luật và vụ án pháp lý.
Mihai Criveti, Kỹ sư Xuất sắc tại IBM, nhấn mạnh các mô hình nhỏ nhưng mạnh mẽ, có thể hoàn thành nhiệm vụ nghiên cứu chuyên sâu được nhắm mục tiêu, đặc biệt hấp dẫn đối với các doanh nghiệp. "Có rất nhiều tổ chức đang tìm kiếm các mô hình rẻ hơn, nhanh hơn, nhỏ hơn - đặc biệt nếu mô hình hoạt động tốt với dữ liệu tài chính, dữ liệu nhân sự hoặc dữ liệu nội bộ".