DeepSeek tiên phong giảm chi phí đào tạo LLM
Gần một năm sau khi mô hình R1 hiệu năng cao, chi phí thấp của DeepSeek gây chấn động Thung lũng Silicon và Phố Wall, phòng thí nghiệm AI Trung Quốc này lại chuẩn bị khuấy động ngành công nghiệp AI một lần nữa.
Lần này, DeepSeek phát hành một khung phần mềm mới, giúp việc huấn luyện các mô hình ngôn ngữ quy mô lớn (LLM) hiệu quả hơn, ổn định hơn và có khả năng mở rộng hơn. Quan trọng hơn cả, điều này giúp giảm chi phí huấn luyện trước, mở ra sức mạnh của LLM cho các công ty nhỏ và các nhà phát triển cá nhân.
“Với sự đổi mới này, DeepSeek đang đặt câu hỏi ‘làm thế nào để tối ưu hóa chi phí trong giai đoạn huấn luyện trước?’”, kỹ sư ưu tú Chris Hay của IBM cho biết trong một cuộc phỏng vấn với IBM Think . “Huấn luyện mô hình là phần tốn kém nhất”.
Các nhà nghiên cứu của DeepSeek đã thử nghiệm kiến trúc mới, được gọi là Siêu kết nối ràng buộc đa tạp (Manifold-Constrained Hyper-Connections - mHC), trên các mô hình với 3 tỷ, 9 tỷ và 27 tỷ tham số. Họ nhận thấy các mô hình có thể mở rộng mà không làm tăng đáng kể gánh nặng tính toán hoặc bất ổn định, cả hai thứ thường tăng lên song song với việc mở rộng quy mô.
Thông thường, các phòng thí nghiệm AI tiên tiến dựa vào phương pháp "cưỡng chế" để cải thiện AI, theo lời Kaoutar El Maghraoui, nhà khoa học nghiên cứu chính tại IBM, trong tập mới nhất của podcast Mixture of Experts. Điều đó có nghĩa "thêm nhiều dữ liệu hơn, nhiều sức mạnh tính toán hơn, nhiều tham số hơn", bà nói. Nhưng cách tiếp cận đó "ngày càng kém hiệu quả, chỉ một số ít công ty lớn mới có khả năng chi trả".
El Maghraoui nhấn mạnh kiến trúc mHC của DeepSeek có thể cách mạng hóa việc huấn luyện trước mô hình. “Nó mở rộng quy mô AI một cách thông minh hơn thay vì chỉ làm cho nó lớn hơn,” bà nói. “Đó là một cách thiết kế mô hình thông minh, cũng sẽ hoạt động tốt hơn trên phần cứng”.
El Maghraoui cũng cho biết mHC dễ dàng tích hợp với phần cứng tùy chỉnh của công ty, khiến nó trở thành lựa chọn hấp dẫn tiềm năng cho các doanh nghiệp đang tìm kiếm AI tiết kiệm chi phí.
Trong một bài đăng trên LinkedIn, Pierre-Carl Langlais, đồng sáng lập công ty khởi nghiệp AI Pleias của Pháp, cho rằng ý nghĩa thực sự của bài báo nằm ở việc chứng minh khả năng mở rộng của mHC. Ông viết: "Điểm mạnh thực sự" là khả năng của DeepSeek trong việc tái thiết kế mọi khía cạnh của môi trường huấn luyện. "Đó là điều khiến [DeepSeek] trở thành phòng thí nghiệm tiên phong”.