DeepSeek-OCR: đừng cố nhớ những gì đáng quên
Sử dụng kỹ thuật mới để cải thiện khả năng ghi nhớ của AI bằng cách mô phỏng trí nhớ con người. DeepSeek-OCR đạt 4.000 sao trên GitHub chỉ trong vòng 24 giờ, giữ vững vị trí dẫn đầu danh sách mô hình phổ biến nhất của Hugging Face trong hơn một tuần.
Thay vì đưa văn bản vào mô hình dưới dạng token như hầu hết các mô hình khác, DeepSeek-OCR chuyển đổi tài liệu thành hình ảnh, một phương pháp mà nghiên cứu của công ty cho thấy có thể hiệu quả hơn token văn bản trong đào tạo các LLM.
Trong cuộc phỏng vấn với IBM Think, Kaoutar El Maghraoui, Nhà khoa học Nghiên cứu chính tại IBM, đã ca ngợi phương pháp này là "sáng tạo". Bà cho biết, "sử dụng công nghệ nén token thị giác để chuyển đổi hình ảnh tài liệu thành token nhỏ gọn giúp giảm đáng kể độ dài ngữ cảnh và chi phí".
Theo bài báo kỹ thuật kèm theo bản phát hành mô hình, cứ 10 mã thông báo văn bản, DeepSeek-OCR chỉ cần một "mã thông báo thị giác" để biểu diễn cùng một thông tin với độ chính xác 97%. Một con số rất cao, đạt được 4.000 sao là đương nhiên.
Các nhà nghiên cứu viết rằng, mô hình đạt được hiệu quả này bằng cách mô phỏng trí nhớ con người, và auto "quên" đi một số chi tiết nhất định theo thời gian. "Phương pháp nén quang học cho phép một dạng suy giảm trí nhớ phản ánh quá trình quên lãng sinh học... Thông tin gần đây vẫn duy trì độ trung thực cao, trong khi những ký ức xa xưa mờ dần khi tỷ lệ nén tăng lên." Hay nói một cách ngắn gọn: đừng cố nhớ những gì đáng quên.
El Maghraoui cho biết DeepSeek không phải công ty duy nhất chuyển sang mô hình nguồn mở. Docling của IBM ra mắt một năm trước, giải quyết thách thức này bằng phương pháp khác. "Trong khi DeepSeek-OCR nổi bật về thông lượng OCR thô và hiệu quả với mã thông báo, Docling vượt trội về khả năng chuyển đổi và cấu trúc đầu cuối".
Trên thực tế, DeepSeek-OCR và Docling có thể "bổ sung" cho nhau, bà nói. "DeepSeek-OCR có thể đóng vai trò là giao diện trích xuất văn bản tốc độ cao, độ chính xác cao, trong khi Docling tiếp nhận kết quả đầu ra, làm phong phú chúng bằng định dạng, bảng biểu và cấu trúc ngữ nghĩa cho các nhu cầu cần phân tích sâu hơn trong môi trường doanh nghiệp".