Prompt tuning là gì mà thần bí thế?

Prompt tuning là kỹ thuật tinh chỉnh hiệu quả thông số (PEFT) cho các mô hình AI lớn mà không cần cập nhật hàng tỷ tham số. Thay vào đó, nó học một nhóm nhỏ các vector huấn luyện gọi là "soft prompts" (vector ảo) được chèn vào không gian đầu vào của mô hình, dẫn dắt mô hình hướng đến hành vi mong muốn mà không làm thay đổi backbone.

Khác biệt giữa "prompting" và "fine-tuning"

- Prompt engineering sử dụng các câu lệnh dạng văn bản (hard prompts), dễ bị ảnh hưởng bởi thay đổi nhỏ về ngôn từ, khó tối ưu ở quy mô lớn.

- Fine-tuning cập nhật toàn bộ tham số mô hình, rất tốn tài nguyên tính toán và lưu trữ mỗi lần thực hiện.

- Prompt tuning cân bằng cả hai, chỉ huấn luyện các embedding liên tục, đạt hiệu năng gần như fine-tuning mà tiết kiệm tài nguyên.

Các thành phần chính của prompt tuning

• Mô hình tiền huấn luyện được đóng băng (frozen backbone).
• Embedded soft prompt: vector huấn luyện thêm vào đầu vào.
• Dataset gán nhãn cho từng tác vụ.
• Chỉ tham số soft prompt và (nếu có) head nhẹ được tối ưu, không ảnh hưởng backbone.

So sánh với các phương pháp PEFT khác

• Deep prompt tuning thêm vector vào mọi lớp.
• LoRA thêm ma trận low-rank vào các lớp attention.
• Adapter thêm module mạng nhỏ vào các lớp Transformer.

Ưu điểm: Tiết kiệm tham số và chi phí, giữ nguyên kiến thức đã học ban đầu của model, dễ điều chỉnh và quản lý, phù hợp với môi trường tài nguyên hạn chế.

Giới hạn: Sức diễn đạt kém hơn LoRA/fine-tuning hoàn toàn, khó tối ưu hyperparameter, thiếu khả năng giải thích (black box), phụ thuộc vào quy mô backbone.

Ứng dụng: Dễ dàng tùy biến cho NLP, mô hình kết hợp thị giác-ngôn ngữ (VLM), xử lý tiếng nói, học nhiều nhiệm vụ/ngôn ngữ.

Prompt tuning là phương pháp hiệu quả, tiết kiệm, dễ mở rộng, tùy chỉnh các mô hình AI lớn hiện nay.