66B: Tổng quan về mô hình ngôn ngữ quy mô lớn

66B là một mô hình ngôn ngữ quy mô lớn với khoảng 66 tỷ tham số, được huấn luyện trên một tập dữ liệu văn bản rộng và đa dạng. Mục tiêu của 66B là sinh ngôn ngữ tự nhiên, hiểu câu hỏi và hỗ trợ các tác vụ xử lý ngôn ngữ tự động ở nhiều ngôn ngữ khác nhau.

66B nổi bật ở khả năng bắt ngữ cảnh phức tạp, tạo văn bản mạch lạc và có ngữ nghĩa gần như con người. Nó hỗ trợ nhiều tác vụ như tóm tắt, trả lời câu hỏi, viết sáng tạo và dịch ngôn ngữ. Tuy nhiên, nó đòi hỏi tài nguyên tính toán lớn và cần quản trị an toàn nội dung.

66B được huấn luyện theo phương pháp tiền huấn luyện trên dữ liệu văn bản khổng lồ và sau đó có thể được chỉnh sửa tinh chỉnh cho các nhiệm vụ cụ thể. Kiến trúc dựa trên transformer, tối ưu hoá dựa trên GPU/TPU và được đánh giá qua nhiều tiêu chí chất lượng sinh ngôn ngữ, độ nhất quán và độ chính xác.