AI của Microsoft chỉ ngốn 400MB bộ nhớ, không cần GPU - và vẫn đấu ngang ngửa đối thủ hàng đầu

Microsoft vừa khiến giới AI bất ngờ khi công bố BitNet b1.58 2B4T, một mô hình ngôn ngữ lớn (LLM) hoàn toàn mới, không cần GPU cao cấp mà vẫn đạt hiệu năng ấn tượng. Với thiết kế cực nhẹ, sử dụng thuật toán ternary quantization - mỗi trọng số chỉ là -1, 0 hoặc +1 - BitNet là bước tiến quan trọng trong cuộc đua tạo ra AI tiêu tốn ít tài nguyên nhưng vẫn hiệu quả.

Thông thường, các mô hình AI lớn sử dụng số thực 16-bit hoặc 32-bit để biểu diễn từng trọng số, khiến việc lưu trữ và tính toán trở nên nặng nề. BitNet thì khác: mỗi trọng số chỉ cần 1.58 bit, nhờ đó mô hình chỉ tiêu tốn 400MB bộ nhớ – chỉ bằng 1/3 dung lượng của các mô hình cùng kích cỡ như LLaMA 3.2 1B, Gemma 3 1B hay Qwen 2.5 1.5B.

Mặc dù độ chính xác của trọng số rất thấp, BitNet vẫn được huấn luyện trên tập dữ liệu khổng lồ lên tới 4 nghìn tỷ tokens – tương đương 33 triệu cuốn sách – giúp nó xử lý tốt các tác vụ từ toán tiểu học cho đến các câu hỏi suy luận thường thức. Thậm chí, trong một số bài kiểm tra, BitNet còn vượt mặt các đối thủ ngang hàng về độ chính xác và tốc độ phản hồi.

Điều làm nên sự khác biệt của BitNet không chỉ là kiến trúc đơn giản, mà còn là khả năng chạy trực tiếp trên CPU phổ thông, kể cả chip Apple M2. Microsoft phát triển một framework riêng mang tên bitnet.cpp, được tối ưu hóa cho cấu trúc trọng số đơn giản của BitNet. Điều này giúp mô hình chạy nhanh, gọn, không cần đến thư viện AI truyền thống như Hugging Face Transformers.

Tiềm năng của BitNet b1.58 2B4T là rất lớn. Nó mở ra cánh cửa để AI cấp cao chạy trực tiếp trên thiết bị cá nhân, không cần tới trung tâm dữ liệu đắt đỏ hay điện toán đám mây. Các nhà nghiên cứu của Microsoft ước tính mô hình này tiêu thụ ít hơn từ 85 đến 96% năng lượng so với các mô hình AI full-precision cùng cấp.

Tuy nhiên, BitNet hiện vẫn còn một số hạn chế. Nó cần chạy bằng framework riêng, hỗ trợ phần cứng còn hạn chế, và độ dài ngữ cảnh (context window) còn ngắn hơn so với các mô hình hàng đầu. Dù vậy, thành công bước đầu này đang mở ra một hướng đi mới cho ngành AI: gọn nhẹ – tiết kiệm – phổ cập, chứ không nhất thiết phải càng to càng tốt.

Với BitNet, Microsoft đang cho thấy: đôi khi, đơn giản chính là chìa khóa để đi xa hơn.