Không chỉ có băng thông xử lý tương đương với NVIDIA DGX Spark và nền tảng Ryzen AI Halo của AMD, chip AI của Axera còn có thể ghép với nhau thành các cụm xử lý lớn hơn.
Axera, hãng chip AI của Trung Quốc, vừa giới thiệu AX8860, dòng chip được thiết kế để chạy các mô hình ngôn ngữ lớn và tác nhân AI. Theo Sipeed, công ty sẽ bán thiết bị dùng chip này, khi chạy mô hình Qwen 27B, AX8860 nhanh hơn NVIDIA DGX Spark 25% ở khâu xử lý đầu vào (prefill) và 30% ở khâu sinh kết quả (decode). Giá bán cũng được cho là chỉ gần bằng một nửa.
Để có được hiệu năng đó, AX8860 được xây dựng trên tiến trình 6nm với CPU Arm Cortex-A55 16 nhân và bộ xử lý thần kinh (NPU) đạt tối đa 256 TOPS. Con số này tính theo độ chính xác FP4 thuần, không dùng kỹ thuật tận dụng dữ liệu thưa. Chip còn hỗ trợ kết nối PCIe 5.0 và bộ điều khiển bộ nhớ LPDDR5/5X 256 bit.
Ảnh: Sipeed
Chính bộ nhớ là điểm đáng chú ý nhất của cấu hình này. Chip có thể gắn tới 128 GB LPDDR5X, cho băng thông tối đa 273 GB/s, tức ngang với DGX Spark của NVIDIA và nền tảng Ryzen AI Halo của AMD. Với các mô hình ngôn ngữ lớn, dung lượng và băng thông bộ nhớ thường là yếu tố quyết định tốc độ, nên việc ngang hàng với hai đối thủ trên là nền tảng để Axera đặt lên bàn cân.
Bên cạnh đó, AX8860 còn có lợi thế ở khả năng ghép cụm. Nhiều thiết bị dùng chip này hỗ trợ giao tiếp mạng 256 Gbps, nhanh hơn mức 200 Gbps của DGX Spark. Khi ghép hai chip, sức mạnh tính toán lên 512 TOPS, còn ghép bốn chip đạt 1.024 TOPS với hiệu suất mở rộng 80%, theo công bố của hãng.
Ảnh: Sipeed
Về hình thức sản phẩm, AX8860 và AX8860P sẽ có nhiều dạng. Đơn giản nhất là mô-đun công suất 40W. Tiếp theo là card PCIe một khe cắm dùng đầu nối Gen5 x4, có cổng mạng, cổng hiển thị và thêm một quạt tản nhiệt. Phiên bản mạnh nhất là card bốn chip một khe cắm với bốn quạt trên một tấm tản nhiệt lớn, dùng đầu cấp điện 8 chân tiêu chuẩn. Ngoài ra, máy tính mini và máy tính bỏ túi dùng cùng chip này cũng đang được phát triển.
Về thời điểm ra mắt, Sipeed cho biết trang đặt trước các thiết bị như MaixStation sẽ mở trong vòng 24 giờ tới và sản phẩm sẽ có mặt trong năm nay. Phần mềm cũng không phải rào cản lớn, vì chip hỗ trợ nhiều bộ công cụ phát triển mô hình ngôn ngữ lớn như vLLM, SGLang và PyTorch.
Ảnh: Sipeed
Axera cũng không dừng ở AX8860. Theo lộ trình công bố, AX8950 sẽ đạt tới 500 TOPS, còn thế hệ AX8970 tiếp theo vượt 700 TOPS. Nếu các mốc này được giữ đúng, hãng sẽ có thêm hai lần nâng cấp sức mạnh sau AX8860 trong cùng dòng sản phẩm.
Dù vậy, các con số về tốc độ và giá hiện đều là tuyên bố từ phía Sipeed, chưa có đơn vị độc lập nào kiểm chứng. Riêng mức giá còn một điểm chưa rõ: chưa biết "gần một nửa" được so với DGX Spark bản 128 GB, hiện bán trên 7.000 USD, hay bản 64 GB giá 4.999 USD. Chỉ khi có thử nghiệm độc lập, người dùng mới đánh giá được AX8860 có thật sự là lựa chọn gọn nhẹ, tiết kiệm cho máy chạy mô hình ngôn ngữ lớn và tác nhân AI hay không.
