Card đồ hoạ Arc Pro B70 của Intel có nâng cấp xịn

MLCommons vừa công bố kết quả MLPerf Inference v6.0, bộ benchmark đánh giá hiệu năng AI inference trên GPU và CPU từ nhiều nhà sản xuất. Đây là lần đầu tiên Intel đưa dòng Arc Pro B70 và Arc Pro B65 vào bảng xếp hạng - hai mẫu GPU mới trang bị chip Big Battlemage vừa được giới thiệu gần đây.

Arc Pro B70 vượt B60 tới 80%

Cấu hình Intel sử dụng để đo điểm là hệ thống bốn GPU Arc Pro B70, tổng dung lượng VRAM đạt 128 GB, đủ khả năng chạy các mô hình ngôn ngữ lớn tới 120 tỷ tham số. Toàn bộ hệ thống kết hợp với CPU Intel Xeon 6 thế hệ mới.

Trong bài kiểm tra GPT-OSS-120B, cấu hình bốn Arc Pro B70 đạt 1.536,90 token/giây (chế độ offline) và 951,67 token/giây (chế độ server). So sánh với cấu hình bốn Arc Pro B60 đơn (96 GB VRAM) chỉ đạt lần lượt 841,04 và 452,19 token/giây - tức B70 nhanh hơn khoảng 83% ở chế độ offline và hơn 110% ở chế độ server.

Ở bài kiểm tra llama2-70b-99, bốn Arc Pro B70 đạt 2.459,18 token/giây offline và 1.698,57 token/giây server, trong khi bốn Arc Pro B60 đơn chỉ đạt 1.697,66 và 1.106,26 - mức vượt trội lần lượt là 45% và 54%. Riêng bài kiểm tra llama3.1 8b, Intel đưa thêm cấu hình Arc Pro B60 Dual (192 GB), Arc Pro B50 (64 GB), và Xeon 6 (128 nhân) vào bảng. Kết quả cho thấy bốn Arc Pro B60 Dual dẫn đầu với 52,83 token/giây offline, tiếp theo là bốn B70 đạt 36,07, bốn B60 đơn đạt 26,15, bốn B50 đạt 13,45, và hai Xeon 6 đạt 9,61 token/giây.

Tối ưu phần mềm giúp GPU cũ tăng thêm 18%

Ngoài phần cứng mới, Intel còn công bố thành quả tối ưu hóa phần mềm liên tục, giúp các GPU hiện có như Arc Pro B60 tăng hiệu năng thêm 18% mà không cần nâng cấp phần cứng. Đây là kết quả từ quá trình cải tiến trình điều khiển và phần mềm AI mà Intel duy trì song song với việc phát triển phần cứng mới.

Xeon 6 tăng hiệu năng 90% so với thế hệ trước

Intel cũng nộp kết quả riêng cho dòng Xeon 6 với P-Cores, đạt mức tăng hiệu năng tới 90% so với thế hệ trước nhờ các công nghệ tích hợp AMX và AVX-512, cho phép chạy LLM inference, fine-tuning, và machine learning cổ điển mà không cần thêm phần cứng tăng tốc riêng. Intel là nhà sản xuất vi xử lý máy chủ duy nhất nộp kết quả CPU độc lập trong MLPerf inference, trong khi hơn nửa số lần nộp kết quả tại MLPerf 6.0 sử dụng Xeon làm CPU chủ.

Intel mô tả các hệ thống Arc Pro B70 và B65 là nền tảng inference tích hợp toàn bộ, hỗ trợ môi trường Linux container, mở rộng đa GPU qua PCIe P2P, tích hợp các tính năng cấp doanh nghiệp như ECC, SRIOV, đo từ xa, và cập nhật firmware từ xa. Khi so sánh với các giải pháp GPU tương đương từ đối thủ, Intel cho biết Arc Pro B70 trong cấu hình đa GPU hỗ trợ dung lượng KV cache lớn hơn 1,6 lần khi chạy các mô hình lớn.

Arc Pro B70 dự kiến lên kệ trong thời gian sớm với giá dưới 1.000 USD (~26,26 triệu đồng), mang tới 32 GB VRAM trên một GPU.