AMD ra mắt Instinct MI350: GPU chuyên AI với 185 tỷ bóng bán dẫn và bộ nhớ HBM3E 288 GB

Hôm nay, AMD đã chính thức ra mắt dòng GPU Instinct MI350 dành cho HPC (High Performance Computing) và AI, được trang bị kiến trúc CDNA 4 hoàn toàn mới dựa trên quy trình 3nm của TSMC.

Con chip này có 185 tỷ bóng bán dẫn và có hai phiên bản, MI350X và MI355X nhanh hơn, được cung cấp dưới cả hai dạng làm mát bằng không khí và bằng chất lỏng. Các chip mới hỗ trợ các định dạng dữ liệu AI mới nhất là FP6 và FP4 và được trang bị bộ nhớ HBM3e khổng lồ. So sánh với các chip B300 của NVIDIA dựa trên quy trình 4nm của TSMC, có tới 208 tỷ bóng bán dẫn.

Dòng chip MI350 chứa tổng cộng 256 đơn vị tính toán với 128 bộ xử lý dòng, tạo ra tổng cộng 16.384 lõi. Đây là số lõi thấp hơn so với dòng MI325 và MI300, từng có 304 đơn vị tính toán với số lõi tối đa 19.456. Các đơn vị tính toán này được sắp xếp thành tám khu vực, mỗi khu vực có XCD riêng, với mỗi XCD chứa 32 đơn vị tính toán.

Chỉ tính riêng khả năng tính toán AI, AMD cho biết dòng Instinct MI350 cung cấp 20 PFLOPs tính toán FP4/FP6, tăng 4 lần so với thế hệ trước. Với HBM3e, tốc độ truyền dữ liệu sẽ nhanh hơn với dung lượng siêu lớn 288 GB trên cả hai phiên bản. Ngoài ra, còn có 256 MB Infinity Cache mới trên các chip.

MI355X của AMD cung cấp băng thông bộ nhớ tổng hợp lên tới 8 TB/s, 79 TFLOPs FP64, 5 PFLOPs FP16, 10 PFLOPs FP8 và 20 PFLOPs tính toán FP6/FP4. Đây là các con số cho cấu hình cao nhất 1400W của chip Instinct MI355X. Cả MI350X và MI355X sử dụng cùng một die, nhưng MI355X có TDP cao hơn.

So sánh với dòng MI300 thế hệ trước, AMD đã cho thấy sự tăng trưởng vượt bậc với hiệu suất Inference tăng 35 lần khi sử dụng Llama 3.1 405B. Đây là một sự gia tăng đáng kể.

Nền tảng Instinct mới sẽ cung cấp tới 8x GPU MI355 series với bộ nhớ HBM3e 2.3 TB, tổng băng thông 64 TB/s, 0.63 PFLOPs tính toán FP64, 81 PFLOPs FP8 và 161 PFLOPs tính toán FP6/FP4.

Với các số liệu chính thức được công bố, AMD cũng đã trình bày về hiệu suất thực tế của các chip mới trong một loạt các bài kiểm tra AI. So sánh giữa MI355X và MI300X, các chip mới cung cấp mức tăng từ 2.8x đến 4.2x trong hiệu suất AI.

AMD cũng xác nhận rằng trong khi dòng Instinct MI350 hôm nay được ra mắt và sẽ sẵn sàng thông qua các đối tác từ quý 3 năm 2025, dòng MI400 thế hệ tiếp theo đã được phát triển và dự kiến ra mắt vào năm 2026.