Bước đột phá của Google trong vận hành AI: Giảm 33 lần tiêu thụ năng lượng đối với mỗi prompt, tương đương 9 giây xem TV

Trong bối cảnh ngành công nghệ đang phải đối mặt với những lo ngại ngày càng tăng về tác động môi trường của trí tuệ nhân tạo, Google đã công bố một nghiên cứu chi tiết cho thấy họ đã giảm được 33 lần tiêu thụ năng lượng cho mỗi prompt AI chỉ trong vòng một năm qua. Đây là tin tốt lành giữa lúc việc sử dụng điện ở Mỹ tăng gần 4% so với cùng kỳ năm trước, chấm dứt xu hướng ổn định kéo dài hàng thập kỷ.

Sự gia tăng tiêu thụ điện này có liên quan trực tiếp đến việc mở rộng nhanh chóng các trung tâm dữ liệu, trong đó phần lớn được xây dựng để phục vụ sự bùng nổ trong sử dụng AI. Tình hình trở nên đáng lo ngại hơn khi một phần nhu cầu ngày càng tăng này đang được đáp ứng bằng việc tăng sử dụng than đá, với thị phần than trong sản xuất điện tăng khoảng 20% so với năm trước tính đến tháng 5.

Khác với các nghiên cứu học thuật chỉ có thể thử nghiệm nhu cầu năng lượng của từng mô hình AI riêng lẻ và khó có thể ngoại suy ra các trường hợp sử dụng thực tế, Google có quyền truy cập vào mọi loại dữ liệu từ các trường hợp sử dụng thực tế. Điều này khiến việc phát hành phân tích mới về tác động môi trường của AI trở thành cơ hội hiếm hoi để nhìn thấy bên trong hoạt động của một công ty công nghệ lớn.

Một trong những thách thức lớn khi thực hiện các phân tích này là quyết định những yếu tố nào cần được tính đến. Rõ ràng có năng lượng tiêu thụ bởi các bộ xử lý khi xử lý yêu cầu, nhưng còn có năng lượng cần thiết cho bộ nhớ, lưu trữ, làm mát và nhiều thành phần khác cần hỗ trợ các bộ xử lý đó.

Ngoài ra, còn có năng lượng sử dụng để sản xuất tất cả phần cứng và xây dựng các cơ sở chứa chúng. AI cũng yêu cầu rất nhiều năng lượng trong quá trình huấn luyện, một phần trong số đó có thể được tính vào bất kỳ yêu cầu đơn lẻ nào được thực hiện với mô hình sau khi huấn luyện.

Trong phân tích mới này, Google theo dõi năng lượng của CPU, các bộ tăng tốc AI chuyên dụng và bộ nhớ, cả khi đang hoạt động xử lý truy vấn và khi nhàn rỗi giữa các truy vấn. Công ty cũng theo dõi việc sử dụng năng lượng và nước của toàn bộ trung tâm dữ liệu và biết những gì khác có trong trung tâm dữ liệu đó để có thể ước tính phần được dành cho việc phục vụ các truy vấn AI.

Để đưa ra các con số tiêu biểu, nhóm thực hiện phân tích đã theo dõi các yêu cầu và phần cứng phục vụ chúng trong khoảng thời gian 24 giờ, cũng như thời gian nhàn rỗi của phần cứng đó. Điều này cung cấp cho họ ước tính năng lượng cho mỗi yêu cầu, khác nhau dựa trên mô hình được sử dụng. Đối với mỗi ngày, họ xác định prompt trung vị và sử dụng nó để tính toán tác động môi trường.

Sử dụng những ước tính đó, họ kết luận rằng ước tính prompt văn bản Gemini Apps trung bình sử dụng 0,24 watt-giờ năng lượng, phát thải 0,03 gram carbon dioxide tương đương và tiêu thụ 0,26 mililít nước, tương đương khoảng năm giọt nước. Để đặt điều đó vào bối cảnh, họ ước tính rằng việc sử dụng năng lượng tương tự như khoảng 9 giây xem TV.

Một phần đáng kể của bước tiến này là do hoàn cảnh. Với sự bùng nổ của năng lượng mặt trời ở Mỹ và những nơi khác, Google đã dễ dàng hơn trong việc sắp xếp năng lượng tái tạo. Kết quả là, lượng khí thải carbon trên mỗi đơn vị năng lượng tiêu thụ đã giảm 1,4 lần trong năm qua. Nhưng những thành công lớn nhất là ở phía phần mềm, nơi các cách tiếp cận khác nhau đã dẫn đến việc giảm 33 lần năng lượng tiêu thụ cho mỗi prompt.

Nhóm Google mô tả một số tối ưu hóa mà công ty đã thực hiện góp phần vào điều này. Một là cách tiếp cận được gọi là Mixture-of-Experts, bao gồm việc tìm ra cách chỉ kích hoạt phần của mô hình AI cần thiết để xử lý các yêu cầu cụ thể, điều này có thể giảm nhu cầu tính toán từ 10 đến 100 lần. Họ đã phát triển một số phiên bản nhỏ gọn của mô hình chính, điều này cũng làm giảm tải tính toán.

Quản lý trung tâm dữ liệu cũng đóng một vai trò, vì công ty có thể đảm bảo rằng mọi phần cứng hoạt động đều được sử dụng đầy đủ, trong khi cho phép phần còn lại ở trạng thái tiêu thụ điện năng thấp. Điều khác là Google thiết kế các bộ tăng tốc AI tùy chỉnh của riêng mình và kiến trúc phần mềm chạy trên chúng, cho phép tối ưu hóa cả hai mặt của sự phân chia phần cứng và phần mềm để hoạt động tốt với nhau. Điều đó đặc biệt quan trọng vì hoạt động trên các bộ tăng tốc AI chiếm hơn một nửa tổng mức sử dụng năng lượng của một truy vấn.

Kết quả của tất cả điều này là Google ước tính rằng mức tiêu thụ năng lượng của một truy vấn văn bản tiêu biểu đã giảm 33 lần chỉ trong năm qua. Điều đó có tác động lan tỏa, vì những thứ như lượng khí thải carbon liên quan đến, chẳng hạn như xây dựng phần cứng, được pha loãng bởi thực tế là phần cứng có thể xử lý nhiều truy vấn hơn trong suốt thời gian sử dụng hữu ích của nó.