Mô hình AI đời mới chạy mượt mà trên PC 'cổ' cài Windows 98 cùng chip Pentium II và 128MB RAM: Bí mật công nghệ ở đây là gì?

Một chiếc máy tính cổ chạy Windows 98, với vi xử lý Pentium II tốc độ chỉ 350 MHz và 128MB RAM, vừa trở thành "sân khấu" cho một thử nghiệm AI đầy bất ngờ. EXO Labs, tổ chức nghiên cứu được thành lập bởi các nhà khoa học từ Đại học Oxford, đã khiến giới công nghệ sửng sốt khi chạy thành công một mô hình ngôn ngữ lớn (LLM) trên hệ thống gần ba thập kỷ tuổi này.

Điều đáng kinh ngạc hơn, mô hình Llama 2 LLM không chỉ hoạt động mà còn có thể tạo văn bản ở tốc độ khá ổn định. Đây không phải chỉ là một thử nghiệm vui – nó mang theo tham vọng lớn lao: chứng minh rằng AI không cần phải phụ thuộc vào những trung tâm dữ liệu khổng lồ hay phần cứng đắt đỏ để hoạt động hiệu quả.

Từ chiếc máy tính cũ đến bước ngoặt lớn

EXO Labs, với tầm nhìn "dân chủ hóa AI," tin rằng việc AI bị thống trị bởi các tập đoàn lớn là một mối đe dọa với văn hóa, sự thật và giá trị xã hội. Họ hướng tới việc phát triển các công cụ để bất kỳ ai cũng có thể sử dụng AI, ngay cả trên những thiết bị cũ kỹ hoặc có hiệu năng hạn chế.

Thử nghiệm mới nhất của họ là minh chứng rõ nét. Bắt đầu từ một chiếc máy tính Windows 98 mua trên eBay, nhóm nghiên cứu đã sử dụng giao thức FTP để đưa dữ liệu vào hệ thống cổ điển này. Sau đó, với sự hỗ trợ từ mã nguồn "llama2.c" của Andrej Karpathy – một chuyên gia AI từng làm việc tại Tesla và OpenAI – họ biên dịch thành công mô hình Llama 2 bằng trình biên dịch Borland C++ 5.02. Kết quả là một mô hình AI hiện đại hoạt động trơn tru trên nền tảng đã lỗi thời.

Hiệu năng vượt mong đợi

Dù chiếc máy tính chỉ có một lõi xử lý, mô hình Llama 2 với kích thước 260K vẫn đạt tốc độ 35,9 từ mỗi giây. Với các mô hình lớn hơn, chẳng hạn Llama 3.2 1B, tốc độ giảm xuống đáng kể, nhưng điều này không làm lu mờ ý nghĩa của thử nghiệm: AI có thể hoạt động ngay cả trên hệ thống phần cứng cực kỳ hạn chế.

EXO không dừng lại ở thử nghiệm này. Họ đang phát triển BitNet, một kiến trúc AI hoàn toàn mới sử dụng trọng số tam phân, giúp giảm đáng kể yêu cầu về bộ nhớ và hiệu năng phần cứng. Theo EXO, một mô hình BitNet với 7 tỷ tham số chỉ cần 1,38GB dung lượng lưu trữ – nhẹ hơn rất nhiều so với các mô hình hiện tại.

Điều đặc biệt là BitNet ưu tiên chạy trên CPU thay vì GPU, khiến việc triển khai AI trở nên rẻ và dễ tiếp cận hơn. EXO cũng khẳng định BitNet có hiệu năng cao hơn 50% so với các mô hình AI thông thường, với khả năng xử lý 100 tỷ tham số chỉ bằng một CPU ở tốc độ đọc gần bằng con người.

EXO Labs không chỉ muốn chứng minh tiềm năng của công nghệ, họ còn hy vọng thay đổi cách AI được tiếp cận và sử dụng. Họ đang kêu gọi cộng đồng tham gia vào hành trình này – từ các nhà phát triển đến những người đam mê công nghệ. EXO cũng mở một kênh Discord mang tên Retro, nơi mọi người có thể thảo luận về việc chạy AI trên những thiết bị cổ như Gameboy, Raspberry Pi hay các máy Mac đời đầu.