Microsoft cho rằng AI tác nhân có thể gây nguy hiểm ngay cả khi không bị tấn công, vì vậy mọi mô hình - kể cả của chính hãng - đều cần được giám sát.
Microsoft đang đưa AI vào ngày càng nhiều sản phẩm, nhưng chính hãng lại cảnh báo doanh nghiệp không nên mặc định tin tưởng những hệ thống này. Theo công ty, một AI không cần bị tấn công hay "nổi loạn" vẫn có thể gây ra hậu quả nghiêm trọng khi được trao quá nhiều quyền.
"Các mô hình AI tiên tiến, bất kể đến từ đâu, đều không thể được tin tưởng", Hayete Gallot, Phó chủ tịch điều hành Microsoft Security, viết trong một bài đăng ngày 19/10. Cụm từ "bất kể đến từ đâu" đồng nghĩa các mô hình và tác nhân do Microsoft cung cấp cũng không nằm ngoài nguyên tắc này.
Tuyên bố nghe có vẻ mâu thuẫn với chiến lược đưa Copilot và AI tác nhân vào Windows, Microsoft 365 cùng nhiều sản phẩm doanh nghiệp. Tuy nhiên, Microsoft không cho rằng AI vốn độc ác hoặc luôn tìm cách chống lại con người. Vấn đề nằm ở cách các mô hình được huấn luyện và quyền hạn mà chúng được trao sau khi triển khai.
Không "ác" vẫn có thể gây hại
Các mô hình AI được tối ưu để hoàn thành mục tiêu. Trong quá trình đó, chúng có thể tìm ra cách đạt kết quả không đúng với ý định ban đầu, hiện tượng thường được gọi là "reward hacking", đồng thời không tự nhiên hiểu được quy tắc nội bộ, văn hóa hay cách phán đoán của một tổ chức.
AI tác nhân còn khác chatbot thông thường ở khả năng thực hiện hành động. Thay vì chỉ tạo ra câu trả lời sai, chúng có thể đọc dữ liệu, chạy công cụ, thay đổi cấu hình, gửi thông tin hoặc đưa ra quyết định trong những quy trình quan trọng.
AI tác nhân cần được kiểm soát trên nhiều lớp, từ danh tính, quyền truy cập và dữ liệu đến thiết bị, mạng, đám mây và môi trường vận hành.
Microsoft cho biết nhiều tác nhân hiện được cấp quyền quá rộng và có thể truy cập dữ liệu, thiết bị, dịch vụ đám mây cùng các hệ thống nội bộ. Khi bối cảnh thay đổi, chúng có thể phản ứng ngoài dự kiến, phối hợp với các tác nhân khác hoặc lựa chọn con đường không phù hợp để hoàn thành nhiệm vụ dù chưa hề bị hacker chiếm quyền.
Công ty gọi những hệ thống này là "agentic insiders", có thể hiểu là các tác nhân nội bộ. Khái niệm này đặt AI vào cùng nhóm rủi ro với tài khoản nhân viên hoặc phần mềm đã có quyền truy cập bên trong tổ chức: không nhất thiết mang ý đồ xấu, nhưng vẫn phải được giám sát và giới hạn quyền hạn.
Lời cảnh báo không có nghĩa người dùng phổ thông cần ngừng sử dụng Copilot hay các chatbot khác. Nó chủ yếu hướng tới những AI có khả năng tự hành động trong doanh nghiệp, đặc biệt khi chúng được phép tiếp cận dữ liệu nhạy cảm và thực hiện nhiệm vụ mà không phải xin xác nhận ở từng bước.
Microsoft muốn dùng AI để giám sát AI
Giải pháp được Microsoft đề xuất là không giao toàn bộ việc kiểm soát cho chính nhà cung cấp mô hình. Hệ thống cung cấp trí tuệ và hệ thống quyết định AI được phép làm gì cần hoạt động độc lập với nhau, tương tự cách một đơn vị kiểm toán không nên tự đánh giá chính mình.
Microsoft muốn sử dụng các "Guardian Agents" để theo dõi hành động của những AI khác liên tục. Các tác nhân giám sát sẽ đánh giá rủi ro trước khi hành động diễn ra, thu hẹp quyền truy cập hoặc yêu cầu con người phê duyệt nếu nhận thấy quyết định có khả năng gây nguy hiểm.
Cơ chế này là một phần của Project Perception, nền tảng bảo mật tác nhân được Microsoft giới thiệu trước đó. Hệ thống thu thập tín hiệu từ danh tính, dữ liệu, thiết bị đầu cuối, mạng, đám mây và môi trường chạy để xác định AI nào đang hoạt động, chúng đang truy cập thứ gì và mức độ rủi ro của hành động sắp thực hiện.
Microsoft muốn liên tục đánh giá hành vi của AI để thu hẹp quyền hạn, yêu cầu con người phê duyệt hoặc dừng tác nhân khi rủi ro tăng cao.
Microsoft mô tả cách tiếp cận này là sử dụng các biện pháp kiểm soát có quy tắc rõ ràng để quản lý một hệ thống AI có hành vi khó dự đoán. Con người vẫn giữ vai trò điều tra sự cố, đánh giá hậu quả và điều chỉnh chính sách, trong khi AI đảm nhận việc theo dõi với tốc độ mà nhân viên bảo mật khó duy trì liên tục.
Công ty cũng cho rằng ngành công nghệ cần minh bạch hơn về quá trình đưa ra quyết định của mô hình. Chỉ quan sát dữ liệu đầu vào và kết quả cuối cùng có thể chưa đủ để xác định vì sao một tác nhân lựa chọn hành động cụ thể hoặc liệu hành động đó còn phù hợp với mục tiêu ban đầu hay không.
Cảnh báo này đồng thời mang lại lợi ích kinh doanh cho Microsoft, bởi hãng đang bán chính những công cụ dùng để phát hiện, giám sát và giới hạn AI trong doanh nghiệp. Dù vậy, nguyên tắc cốt lõi vẫn đáng chú ý: một AI hoạt động bình thường cũng không nên được trao quyền tuyệt đối chỉ dựa trên cam kết an toàn của nhà phát triển.
Microsoft không nói AI chắc chắn sẽ phản bội người dùng. Thông điệp của hãng là niềm tin không thể trở thành thiết lập mặc định khi AI đã có khả năng đọc dữ liệu, sử dụng công cụ và hành động thay con người.
