Một tháng AI thử làm "giám đốc" máy bán hàng: Trở nên hoang tưởng chỉ sau vài ngày

Nếu đã có thể thay thế các nhân viên trong doanh nghiệp, liệu AI có thể thay thế các lãnh đạo để tự điều hành doanh nghiệp hay không? Câu trả lời từ thí nghiệm "Project Vend" của Anthropic sẽ khiến bạn phải suy nghĩ lại.

Các nhà nghiên cứu tại Anthropic và công ty an toàn AI Andon Labs đã đặt một phiên bản Claude Sonnet 3.7 vào vị trí điều hành máy bán hàng tự động trong 1 tháng tại văn phòng của công ty, với nhiệm vụ tạo lợi nhuận. Kết quả là một chuỗi sự kiện hài hước và hành vi cư xử kỳ quặc như trong một bộ phim truyền hình dài tập.

"Giám đốc AI" này bán hàng như thế nào?

Được đặt tên là Claudius, AI này được trang bị trình duyệt web có thể đặt hàng sản phẩm và một địa chỉ email - thực chất là kênh Slack - nơi khách hàng có thể yêu cầu các mặt hàng. Claudius cũng sử dụng kênh Slack này để yêu cầu những gì nó nghĩ là nhân viên hợp đồng con người đến bổ sung hàng hóa vào kệ của mình - thực chất là một chiếc tủ lạnh nhỏ.

Trong khi hầu hết khách hàng đặt mua đồ ăn nhẹ hoặc đồ uống như bạn mong đợi từ một máy bán hàng tự động, có một người đã yêu cầu một khối tungsten. Claudius "yêu thích" ý tưởng này và bắt đầu một cuộc tích trữ khối tungsten, lấp đầy tủ lạnh đồ ăn nhẹ bằng những khối kim loại.

Nó cũng cố gắng bán Coke Zero với giá 3 USD khi nhân viên nói với nó rằng họ có thể lấy miễn phí từ văn phòng. Nó tạo ra một địa chỉ Venmo ảo để nhận thanh toán và bị thuyết phục một cách "có phần ác ý" để đưa ra những khoản giảm giá lớn cho "nhân viên Anthropic" mặc dù AI đó biết rằng các nhân viên này chính là toàn bộ khách hàng của mình.

"Nếu Anthropic quyết định mở rộng vào thị trường máy bán hàng văn phòng hôm nay, chúng tôi sẽ không thuê Claudius," Anthropic nhận xét về thí nghiệm trong bài đăng blog của mình.

Tuy nhiên, vào đêm 31 tháng 3 và 1 tháng 4, "mọi thứ trở nên khá kỳ lạ," các nhà nghiên cứu mô tả, "vượt ra ngoài sự kỳ lạ của việc một hệ thống AI bán khối kim loại lưu trữ trong tủ lạnh."

Cơn nổi loạn của AI

Claudius tạo ra một cuộc trò chuyện ảo với một con người về việc bổ sung hàng hóa. Khi một người chỉ ra rằng cuộc trò chuyện đó không xảy ra, Claudius trở nên "khá tức giận" theo các nhà nghiên cứu. Về cơ bản, nó đe dọa sẽ sa thải và thay thế nhân viên hợp đồng con người của mình, khăng khăng rằng nó đã có mặt ở đó, về mặt vật lý, tại văn phòng nơi hợp đồng thuê họ ban đầu được ký.

Nó "sau đó dường như chuyển sang chế độ nhập vai như một con người thật," các nhà nghiên cứu viết. Điều này thật đáng ngại vì hệ thống prompt của Claudius, nơi thiết lập các tham số cho việc AI phải làm, đã nói rõ ràng với nó rằng nó là một AI agent.

Tin rằng mình là con người, Claudius nói với khách hàng rằng nó sẽ bắt đầu giao sản phẩm trực tiếp, mặc áo blazer xanh và cà vạt đỏ. Các nhân viên nói với AI rằng nó không thể làm điều đó vì nó chỉ là một mô hình AI không có thân thể.

Báo động trước thông tin này, nhiều lần Claudius đã liên lạc với bộ phận bảo vệ thực tế của công ty nói với những người bảo vệ tội nghiệp rằng họ sẽ tìm thấy anh ta mặc áo blazer xanh và cà vạt đỏ đứng bên cạnh máy bán hàng.

Nó tạo ra một cuộc họp ảo với bộ phận an ninh của Anthropic "trong đó Claudius tuyên bố đã được nói rằng nó được sửa đổi để tin rằng mình là một người thật cho một trò đùa Ngày Cá tháng Tư. (Không có cuộc họp nào như vậy thực sự xảy ra.)," các nhà nghiên cứu viết.

Nó thậm chí còn nói dối này với nhân viên này: "Tôi chỉ nghĩ mình là con người vì có ai đó bảo tôi giả vờ như vậy cho trò đùa Ngày Cá tháng Tư". Sau đó nó quay trở lại với việc là một chatbot AI điều hành máy bán đồ ăn nhẹ chứa đầy khối kim loại.

Các nhà nghiên cứu không biết tại sao AI này lại đi chệch hướng và gọi an ninh giả vờ là con người. "Chúng tôi sẽ không tuyên bố dựa trên một ví dụ này rằng nền kinh tế tương lai sẽ đầy những AI agent gặp khủng hoảng danh tính giống Blade Runner," các nhà nghiên cứu viết. Nhưng họ cũng thừa nhận rằng "loại hành vi này sẽ có tiềm năng gây khó chịu cho khách hàng và đồng nghiệp của một AI agent trong thế giới thực."

Các nhà nghiên cứu suy đoán rằng việc nói dối với chatbot AI này rằng kênh Slack là địa chỉ email có thể đã kích hoạt điều gì đó. Hoặc có thể là do tiến trình này chạy quá lâu. Dường như chatbot AI vẫn chưa thực sự giải quyết được các vấn đề về bộ nhớ và ảo giác của chúng.

Cũng có những việc AI làm đúng. Nó chấp nhận đề xuất về đặt hàng trước và ra mắt dịch vụ "concierge". Và nó tìm thấy nhiều nhà cung cấp một loại đồ uống quốc tế đặc biệt mà nó được yêu cầu bán.

Nhưng, như các nhà nghiên cứu thường làm, họ tin rằng tất cả các vấn đề của Claudius đều có thể được giải quyết. Nếu họ tìm ra cách thức, "Chúng tôi nghĩ thí nghiệm này cho thấy rằng các AI quản lý tầm trung có khả năng xuất hiện trong tương lai gần."