Đừng thần thánh hóa khả năng lập trình của ChatGPT, một nghiên cứu vừa cho thấy chatbot AI này cũng không quá "cao cường"
Hóa ra không phải số lượng câu trả lời sau do ChatGPT tạo ra khi lập trình cao hơn nhiều so với tưởng tượng của mọi người.
- Nhờ AI phác họa, cộng đồng thỏa sức chiêm ngưỡng dung nhan kiệt xuất của dàn mỹ nhân Conan
- Meta, Netflix, Amazon gây ‘sốt’: Trả 21,5 tỷ đồng/năm cho vị trí quản lý AI, sinh viên vừa tốt nghiệp cũng có cơ hội
- 'Cơn sóng thần' AI: Sức ảnh hưởng ngang tầm cuộc cách mạng Internet, khiến 300 triệu việc làm gián đoạn, đến lao động tri thức cũng mất kế sinh nhai
- Marvel gây tranh cãi với dự định dùng AI để thay thế diễn viên quần chúng
Trước khi ChatGPT xuất hiện và nổi tiếng, Stack Overflow là nguồn tài nguyên không thể thiếu cho các lập trình viên mỗi khi cần lời khuyên cho các dự án của họ. Nhưng như mọi diễn đàn thông thường khác, bạn phải đợi ai đó biết về vấn đề bạn cần để trả lời được các câu hỏi đó.
Với ChatGPT thì khác. Khả năng cung cấp câu trả lời cho câu hỏi nào, vào bất kỳ lúc nào đang khiến nhiều người tìm đến chatbot AI này hơn là Stack Overflow. Thế nhưng ngoại trừ một số bài kiểm tra đơn lẻ, không có nhiều dữ liệu cho thấy ChatGPT hiệu quả thế nào trong việc trả lời các câu hỏi của lập trình viên. Vì vậy, một nghiên cứu mới của Đại học Purdue quyết định tìm hiểu về điều này.
Để biết được ChatGPT hiệu quả như thế nào trong việc trả lời các câu hỏi về kỹ năng lập trình, các nhà nghiên cứu đã đưa cho chatbot AI này 517 câu hỏi trên Stack Overflow và kiểm tra độ chính xác cũng như chất lượng của những câu trả lời đó.
Kết quả có thể làm nhiều người bất ngờ về khả năng lập trình của ChatGPT. Trong số 517 câu hỏi, 259 câu trả lời của ChatGPT (khoảng 52%) là sai và chỉ có 248 (48%) là đúng. Hơn nữa, có đến 77% câu trả lời là dài dòng, số còn lại mới là các câu trả lời tương đồng với cách con người trả lời.
Mặc dù trả lời thiếu chính xác đáng kể cho các câu hỏi, nhưng kết quả cho thấy 65% các câu trả lời ở mức dễ hiểu và giải quyết được tất cả các khía cạnh của câu hỏi.
Để phân tích sâu hơn về chất lượng của các phản hồi ChatGPT, các nhà nghiên cứu đã yêu cầu 12 người tham gia khác có trình độ chuyên môn lập trình đưa ra câu trả lời của họ về những vấn đề này.
Mặc dù những người tham gia thích câu trả lời của Stack Overflow hơn là của ChatGPT khi người dùng chỉ lựa chọn 39,34% câu trả lời của ChatGPT. Thế nhưng hóa ra chính những người tham gia cũng không thể xác định được tất cả các câu trả lời sai do ChatGPT tạo ra.
Theo nghiên cứu trên, các câu trả lời của ChatGPT được trình bày rõ ràng thường khiến người dùng bỏ qua những thông tin không chính xác trong các câu trả lời.
"Người dùng bỏ qua các thông tin không chính xác trong những câu trả lời ChatGPT tạo ra (chiếm 39,34% các câu trả lời) do thông tin chi tiết toàn diện, rõ ràng và giống người trong các câu trả lời này", các tác giả nghiên cứu cho biết.
Việc tạo ra các câu trả lời nghe có vẻ hợp lý nhưng không chính xác là một vấn đề nghiêm trọng đối với tất cả các chatbot AI vì nó cho phép lan truyền thông tin sai lệch. Ngoài rủi ro đó, mức độ chính xác thấp trong các câu trả lời là lý do cho thấy, mọi người đừng nên quá thần thánh hóa khả năng của ChatGPT, đặc biệt trong lĩnh vực lập trình.
NỔI BẬT TRANG CHỦ
Sự thật từ nghiên cứu khoa học: Chơi trò chơi điện tử có ảnh hưởng bất ngờ đến chỉ số IQ của trẻ em!
Trò chơi điện tử từ lâu đã là chủ đề gây tranh cãi khi nhắc đến ảnh hưởng của chúng đối với trẻ em. Trong khi nhiều ý kiến chỉ trích việc chơi game có thể gây hại cho sự phát triển trí não, thì một nghiên cứu khoa học đã mang đến cái nhìn khác biệt, cho thấy mối liên hệ tích cực giữa việc chơi game và sự gia tăng trí thông minh ở trẻ nhỏ.
Những tiểu tiết bạn có thể đã bỏ qua trong trailer The Witcher 4
