Stanford: ChatGPT đang ngày càng “kém thông minh” hơn

Một báo cáo của các nhà nghiên cứu tại Đại học Stanford và UC Berkeley, phát hiện ra rằng ChatGPT, chatbot mô hình ngôn ngữ lớn của OpenAI, đang trở nên “kém thông minh” hơn theo thời gian.

Một báo cáo của các nhà nghiên cứu tại Đại học Stanford và UC Berkeley, phát hiện ra rằng ChatGPT, chatbot mô hình ngôn ngữ lớn của OpenAI, đang trở nên “kém thông minh” hơn theo thời gian. Cụ thể, so với thời điểm tháng 11/2022 khi mới ra mắt, thì độ chính xác của ChatGPT trong nhiều nhiệm vụ đã giảm đáng kể, khoảng 25%. 

Có thể thấy, sau 7 tháng kể từ thời điểm ra mắt, ứng dụng web phát triển nhanh nhất trong lịch sử internet ChatGPT đang gặp phải nhiều lời phàn nàn từ người dùng. Một trong số đó đến từ việc mô hình AI mới nhất đằng sau ChatGPT là GPT-4 đang dần trở nên “kém thông minh” hơn. Các nhà nghiên cứu đã thử nghiệm khả năng giải toán và nhận thấy rằng độ chính xác của ChatGPT đối với các bài toán trong tháng 6 giảm chỉ còn 2,4%, so với mức 87,5% đến 97,6% hồi tháng 3.

Tương tự, khả năng lập trình của ChatGPT vào tháng 6 cũng trở nên kém cỏi hơn nhiều, khi các dòng mã lập trình được viết ra mắc nhiều lỗi hơn so với thời điểm đầu năm nay. Cuối cùng, ChatGPT cũng “ít sẵn sàng trả lời các câu hỏi nhạy cảm hơn”. Tuy nhiên, các nhà nghiên cứu hiện không rõ tại sao hiệu suất của ChatGPT lại giảm. Họ suy đoán rằng đó có thể là do một số yếu tố, chẳng hạn như những thay đổi đối với dữ liệu đào tạo hoặc của chính thuật toán.

Kết quả của nghiên cứu làm dấy lên mối lo ngại về độ tin cậy của ChatGPT. Nếu chatbot trở nên tồi tệ hơn theo thời gian, có thể dẫn đến việc người dùng đưa ra quyết định tồi tệ dựa trên phản hồi của chatbot. OpenAI hiện vẫn chưa bình luận về những phát hiện của nghiên cứu. Tuy nhiên, công ty cam kết sẽ cải thiện độ chính xác và độ tin cậy của ChatGPT.

Hiện, thắc mắc tại sao GPT-4 lại trở nên kém cỏi như vậy là điều mà nhóm nghiên cứu vẫn chưa thể xác định. "Báo cáo không thể giải thích được vì sao sự suy giảm khả năng của GPT-4 lại xảy ra. Chúng tôi thậm chí không biết liệu OpenAI có biết điều này đang xảy ra hay không”, Giáo sư Ethan Mollick tại trường Kinh doanh Wharton của ĐH Pennsylvania cho biết.

Thế nhưng khi trả lời một nhận xét không liên quan đến nghiên cứu, Phó chủ tịch phụ trách sản phẩm của OpenAI - ông Peter Welinder viết rằng: “Chúng tôi không làm cho GPT-4 kém thông minh hơn. Ngược lại, chúng tôi đang làm cho mỗi phiên bản hiện đại hơn. Giả thuyết hiện tại: Khi bạn sử dụng nó nhiều hơn, bạn bắt đầu nhận thấy các vấn đề mà bạn chưa từng thấy trước đây”.

Bên cạnh đó, theo dữ liệu từ công ty phân tích SimilarWeb, lưu lượng truy cập toàn cầu vào trang web ChatGPT của OpenAI ước tính giảm khoảng 10% trong khoảng thời gian từ tháng 5 đến tháng 6. Đây là con số đánh dấu lần đầu tiên số lượng truy cập vào mô hình ngôn ngữ lớn này suy giảm kể từ khi ChatGPT được ra mắt hồi tháng 11 năm ngoái.

Theo đó, vào tháng 6/2023, lưu lượng truy cập trên toàn thế giới từ PC và thiết bị di động đến trang web của ChatGPt đã giảm 9,7% so với tháng trước. "ChatGPT không còn duy trì được độ nóng để có thể trở thành trang web có nhiều lượt truy cập nhất trên thế giới", theo Similarweb.

Do vậy, người dùng có lẽ nên biết về khả năng cung cấp thông tin không chính xác hoặc gây hiểu lầm của ChatGPT. Nếu sử dụng ChatGPT cho các nhiệm vụ quan trọng, người dùng nên xác minh phản hồi của chatbot với các nguồn khác.