研究發現:ChatGPT回答程式問題的錯誤率超過50%
東尋 / 何渝婷編譯
2023-08-08 14:20

根據《 IT 之家》 8 月 8 日消息,美國普渡大學的研究發現,OpenAI 開發的人工智慧聊天機器人 ChatGPT 在回答軟體程式問題時,錯誤率超過一半,且能騙過三分之一的提問者。

該研究團隊分析了 ChatGPT 對 517 個 Stack Overflow 網站上的問題的回答,評估了其正確性、一致性、全面性和簡潔性。

他們還對回答進行了語言和情感分析,並對 12 名志願參與者進行了問卷調查,研究報告的結論是,ChatGPT 的回答雖然語言風格良好,但 52% 的回答是錯誤的,77% 是冗長的。

參與者只有在回答中的錯誤很明顯時,才能辨識出來。

否則,他們會被 ChatGPT 以友好、權威和細緻的語言風格所誤導。

Stack Overflow 是一個專門為軟體工程師提供問答服務的網站,被認為是開發者獲取程式碼片段和解決問題的重要來源。

此外,OpenAI 在其 ChatGPT 網站上承認其軟體「可能會產生關於人、地點或事實的不準確資訊。」

本文為巴比特授權刊登,原文標題為「研究發現:ChatGPT 回答編程問題的錯誤率超過 50%