新研究：新技術(shù)助力人工智能減少“胡謅”

　　人工智能（AI）中廣泛使用的大語(yǔ)言模型不時(shí)出現(xiàn)的“一本正經(jīng)地胡謅”是其難以克服的問(wèn)題。近日，英國(guó)牛津大學(xué)研究團(tuán)隊(duì)開(kāi)發(fā)出一種名為“語(yǔ)義熵”的新方法，有望大幅提升AI回答的可靠性。

　　 5月30日，在瑞士日內(nèi)瓦舉行的2024年“人工智能造福人類(lèi)全球峰會(huì)” 上，參會(huì)者和一個(gè)用于社會(huì)關(guān)懷的機(jī)器人互動(dòng)。新華社記者連漪攝

　　大語(yǔ)言模型的“胡謅”在業(yè)界被稱(chēng)為“幻覺(jué)”，牛津大學(xué)計(jì)算機(jī)科學(xué)系的研究人員提出“語(yǔ)義熵”方法試圖解決這一問(wèn)題。在熱力學(xué)中，熵描述的是系統(tǒng)的混亂或者說(shuō)不穩(wěn)定程度。這項(xiàng)研究中，熵衡量了大語(yǔ)言模型回答的不確定性，不確定性高意味著大語(yǔ)言模型的回答可能存在虛構(gòu)。

　　該研究成果已發(fā)表在近期出版的英國(guó)《自然》雜志上。論文中說(shuō)，如果AI對(duì)同一個(gè)問(wèn)題，給出了許多語(yǔ)義相似的答案，那說(shuō)明它對(duì)自己的回答比較有把握；反之，如果答案五花八門(mén)，那就意味著AI自己也“心里沒(méi)底”，很可能是在“胡謅”。

　　研究人員利用“語(yǔ)義熵”方法，讓大語(yǔ)言模型對(duì)同一問(wèn)題生成多個(gè)答案，然后將語(yǔ)義相近的答案聚類(lèi)，最后根據(jù)聚類(lèi)結(jié)果計(jì)算熵值。熵值越高，表示大語(yǔ)言模型的回答越不確定。

　　值得注意的是，這一方法不僅考慮了大語(yǔ)言模型回答的字面差異，更關(guān)注語(yǔ)義層面的一致性。這使得“語(yǔ)義熵”能夠更準(zhǔn)確地識(shí)別AI的“胡謅”，而不會(huì)被表達(dá)方式的多樣性所迷惑。

　　研究結(jié)果表明，“語(yǔ)義熵”方法在多個(gè)數(shù)據(jù)集和任務(wù)中都表現(xiàn)出色，能有效檢測(cè)大語(yǔ)言模型的錯(cuò)誤回答，并通過(guò)拒絕回答不確定的問(wèn)題來(lái)提高整體準(zhǔn)確率。更重要的是，這一方法無(wú)需修改AI模型本身，可以直接應(yīng)用于現(xiàn)有的大語(yǔ)言模型。

　　研究人員說(shuō)，“語(yǔ)義熵”技術(shù)有望在問(wèn)答系統(tǒng)、文本生成、機(jī)器翻譯等多個(gè)領(lǐng)域發(fā)揮重要作用，幫助AI生成更可靠、更有價(jià)值的內(nèi)容。這不僅將提升AI在實(shí)際應(yīng)用中的表現(xiàn)，也將增強(qiáng)用戶(hù)對(duì)AI系統(tǒng)的信任。