（示意圖/來源為Pixabay）
日前，西雅圖的研究人員推出了一項被他們稱為「TuringAdvice」的新人工智慧大挑戰，挑戰的核心是建立語言模型，為使用真實世界語言的人類提供有用的建議。
TuringAdvice挑戰賽是基於動態的RedditAdvice資料庫所發起。
Reddit advice是為迎接挑戰而建立的，它是一個群眾外包的資料庫，在過去兩週裡共用的建議，在Reddit小組中獲得了最多的支持票。為了通過挑戰，機器提供的建議必須要與那些受歡迎的人類建議一樣有用，甚至更好。
作為TuringAdvice的一部分，研究人員還發布了一個靜態RedditAdvice 2019資料庫，用於訓練提供建議的人工智慧模型，其中包括Reddit子社區用戶分享的18.8萬個情景下的61.6萬個建議。
初步分析表明，像谷歌T5（去年秋天推出的一個擁有110億個參數的模型）這樣的高級模型，只有在9%的情況下，寫建議版主發現至少和人類建議一樣有用。研究人員還評估了Grover變壓器模型和TF-IDF的版本。這項研究沒有評估像Google的BERT這樣流行的雙向NLP模型，因為它們通常被認為在生成文本方面不如從左到右的模型。關於人際關係、法律事務和日常生活方面的建議，可以在網路上找到人機對比。
最近發布的一篇關於TuringAdvice的論文寫道：「今天最大的模型在REDDITADVICE上苦苦掙扎，所以我們很高興看到新模型得到發展。」
「我們認為，如今存在一個深層次的問題：人類在現實世界中如何使用語言，與我們的評估方法能夠衡量的，這二者之間存在差距。當今的主流範例是研究靜態資料庫，並根據輸出結果與預先定義正確答案的相似性對機器進行評級。」
「然而，當我們在現實世界中使用語言進行交流時——比如提供建議，或向某人傳授一個概念——很少有一個通用的正確答案可以與之相比，這只是我們想要實現的一個鬆散的目標。我們引入了一個框架來縮小基準測試和實際語言使用之間的差距。」
作者們表示，TuringAdvice挑戰賽中的AI進展，可能會使人工智慧更好地為人類提供建議或充當虛擬治療師。
為了確保結果與真實世界的語言使用保持一致，研究小組選擇了一種動態評估方法，他們在最近兩週內從Reddit的各個子社區收集了200個情況。他們選擇把建議作為一個測試場景，因為它是所有人都非常熟悉的東西，並且與閱讀理解等核心NLP任務重疊。
TuringAdvice挑戰是華盛頓大學和艾倫人工智慧研究所（Allen Institute of AI）的工作，上週在arXiv上發表的一篇研究論文對此進行了詳細闡述。該論文題為根據機器的實際語言使用情況來評估機器（evaluation Machines by their Real-World Language Use）。華盛頓大學副教授Ali Farhadi，是艾倫研究所先前團隊的負責人，也是本文的共同作者之一，他的人工智慧新創企業Xnor最近被蘋果收購。
所有的模型性能評估，都來自於透過亞馬遜的Mechanical Turk的員工。這篇論文曾對獲取人工智慧模型培訓資料的方式表示不滿，但它認為，比起發布自動化機器建議來回應需要幫助的人類，Mechanical Turk員工的做法更有道德；它也承認，獲得報酬來完成這項任務會引入外部動機。傾向於選擇機器建議而非人類建議的工人被解僱了。
主要研究者Rowan Zellers在採訪中透露，研究人員將有機會建立並調整他們的模型；第二輪排行榜結果預計將在未來幾個月內公布。
研究人員表示，他們選擇了Reddit各子社區分享的流行建議，試圖創造一種內在的動力，就像人們在Reddit上回應求助時所體驗的那樣。
TuringAdvice挑戰賽的一個關注點是價格。評估200條關於Mechanical Turk的建議大概需要370美元。未來挑戰賽的參與者將被要求支付Mechanical Turk的費用，以便他們的模型被評估或出現在TuringAdvice排行榜上。
TuringAdvice是過去一年中，為建立更健壯的自然語言模型而創造的最新挑戰。
去年秋天，華盛頓大學的NLP實驗室曾與紐約大學、Facebook的AI研究院和三星研究院一起，推出了SuperGLUE挑戰賽和「排行榜」(leaderboard)等更複雜的評估性能的任務系列。