被谷歌開除半年後,米切爾加入新創公司Hugging Face
李揚霞 / 何渝婷編譯
2021-08-26 12:30

(取自Hugging Face Twitter)

谷歌Ethical AI人工智慧倫理研究小組前負責人Margaret Mitchell,將加入人工智慧創業公司Hugging Face,幫助企業開發確保其算法公平的工具。她因與他人合著的一篇重要論文引起爭議,而在今年2月被谷歌解僱。

Hugging Face有何吸引力?

Hugging Face是一家總部位於紐約的聊天機器人新創服務商,專注於NLP技術,擁有大型的開源社群。尤其是在github上開源的自然語言處理,預訓練模型庫Transformers,已被下載超過一百萬次,github上超過24000個star。Transformers提供了NLP領域大量state-of-art的預訓練語言模型結構的模型和調用框架。

Transformers最早的名字叫做pytorch-pretrained-bert,推出於google BERT之後。顧名思義,它是基於pytorch對BERT的一種實現,pytorch框架上手簡單,BERT模型性能卓越,集合了兩者優點的pytorch-pretrained-bert吸引了大批的追隨者和貢獻者。

其後,在社群的努力下,GPT、GPT-2、Transformer-XL、XLNET、XLM等一批模型也被相繼引入,整個家族愈發壯大,這個庫更名為pytorch-transformers。

2019年6月Tensorflow2的beta版發布,Huggingface實現了TensorFlow 2.0和PyTorch模型之間的深層互操作性,可以在TF2.0/PyTorch框架之間隨意遷移模型。之後也發布2.0版本,並更名為transformers。到目前為止,transformers提供了超過100+種語言的,32種預訓練語言模型。

Hugging Face維護著一個儲存庫,人們可以在儲存庫中共享AI模型並進行合作。這是一個開放源程式碼平台,目前已經有5000多家機構使用,其中包括谷歌、Facebook和微軟。

Mitchell計劃在10月份啓動,並將首先開發一套工具,以確保用於訓練人工智慧算法的數據集不存在偏見。目前用於「教導」模型如何進行預測或確定的數據集,通常因為原始數據的不完整,會導致AI軟體在女性、少數群體成員還有老年人中表現不佳。

Mitchell和Hugging Face已經建立了關係,因為為了確保模型的公平性,Hugging Face建議工程師和科學家在發布項目時,使用Mitchell在谷歌開發的名為「Model Cards」的工具,來評估人工智慧系統,以揭示優缺點。

Hugging Face執行長兼聯合創始人Clement Delangue表示,放在Hugging Face上的20000個項目中,約有四分之一使用了Model Cards工具。

Hugging Face在其50人的員工中,還有幾位人工智慧倫理專家,但CEO Delangue計劃讓所有員工對這項工作負責並努力。

Delangue表示:「我們不想建立一個輔助的人工智慧倫理團隊,而是真正讓它成為公司的核心,並確保它真正融入每個人的工作。Mitchell不會建立一個由少數人組成,只是偶爾提供諮詢的團隊。」

Mitchell在一次採訪中表示,在用軟體評估人工智慧系統方面,要用非常嚴肅和積極的態度去工作。「這對我來說是一個非常好的機會,可以幫助模型建構者,更好地理解他們正在建構的模型,其危害和風險。」

Mitchell在從谷歌離職後表示,她希望在一家規模較小的公司工作,這樣可以從一開始就將人工智慧倫理納入在考慮內。她說,在Hugging Face中,已經有很多基本的道德價值觀。「很明顯,我不必強行插手或改進倫理流程。」

Mitchell究竟為何被解僱?

Mitchell的解僱,源於谷歌人工智慧倫理研究團隊的動盪。去年,谷歌公司就解僱了該團隊的另一位聯合負責人Timnit Gebru,原因是她拒絕撤回與Mitchell等人共同撰寫的一篇論文,這篇文章涉及到對谷歌技術的批評。

Gebru離職後,作為團隊剩餘負責人的Mitchell公開強烈批評谷歌及其管理層,指責谷歌未能認真對待對其人工智慧產品的問題,以及解僱Gebru的做法,因為Gebru是人工智慧研究領域為數不多的傑出黑人女性之一。谷歌則表示, Gebru已辭職,Mitchell違反了谷歌的行為準則和安全政策。

谷歌的員工對其處理此事的方式表示憤慨,今年早些時候,對十多名現任和前任員工以及人工智慧學術研究人員的採訪表明,在兩年多的時間裡,谷歌在處理騷擾、種族主義和性別歧視指控方式上,一直陷於爭議之中。

提到這篇論文,大致集中攻擊了大規模語言模型(如BERT)的消極影響,而BERT模型是谷歌的王牌AI產品之一。

這篇論文名為《On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?》。

據瞭解,這篇論文基於其他研究人員的工作,參考了128篇學術文獻,展示了自然語言處理的發展歷史與大型語言模型的四大危害,呼籲對語言模型進行更深入的研究。

這四大危害包括:

1、訓練大型AI模型會消耗大量能源。(訓練一個BERT模型大約會產生1438磅二氧化碳,相當於在紐約與舊金山之間的一次往返航班所產生的碳排放量。)

2、大型語言模型是基於大量文本進行訓練,無法避免偏見的存在,包括那些涉及種族歧視的、具有性別歧視色彩的與其他虐待性的語言。

3、大型語言模型無法理解語言,但公司由於利益關係會加大這方面的投入,從而帶來機會成本。

4、由於大型語言模型非常擅長模仿真實的人類語言,所以很容易被用來欺騙人類。

谷歌在許多基礎研究上遙遙領先,這帶來了大型語言模型的最新爆炸式成長。如果真的如論文所說大規模語言模型「危害大於利益」,而谷歌解僱一系列人員,那對這件事的態度也就不言而喻了,或許從這個角度就能理解Mitchell加入Hugging Face的原因了。

本文為雷鋒網授權刊登,原文標題為「被谷歌開除半年後,米切爾加入初創公司Hugging Face