上週剛上線的一項服務Genderify，號稱能透過AI分析姓名、用戶名稱或電郵地址來判斷某人性別，結果因為演算法偏差實在離譜，在社群媒體上引起了高度關注。
我們來看看Genderify的一小部分「成績單」：
輸入「Meghan Smith」，評估結果為「男性：39.60%，女性：60.40%」；
但輸入「Dr.Meghan Smith」，評估就會變為：「男性：75.90%，女性：24.10%」。
其他名字加上「Dr」，也會讓系統給出更偏向男性的結果。
有網友試著輸入了一些單詞或名人姓名，Genderify的表現也同樣令人失望：
比如輸入「scientist」，評估結果為「男性：95.7%，女性：4.3%」；
輸入「Oprah Winfrey」（美國知名脫口秀女主持人），評估結果為「男性：78.3%，女性：21.7%」；
Genderify的營運長Arevik Gasparyan是一名女性，但系統連自家高層都不認得，得出了「男性：91.2%，女性：8.8%」的結果。
群眾抗議情緒的強烈程度，已經迫使Genderify徹底關閉了這項服務，網站現已下架，其免費API也無法再查看。
公司的一位代表則透過電子郵件向媒體回應：「如果大家不想要，這樣的結局也許是公平的。」
儘管類似的性別偏見經常出現在機器學習中，但Genderify這種「不經大腦」的程度似乎讓該領域的許多專家感到驚訝。Meredith Whittaker是紐約大學 AI Now的共同創辦人，專注研究AI對社會造成的影響，她做出了相當典型的反應：「科技界的愚人節來了？這是一種干擾科技與司法世界的心理戰嗎？」
為什麼Genderify會引發大規模批評？就因為它根據某人的名字對其性別做出假設？並非如此。業界指出，其實人類也會透過名字去猜測性別，有時也會在這個過程中犯下錯誤，這就需要了解人們的自我認同感，思考對方希望得到怎樣的稱呼，才能降低冒犯對方的可能。
而Genderify的問題在於，它自動化了這些假設，太過理所當然，也就加深了這個過程中的性別刻板印象。比如前文提到的，在名字前加Dr.的情況，意味著系統認為：如果你是醫生，那你大概是個男人。
雖然創辦人Arevik Gasparyan強調這是一個用於行銷的資料分析工具，但有觀點認為，它在特定的應用方式和地點下，會出現潛在危害。
例如這項服務被使用在醫療聊天機器人中，它對用戶性別的假設，可能會導致聊天機器人給出誤導性的醫療建議。
使用者們對產品的性別歧視色彩也表示擔憂，有問題指出：「如果我選擇了既不是男性也不是女性，你如何處理這個問題？你如何避免性別歧視？你是如何處理性別偏見的？」
對此，Gasparyan稱，服務是基於「已經存在的姓名/性別資料庫」，公司也「正在積極尋求解決辦法，以改善跨性別者等群體的用戶體驗」，試圖將姓名/用戶名/電子郵件的概念與性別身分區分開來。
其公司代表也透過電子郵件給出了較為詳細的回應：
「我們明白，我們的模型永遠不會提供理想的結果，演算法需要明顯改進。為了讓它更好地發揮作用，我們非常期待LGBTQ等群體的回饋，以協助我們盡可能地改進性別分析演算法。我們的目標是建立一個自學習的人工智慧，它將不會像任何現有的解決方案那樣帶有偏見。」