AI用50個三角形畫出抽象版蒙娜麗莎,有股後現代的感覺了
量子位-明敏 / 何渝婷編譯
2021-09-27 17:20

現在,給AI一個短句和50個三角形,它就能創作一副極簡風格的抽象畫了。

只需輸入「a drawing of cat(一張貓的畫像)」,一隻稜角分明、散髮著冷酷氣息的抽象貓就生成了。

不只是這種泛泛的概念,給出特定詞彙,這個AI也能指定作畫。

比如輸入「Walt Disney World(迪士尼樂園)」,50個三角形立刻重新排布,一個風格完全不同的抽象版迪士尼城堡就出現在了眼前。

可以說是完完全全抓住了迪士尼城堡的精髓。

以上這些「大作」,其實都是進化策略 (ES)和CLIP結合後生成的效果,由谷歌大腦團隊出品。

他們讓兩個AI相互配合,根據文字提示及具體圖像,用一堆三角形創作出了一幅幅極具特色的抽象畫。

抽象後的谷歌大樓,大概長這樣:

不能說毫無關係,只能說一模一樣啊。

這回,真的有點後現代藝術的feel了。

只用三角形創作的抽象畫

從生成的效果可以看到,ES算法+CLIP其實就是把一堆隨機的三角形重新排布,通過調整它們的大小、位置、顏色,逐漸將其構建成一個與給出詞彙所吻合的圖像。

具體來看,在最初始時,ES算法會以三角形的坐標、RGBA值作為參數,在畫布上隨機給出一些三角形。

進化策略(ES)算法的原理則像進化論一樣,它可以根據給出的信息不斷優化,直到得到一個最優解。

CLIP則是OpenAI開發的一個負責給圖像重排序的模型。

它會對ES算法給出的三角形圖像與文字描述的相似度進行打分,然後將結果反饋給ES算法,ES算法就會為了提升分數而不斷迭代,最後得到一副藝術畫。

除了給出文字指令外,直接給一張圖作為初始訊息,只用ES算法也能進行作畫。

這不,用50個三角形、迭代10000次後,後現代抽象版蒙娜麗莎誕生了。

如果增加更多的三角形,算法給出的效果也會更好。

在下面的對比中,當三角形數量達到200時,生成的圖像立刻增加了億點點細節。

其中達爾文和蒙娜麗莎的例子,fitness幾近達到了100%。

此外,為了實現更好的效果,研究人員還採用了ClipUp優化器。

從對比中可以看到,使用優化器後迭代1萬次後的效果,比基本算法迭代56萬次後的還要好。

同時,與基於梯度的渲染方法對比,ES算法的表現也可圈可點。

渲染方法會更側重於紋理和顏色上的細化,而ES算法會更加側重於如何佈局這些三角形。

那麼給出文本指令生成的效果如何呢?

在「Self」、「Human」、「Walt Disney World(迪士尼樂園)」幾個案例中,算法的表現依舊很優秀。

在體現關鍵字主題精髓的情況下,隨著構圖三角形數量的增多,算法給出的結果細節也就更為豐富。

但是在「 picture of Tokyo」這個例子中,它的表現就不那麼好了。

研究人員認為這是由於算法在生成陰影較深的三角形上還存在困難,所以造成了這一結果。

而且面對命題作業,算法也會盡可能給出不同的答案。

在這幾個案例的重複4次測試中,我們可以看到生成的圖像都存在明顯的區別。

本文為品玩授權刊登,原文標題為「AI用50個三角形畫出抽象版蒙娜麗莎,有股後現代的感覺了 | 谷歌大腦出品