機器學習照進藝術史，這個AI可以鑒別名畫

選自Nature

作者：David Adam

參與：胡曦月、路

機器學習正在幫助專家找出哪位畫家畫了哪幅作品。

今年三月，一伙藝術品大盜闖入意大利西北部的一座教堂，他們以為自己偷竊的是佛蘭德斯畫派大師小彼得·勃魯蓋爾（Pieter Brueghel the Younger）的十七世紀作品。然而事實上，當?shù)鼐煸缫训玫较?，并將價值三百萬歐元的作品《耶穌受難像》（Crucifixion）替換成了廉價的復制品。

公平地說，勃魯蓋爾許多作品確實看起來幾乎可以互換，在賓夕法尼亞州的費城藝術博物館中就懸掛著同樣歸于他名下的一幅同名相似畫作。而且，這兩幅畫很有可能是小勃魯蓋爾從他獨具開創(chuàng)性的父親老彼得·勃魯蓋爾（Pieter Bruegel the Elder）的另一幅畫復制而來，而老勃魯蓋爾的畫作同樣也嚴重影響了他另外一個兒子老揚·勃魯蓋爾（Jan Brueghel the Elder）。在那個藝術家多產(chǎn)的世代，藝術家們復制彼此甚至自己的作品，以至于尋找畫作的歸屬簡直是噩夢。

加州大學伯克利分校藝術史學家 Elizabeth Honig 致力于研究這些復雜的問題，以揭示北方文藝復興時期藝術中某個畫家創(chuàng)作了哪些作品，以及他又影響了哪些人?，F(xiàn)在，她開始尋求計算機的幫助了。

Honig 擁有一個包含 1500 余幅勃魯蓋爾家族畫作數(shù)字復制品的數(shù)據(jù)庫，而這些作品大部分都被歸到 Jan 的名下。2016 年，她與法國和美國的人工智能研究者發(fā)起了一個不同尋常的合作，他們部署了一個當時最先進的計算機視覺系統(tǒng)來逐個追蹤這些作品，并分析作品之間的相似性。其他藝術史學家也看到了這其中的機會，利用機器學習為之前局限于觀看者主觀視角的理論和觀點提供經(jīng)驗支持。

Honig 稱，計算機可以「更容易地獲取更多細節(jié)」。以風車為例：她的 Breughel 數(shù)據(jù)庫中包含了數(shù)百張包含這一元素的畫作。算法從多幅畫作中獲取相同的結(jié)構(gòu)圖像，甚至是翻轉(zhuǎn)的情況。它還可以精確定位獅子、狗和其他人物的副本。許多文藝復興時期藝術家的工作室是聯(lián)合創(chuàng)作空間，因此計算機技術還可以幫助 Honig 了解不同藝術家之間的合作方式（無論他們是否屬于同一家族）。Honig 說：「彼得·保羅·魯本斯畫了一些人物，然后老揚·勃魯蓋爾畫馬、狗和獅子，最后將它們結(jié)合起來。」

基于歷史記錄和對作品的近距離觀察，許多藝術史學家推測小彼得·勃魯蓋爾和老揚·勃魯蓋爾的許多畫作都是按照這種方式完成的。而計算機可以幫助證明這一點。Honig 說：「它解決了關于作品創(chuàng)作過程的許多問題?！?/span>

在這個項目中，計算機科學家也有自己的考慮。對于他們而言，Honig 的收藏是一個用來擴展算法的完美數(shù)據(jù)集。法國國立路橋?qū)W校（écoledesPonts ParisTech）的計算機視覺和深度學習專家 Mathieu Aubry 稱，用算法處理畫作挑戰(zhàn)了程序的模式匹配能力。其困難取決于媒介和顏色的差異。他解釋道：「在未經(jīng)訓練的情況下，計算機視覺無法識別出素描和油畫中的房子是一樣的?！顾孛杈€條清晰，而油畫的邊緣較為模糊，這種差異可能會使算法混淆。

標注相同對象或者教計算機尋找形狀等特定相似性需要耗費大量時間。因此，Aubry 及其同事使用無監(jiān)督深度學習技術，令算法在輸入圖片后自行尋找相似性。他認為得到的結(jié)果還可以用于 AI 視覺相關的實際應用中，如自動駕駛汽車等。

今年 3 月，他的團隊在 arXiv 上發(fā)表了相關研究（https://arxiv.org/abs/1903.02678），該研究被 CVPR 2019 接收。Aubry 表示，盡管無監(jiān)督深度學習通常需要消耗大量算力，但它可以免受人類先入之見的影響。因此，它可以很好地避免偏見，比如只關注圖像主要特征。

計算機辨別趨勢

新澤西州立羅格斯大學（皮斯卡特維校區(qū)）正在使用類似的技術，描繪不同藝術家的風格如何隨著時間而定義和發(fā)展。藝術史學家 Marian Mazzone 是羅格斯藝術與人工智能實驗室的成員，她說：「我們有一些無法證明的理論，計算機科學也許可以幫助我得到關于這些問題的經(jīng)驗性答案?！顾c實驗室負責人 Ahmed Elgammal 合作，對文藝復興時期至流行藝術五個世紀以來的 77,000 件藝術品進行了數(shù)字分析（相關研究參見：https://arxiv.org/abs/1801.07729）。令團隊驚訝的是，計算機使用無監(jiān)督學習可以將這些藝術作品按時間順序排列。該項目證實了二十世紀著名藝術史學家 Heinrich Wolffin 的理論。他認為，藝術風格的轉(zhuǎn)變可以根據(jù)五種二元特征進行分析和分類。其中之一是作品是「線描」（輪廓主導，如 Sandro Botticelli 的作品）還是「圖繪」（更多地依賴于描繪光和影的筆觸，如 Tintoretto 的畫作）。羅格斯藝術與人工智能實驗室負責人 Elgammal 認為，AI 首次使藝術史成為將理論與觀察進行對比的預測性科學。

在其他地方，AI 正在用于解決藝術史物質(zhì)遺產(chǎn)長期以來遭受的問題：損壞。例如，來自加拿大溫哥華初創(chuàng)公司 Arius Technology 的 Verus Art 系統(tǒng)正在部署一個 3D 掃描打印系統(tǒng)，對藝術品進行精確復制，甚至可以復制紋理筆觸和顏料色調(diào)。該系統(tǒng)最初設計目的是研究達芬奇作品《蒙娜麗莎》的損壞。對于教育、外展和存檔而言，「備份」畫作可能還有另外一種用途：挫敗那些比看不出復制品的盜賊眼光更加敏銳的賊。

論文：Discovering Visual Patterns in Art Collections with Spatially-consistent Feature Learning

論文鏈接：https://arxiv.org/abs/1903.02678

摘要：該研究的目的是從大量藝術品中發(fā)現(xiàn)幾乎重復的圖案模式。由于藝術媒介（油畫、粉彩畫、素描等）的差異以及復制過程中的固有偏差，這一目標比標準實例挖掘難度更大。其中的關鍵技術在于通過使用自監(jiān)督學習，在特定藝術收藏上對標準深度特征進行微調(diào)，使其適應這一任務，具體來說就是使用相鄰特征匹配之間的空間一致性作為監(jiān)督微調(diào)信號。經(jīng)過調(diào)整的特征可以實現(xiàn)更精確的匹配（不受風格差異的影響），并且可以與基于幾何驗證的標準模式發(fā)現(xiàn)方法一起使用，以識別數(shù)據(jù)集中的重復模式。該方法在多個不同的數(shù)據(jù)集上進行評估，并顯示出了非常好的定性發(fā)現(xiàn)結(jié)果。而在定量評估方面，研究者在老揚·勃魯蓋爾及其工作室的 1587 件藝術品的數(shù)據(jù)集中標注了 273 個近似重復的細節(jié)。除了藝術作品，研究者還展示了算法在 Oxford5K 照片數(shù)據(jù)集的定位上以及在 LTLL（Large Time Lags Location）數(shù)據(jù)集上的歷史照片定位方面的改進。

圖 1：算法自動發(fā)現(xiàn)的重復視覺圖案示例。

圖 2：該方法的特征學習策略。

圖 5：訓練特征在勃魯蓋爾數(shù)據(jù)集上的檢測示例。

參考鏈接：

https://www.nature.com/articles/d41586-019-01794-3

https://www.toutiao.com/a6708541485484081676/