：“從一些方面看，機(jī)器視覺比人類視覺更好。但是現(xiàn)在研究人員找到了一類能夠輕松‘愚弄’機(jī)器視覺的‘對(duì)抗性圖像’。”——來自arXiv的EmergingTechnology。

現(xiàn)代科學(xué)最了不起的進(jìn)步之一就是機(jī)器視覺的興起。最近幾年，新一代機(jī)器學(xué)習(xí)技術(shù)已經(jīng)改變了計(jì)算機(jī)“看見”世界的方式。

現(xiàn)在，機(jī)器在人臉識(shí)別和物品識(shí)別方面已經(jīng)超越了人類，并將改變無數(shù)基于視覺的任務(wù)，例如駕駛、安全監(jiān)控等等。機(jī)器視覺現(xiàn)在簡直是超人。

但是有一個(gè)問題出現(xiàn)了。機(jī)器視覺研究人員已經(jīng)注意到，這項(xiàng)新技術(shù)有一些讓人擔(dān)心的弱點(diǎn)。實(shí)際上，機(jī)器視覺算法有一個(gè)阿喀琉斯之踵，使它們被一些經(jīng)過微擾的圖像捉弄，而這些圖像對(duì)于人類來說非常淺顯易見。

這些經(jīng)過修改的圖像被稱為“對(duì)抗性圖像，成為一種重要的威脅。“在人臉識(shí)別領(lǐng)域，一個(gè)對(duì)抗性例子可能由臉部非常細(xì)微的標(biāo)記構(gòu)成，因此人會(huì)正確識(shí)別出圖像中的身份，而機(jī)器學(xué)習(xí)系統(tǒng)會(huì)將其識(shí)別為一個(gè)不同的人。”谷歌Brain的AlexeyKurakin、SamyBengio以及非營利機(jī)構(gòu)OpenAI的IanGoodfellow說。

他們?cè)谡撐闹蟹Q，這種對(duì)抗性攻擊除了能影響完全在計(jì)算機(jī)中運(yùn)行的系統(tǒng)，例如逃避垃圾郵件過濾器或病毒軟件監(jiān)測器，還能影響在物理世界中運(yùn)行的系統(tǒng)，例如通過攝像頭及其他傳感器感知世界的機(jī)器人、視頻監(jiān)控系統(tǒng)以及圖像和聲音分類的移動(dòng)應(yīng)用。

因?yàn)闄C(jī)器視覺還非常新，我們對(duì)于對(duì)抗性圖像還知之甚少。沒人知道如何最好地創(chuàng)造它們、如何用它們來愚弄機(jī)器視覺系統(tǒng)、或者如何預(yù)防此類攻擊。

現(xiàn)在，Kurakin及同事的研究開始改變這一現(xiàn)狀，他們對(duì)對(duì)抗性圖像首次展開了系統(tǒng)研究。他們的研究說明了機(jī)器視覺系統(tǒng)在此類攻擊之下多么脆弱。

團(tuán)隊(duì)開始使用了一個(gè)機(jī)器視覺研究的標(biāo)準(zhǔn)數(shù)據(jù)庫，名叫ImageNet。這個(gè)數(shù)據(jù)庫的圖像根據(jù)顯示的內(nèi)容進(jìn)行分類。一個(gè)標(biāo)準(zhǔn)測試是基于這個(gè)數(shù)據(jù)庫的一部分來訓(xùn)練一個(gè)機(jī)器視覺算法，然后利用數(shù)據(jù)庫的另一個(gè)部分來測試算法能否良好進(jìn)行分類。

測試表現(xiàn)的測量方法是統(tǒng)計(jì)算法中最高五項(xiàng)回答、甚至最高一項(xiàng)回答中正確分類的頻率（被稱為前五準(zhǔn)確率和前一準(zhǔn)確率），或者中前五項(xiàng)或一項(xiàng)中回答不正確的頻率（其前五錯(cuò)誤率或者前一錯(cuò)誤率）。

最好的機(jī)器視覺系統(tǒng)之一是谷歌的Inceptionv3算法，其前五錯(cuò)誤率為3.46%。進(jìn)行同樣任務(wù)的人類的前五錯(cuò)誤率為大約5%，因此Inceptionv3確實(shí)具有超人般的能力。

Kurakin和同事通過3種不同的方式修改了50,000張ImageNet的圖像，從而創(chuàng)造了一個(gè)對(duì)抗性圖像的數(shù)據(jù)庫。他們的方法是基于這個(gè)概念：神經(jīng)網(wǎng)絡(luò)處理信息，來將一個(gè)圖像與某個(gè)類別匹配起來。這項(xiàng)處理所需的信息量被稱為交叉熵，會(huì)體現(xiàn)出匹配任務(wù)的難度。

他們的第一個(gè)算法對(duì)圖像進(jìn)行了一個(gè)小改變，試圖最大化這項(xiàng)交叉熵。他們的第二個(gè)算法只是將這個(gè)過程迭代，進(jìn)一步改變圖像。

這兩項(xiàng)算法都改變了圖像，使其更難正確分類。“這些方法可以造成一些比較無聊的錯(cuò)誤分類，例如將一種雪橇狗錯(cuò)認(rèn)為另一種雪橇狗。”

他們最終的算法有更聰明的方法。這種對(duì)圖像的改變讓機(jī)器視覺系統(tǒng)出現(xiàn)某種特定分類錯(cuò)誤，更傾向于最不可能的類別。“最不可能的分類通常是與正確分類非常不同的，因此這項(xiàng)方法會(huì)造成更有趣的錯(cuò)誤，例如將一只狗錯(cuò)認(rèn)為一架飛機(jī)。”Kurakin及同事說。

然后，他們測試了谷歌Inceptionv3算法能否良好分類50,000個(gè)對(duì)抗性圖像。

這兩個(gè)簡單的算法大大降低了前五和前一精確度。但是他們最強(qiáng)大的算法——最不可能的分類法——將所有50,000個(gè)圖像的精確度迅速減少至零。（團(tuán)隊(duì)未透露算法在指引錯(cuò)誤分類方面是否成功。）

這意味著對(duì)抗性圖像是一個(gè)重要威脅，但是這種方法也有一種潛在的弱點(diǎn)。所有對(duì)抗性圖像都是直接輸入機(jī)器視覺系統(tǒng)的。

但是在真實(shí)世界中，圖像總是經(jīng)過攝像頭系統(tǒng)的改變。如果這項(xiàng)過程中和了其效果，一個(gè)對(duì)抗性圖像算法就是無用的。因此，弄清楚算法如何應(yīng)對(duì)真實(shí)世界的改變就非常重要。

為了測試，Kurakin和同事講所有對(duì)抗性圖像和原始圖像打印出來，并手動(dòng)用一個(gè)Nexus5智能手機(jī)進(jìn)行拍照。然后，再將這些經(jīng)過轉(zhuǎn)變的對(duì)抗性圖像輸入機(jī)器視覺系統(tǒng)。

Kurakin和同事說最不可能類別方法受到這些轉(zhuǎn)變的影響最大，不過其他方法的承受度都還可以。換句話說，對(duì)抗性圖像算法在真實(shí)世界中的確是一種威脅。“很大一部分用原創(chuàng)網(wǎng)絡(luò)制造的對(duì)抗性圖像被錯(cuò)誤分類了，即便是通過攝像頭輸入分類器。”團(tuán)隊(duì)稱。

這項(xiàng)研究非常有趣，對(duì)于機(jī)器視覺的阿喀琉斯之踵帶來了新的認(rèn)識(shí)。并且未來還有很多研究要做。Kurakin和同事希望針對(duì)其他類型的視覺系統(tǒng)開發(fā)對(duì)抗性圖像，使其更加高效。

這在計(jì)算機(jī)安全領(lǐng)域會(huì)引發(fā)討論。機(jī)器視覺系統(tǒng)現(xiàn)在比人類更能夠識(shí)別人臉，因此很自然我們會(huì)想到在更多的領(lǐng)域使用該技術(shù)，從解鎖智能手機(jī)和家門，到護(hù)照管控以及銀行賬號(hào)的身份信息。但是Kurakin和同事提出了輕松“愚弄”這些系統(tǒng)的可能性。

最近幾年，我們經(jīng)常聽到機(jī)器視覺系統(tǒng)能有多好?，F(xiàn)在，我們才發(fā)現(xiàn)他們還有蠢蠢的阿喀琉斯之踵。

更多資訊請(qǐng)關(guān)注機(jī)器視覺頻道