通常情況下，對自己的能力充滿自信絕對是件好事，只要不至于自負(fù)。隨著機器和軟件發(fā)展的越來越智能，我們會想是否能讓機器也變得充滿自信。探索機器人對于自身能力的自我感知性，將有助于指導(dǎo)未來高級人工智能（AI）的構(gòu)建。

加州大學(xué)伯克利分校在讀博士生DylanHadfield-Menell稱，“過度自信的人工智能可能會導(dǎo)致很多問題”。以Facebook的新聞推送算法為例，其目的是為了向用戶推薦其想要閱讀的內(nèi)容，然而如果用戶不經(jīng)大腦地直接接收這些自動推送，最終將導(dǎo)致系統(tǒng)推送一些虛假的新聞消息。

對于Hadfield-Menell及其同事來說，解決方案是讓AI尋求并接受人類的監(jiān)督?！叭绻鸉acebook有這樣的覺悟，我們也就不會廣受虛假消息的困擾了，”他說。

這種情況下，一個對自己較不自信的算法將更可能尊重一個用戶的判斷，而不是對自己“過于自信”，自顧自地將自己認(rèn)為用戶想要的內(nèi)容都推送給用戶。

“開關(guān)游戲”引發(fā)的思考

伯克利團隊設(shè)計了一個稱為“開關(guān)游戲”（Off-switchgame）的人機互動數(shù)學(xué)模型，用以探索機器對自己的“自信感知”。

在這個理論游戲中，一個具有“關(guān)閉”開關(guān)的機器被賦予一個任務(wù)。在執(zhí)行任務(wù)過程中，人可以隨時按下機器的“關(guān)閉”開關(guān)中斷其任務(wù)，而機器人可以自由的選擇“關(guān)閉”開關(guān)，從而使人類不能干擾其執(zhí)行任務(wù)。

實驗結(jié)果表明：對自己所做事情具有“高度自信”的機器，決不會讓人把它關(guān)掉，因為它試圖最大限度將時間花費在完成任務(wù)上。相比之下，“不太自信”的機器總是會讓人把它關(guān)掉，即使它所執(zhí)行的任務(wù)沒有任何差錯。

當(dāng)然，Hadfield-Menell也并不認(rèn)為我們應(yīng)該讓AI“太不自信”。比如說，一輛自主駕駛汽車的任務(wù)是載孩子上學(xué)，此時就不能讓小孩子獲得控制權(quán)。在這種情況下，AI就應(yīng)該相信自己的能力高于孩子，無論情況如何，都應(yīng)該拒絕孩子隨意關(guān)掉的指令。

Hadfield-Menell說，最安全的機器人將在這兩個極端之間取得平衡。

道德框架至關(guān)重要

牛津大學(xué)計算機系教授MartaKwiatkowska說，“那些拒絕讓人關(guān)掉的機器可能聽起來會很難以置信，但是對于制造與人一起工作的機器人的制造商來說，這樣的考慮是至關(guān)重要的”。

諸如自動駕駛汽車和消防機器人之類的智能機器，在特殊情況下將被要求做出有關(guān)人身安全的決策，所以必須盡早制定并安裝有關(guān)特殊情況下決策的機器人“倫理框架”（ethicalframework），這是至關(guān)重要的。

Hadfield-Menell稱，“開關(guān)游戲”只是探索機器人自我感知的一個開始。他還計劃探索機器人如何在獲取更多有關(guān)自己能力的信息后做出決策改變，比如說，一個煮咖啡智的能機器人有可能意識到自己的任務(wù)在早上是更重要的。

最終，Hadfield-Menell希望其研究能夠引領(lǐng)AI變得更有可預(yù)測性，并使其決策更易于讓人理解?！爱?dāng)把一個智能機器放入現(xiàn)實世界中，對于它究竟在做什么，我們當(dāng)然想做到心里有數(shù)”，他說。

更多資訊請關(guān)注工業(yè)機器人頻道