文/趙斌

近日，在莫斯科舉行的國際象棋公開賽上，國際象棋機器人Chessrobot折斷了一位7歲男孩的手指。

據當地媒體報道，在比賽中，機器人“吃掉”該參賽男孩的一枚棋子，并把自己的棋子放在空位上，但小男孩未等機器人完成動作便急忙回擊。隨后，機器人捏住男孩手指。工作人員急忙幫助小男孩將手指從機器人的“虎鉗”中掙脫出來，并送往醫院，但小男孩的手指骨折了。

人工智能會突然“變臉”攻擊人類嗎？電影《終結者》和《我機器人》里機器人大戰人類的橋段是否會成真？

西北工業大學從事機器人科研工作的副教授馮華山在接受中新社國是直通車采訪時認為，沒有必要恐慌，問題可能出在識別上，但對人工智能的應用風險仍需時刻保持高度警惕。

下棋機器人“懲罰”違規棋手？

從公開視頻上可以看到機器人夾住小朋友的手，但由于圖像模糊看不到機器人是否有“用力捏”的動作。這到底是機器人故意為之？還是屬于程序漏洞或者故障？

馮華山表示，沒有見到詳細應用程序前無法判斷其具體原因。不過，首先可以排除人為設計機器人“懲戒”程序，因為機器人不能傷害人類是國際上機器人三原則的重要原則之一。比較大的可能性是識別錯誤，大可不必因此對人工智能產生恐慌。

馮華山介紹，機器人識別系統在手指誤入棋盤空間后，可能把人手指的某些部位錯誤識別成了棋子。

機器人下棋首先是通過攝像頭等裝置進行圖像采集并識別。一般下棋機器人的識別系統比較簡單，主要是對棋子和棋盤顏色、形狀、紋理和位姿等進行采集和識別。位姿指的是棋子在棋盤空間的“XYZ”坐標以及繞三個坐標軸的旋轉角度。機器人由人工智能算法針對棋盤上博弈雙方的棋子布局和態勢做出判斷和決策，并產生下一步落子、吃子等動作，通過指令隊列的方式，形成機器人的動作軌跡，并交由機器人執行。

由于機器人末端缺乏除視覺以外的其他感知方式，盡管棋子是硬的、手指是軟的，但程序沒能感知到抓住軟物的信息，所以可能有機械手用力捏手指的情形出現。下棋決策由人工智能算法、策略程序實現，能夠讓機器人“自己學習”。在訓練過程中，可以通過輸入棋譜或反復博弈，讓機器人學習博弈策略和經驗，有效的方法會被存儲，失敗的方法會被淘汰和刪除。通過這種反復訓練、學習，記憶到機器人算法當中。

馮華山說，有可能是模型存在邏輯漏洞或BUG使機器人在“自己學習”的迭代過程中產生偏離，形成棋譜規則以外的一些博弈邏輯，從而偏離了人對機器人的完全控制和常規理解。這些涉及到機器人倫理學，需要人們對機器人的學習演進過程嚴格監督和把控。

在這個案例中，機器人敵對人類的可能性很小。很有可能小孩子的手指位置剛好是機器人計算獲得下一步需要移動的棋子位置，在機器人形成動作軌跡指令后，小孩子恰巧將手指遮擋了這枚棋子。因為在機器人形成動作指令后，是不會再依據視覺做出判斷。也就是說，機器人“以為”夾持的是棋子，而實際是小孩子的手指。這只是一種巧合。

馬斯克和比爾蓋茨的警告

對于機器人及人工智能的恐慌，不僅來源于科幻電影。

特斯拉董事長、首席執行官馬斯克說：“開發人工智能，相當于在召喚惡魔。我認為我們應該非常小心謹慎，如果讓我猜測什么最有可能對我們的生存造成威脅，我會說可能是人工智能。我越來越傾向于人工智能應該被監管這個觀點，包括國家層面和國際層面上的，以確保我們沒有在干蠢事?！?/p>

比爾蓋茨也表示：“我是對超級智能的發展保持擔憂的人之一。目前，那些在我們的位置替代我們勞動、并完成許多任務的機器并不是超級智能。如果我們能夠很好地進行管理，像這樣的發展會變得越來越好。然而幾十年之后，智能會帶來新的問題。我十分同意馬斯克的觀點，但不明白為什么目前人們對這個問題并不擔心。”

馬斯克還出資1000萬美元給一個致力于人工智能領域安全性研究的基金。

據了解，目前國際上達成共識的機器人三原則是在1940年由被譽為“機器人學之父”的科幻作家阿西莫夫所提出的：

第一條，機器人不得傷害人類，或看到人類受到傷害而袖手旁觀。

第二條，機器人必須服從人類的命令，除非這條命令與第一條相矛盾。

第三條，機器人必須保護自己，除非這種保護與以上兩條相矛盾。

馮華山表示，如果違背“機器人三原則”，將人工智能應用到戰爭中，將帶來恐怖的結果。更重要的是如果機器人在執行自我學習的過程中失去或脫離人的監控，按照程序自行排列、演進，那么就有可能形成超越人類理解的內部邏輯，從而出現缺乏約束、失控、反人類的可能性。所以，堅守原則和國家的規定對人工智能使用的安全性而言至關重要。

人工智能倫理安全如何把控？

從全球范圍來看，美國政府較早關注到這一問題，2016年在白宮文件中呼吁開展研究，并在《美國國家人工智能研究與發展戰略規劃》中明確了提高公平、可解釋性，符合倫理道德的設計，確保系統安全可靠等要求。

2017年，霍金、馬斯克、DeepMind創始人戴密斯等全球數千名專家和企業代表，簽署有關倫理的阿西洛馬人工智能23條原則，呼吁業界遵守，共同保障人類未來的利益和安全。

中國人工智能學會基礎委員會常務委員陳志成在接受中新社國是直通車采訪時表示，我國對人工智能倫理的重視也上升到國家層面。

2019年2月，科技部部長王志剛宣布成立新一代人工智能治理專業委員會，并在第一屆治理專委會的第一次會議上討論起草相關的人工智能技術的標準和使用規范。2020年6月，國家新一代人工智能治理專業委員會發布了《新一代人工智能治理原則—發展負責任的人工智能》，提出了人工智能治理需遵循的8條原則：和諧友好、公平公正、包容共享、尊重隱私、安全可控、共擔責任、開放協作和敏捷治理。

在中國，很多企業也在積極參與探討，如百度提出人工智能倫理的4條原則，包括人工智能的最高原則是安全可控等。騰訊則提出“可用、可靠、可知、可控”的理念，倡導科技向善。

來自：國是直通車

編輯：陳昊星

責編：魏晞