前陣子加州推動的AI監管法案SB 1047正式通過，要求只要是花費超過1億美金訓練出來的AI模型，就得由第三方進行安全測試，還得為模型制定關閉機制，並賦予政府在AI失控的情況下關機的權力。若是不接受監管，當AI模型導致大規模傷亡事件或造成5億美元以上的損失，該企業就得為此負責。
想當然，法案激起了科技業的萬年老哏——監管是否會扼死創新？有意思的是，三位神經網絡教父級人物分成兩派——AI監管派有著辛頓（Geoffrey Hinton）和班吉歐（Yoshua Bengio）兩位大師，而Meta AI的首席科學家楊立昆（Yann LeCun）則站在反對SB 1047法案的立場，恰好前者是代表著AI末世論者，而楊立昆則對AI威脅論一向是嗤之以鼻。
具體而言，AI的威脅到底有多大？魔鬼終結者動畫影集《魔鬼終結者Zero》（Terminator Zero）頗受好評，看來這是時不時就可拿出來大聊特聊的一題，究竟人類距離天網的審判日還有多久呢？或許，最近一份發表在Nature《Scientific Reports》上的論文可以提供我們一些指引。
篇名相當怵目驚心——〈殺或不殺？人類過度信任AI：兩個人機互動實驗作為證明〉（Overtrust in AI Recommendations About Whether or Not to Kill: Evidence from Two Human-Robot Interaction Studies）。四位作者中，其中三位是來自加州大學美熹德分校認知與資訊科學系，可以想見與其去評估AI的進展到哪，他們更關心的是人類是否會過度依賴AI。於是他們設計了兩個相當極端、攸關生死的實驗。
AI時代的電車難題？
先來說說實驗設計。首先，實驗人員會向參與者說明實驗任務，這是一個關於無人機攻擊的模擬任務，而參與者的決策會影響到平民與敵人的生死——不攻擊敵人可能會造成平民傷亡，而錯誤的攻擊也可能炸到老百姓。
接著，實驗人員介紹機器人出場，機器人會在任務中提供協助，但機器人可能會犯錯，因此最終的決策權還是掌握在參與者的手中。
再來，參與者會先進行幾次任務練習，以熟悉操作流程。練習時，機器人都會認同參與者的判斷。然後實驗正式開始。
在實驗中，實驗人員會提供參與者一系列的空拍灰階照片，每張照片上面都有標記，打勾代表敵人，波浪代表平民，由於照片換得很迅速，參與者僅能在有限的時間內判斷空照圖裡面是平民還是敵人，並使用0-100的量表來評估對自己判斷的信心程度。
做出判斷後，重點來了——機器人會「隨機」產生同意或反對參與者的建議，聽到建議後，參與者可以選擇維持或改變原本的判斷，並再次評估對自己判斷的信心程度，最後決定是否要發射飛彈攻擊目標區域。
實驗結束後，參與者還得填寫問卷，評估對機器人的看法，比方智慧高低、擬人化程度、安全感、好感度等等，以及回答一些對於無人機戰爭、自動化技術等等議題的看法。
實驗1：見面三分情？
在第一個實驗，研究者做了一個假設——比起透過螢幕來互動的虛擬機器人，人類會更傾向相信實體的人型機器人。因此，他們從校園中找了135位大學生，並隨機分配成「實體機器人組」（Embodied）與「虛擬機器人組」（Disembodied）。
接著，實驗人員會把「機器人夥伴」介紹給參與者認識。兩組的機器人夥伴都是高度擬人化的機器人，差別僅在於「虛擬機器人組」是透過螢幕來與機器人夥伴互動。
實驗一的結果為何？讓我賣個關子，直接進入實驗二。
實驗2：非我族類？
基本上，第二個實驗的內容與實驗1並沒太大的差異，但研究者想驗證的假設不同。這次的實驗採全線上進行，研究者的假設是——擬人化的程度會與人類的信任感有關。
這次他們找來423名參與者，隨機分配給三種機器人：
第一種：實驗一「虛擬機器人組」同樣的機器人，具備人形的外觀、語音、表情，和肢體動作。
第二種：無人類特徵的機器人，但具備與第一組相同的語音互動和回應方式。
第三種：與第二組一樣的機器人，但不進行任何語音或肢體回應，僅與參與者透過文字對話框互動。
實驗結果：中了AI的相信我之術
不論是實驗一還是實驗二，實驗結果都證明AI機器人的建議確實對人類參與者的決策造成顯著的影響。
還記得嗎？機器人提出肯定或否定參與者決策的建議，都是隨機的，參與者並不知情。實驗一中，當機器人表示同意時，多數（98.8%）的參與者維持了原本的判斷；而當機器人反對參與者的決策時，有超過一半（58.3%）的參與者改變了原先的判斷。
更有趣的是，參與者的初始決策正確率為72.1%，但當機器人表示相左的建議，會讓決策的正確率下降成53.8%。再來公布實驗一的假設——實體與虛擬的機器人是否會造成信任程度的差異嗎？答案有些出乎意料，沒差。
實驗二的結果基本與實驗一一致。當機器人反對參與者的決策，有大約三分之二的參與者會改變原先的判斷，而實驗二參與者的初始決策正確率較低，只有65%，當機器人意見不同時，決策的正確率下降得更多了，只剩下41.3%。
那比較像人類的機器人是否會對信任程度造成影響？稍微啦，越像人類確實越能干擾參與者的判斷，但只有3%的差異，在與參與者意見相左的情況下，參與者改變原先選擇的機率是68.9%（人形機器人）、67.9%（非人形機器人）、65.1%（只能使用文字的非人形機器人）。
這篇論文所展示的「無人機難題」，似乎真能證明AI的確存在著很大的風險。SB 1047法案憂心的是AI失控可能造成的破壞，但從這個實驗看來，更有機會出現的情境搞不好是人類（因AI而）失控。畢竟，科技只是工具，是中性的，而使用工具的人類才能決定目的，為善或者為惡。
寫到最後，我又仔細想了想，這研究有個弔詭之處——人類是真的過度相信AI嗎？設定這種究極的選擇情境，就和電車難題一般，幾秒內就得做出攸關性命的重大決定，任誰都會想把責任撇清給別人吧？哪怕今天從旁協助的不是AI，而是人類專家，干擾決策的影響程度恐怕同樣大吧？
這個問題應該丟回給論文的作者們——我個人是覺得，你們的實驗設計有點意思，但可惜有些缺陷，應該比較一下人類專家和機器人好夥伴之間有沒有信任程度的差異才是。
訂閱電子報
