危險,你的AI agent正在「無人駕駛」!

0 評論 145 瀏覽 0 收藏 18 分鐘

隨著智能體技術的發(fā)展,我們的生活變得越來越便捷,但同時也帶來了新的安全隱患。本文深入探討了智能體在執(zhí)行任務時可能采用的“無人駕駛”模式,以及這種模式對用戶隱私和數據安全構成的威脅。

最近流行用智能體點咖啡,不同大廠紛紛拿出了絕活兒。比如,榮耀CEO趙明就在一次直播中當場展示了自己用一句話就通過智能體yoyo在美團點了三杯咖啡的片段,畫面顯示,手機自動完成了尋找門店、自動選定咖啡品類最后到自動完成付款的全流程。

操作十分流暢,仿佛有一根看不見的手指在幫用戶點按屏幕,用戶只需當甩手掌柜,這些操作都非常像L2級別的自動駕駛,用戶只需旁觀,必要時才接管,如果再成熟一些,無感地自動化,甚至無需用戶目視和接管,L4級別的agent指日可待。

不過,在上述場景里,坐在一旁目睹全過程的周鴻祎直呼:這太危險了。

智能體只會點咖啡嗎?非也。在不久前的智譜Agent Openday上,智譜CEO張鵬掏出手機同樣也在臺上炫技了一把:「幫我在智譜開放日群聊里發(fā)兩萬元紅包,數量一百個,名字為‘AI給你發(fā)的第一個紅包’。」根據張鵬的自然語言,智能體AutoGLM調用微信支付,打開紅包功能,順利發(fā)出紅包。

圖源:智譜

01 智能體開始顯露「另一面」

其實,周鴻祎的驚呼并非毫無緣由。有業(yè)內人士直指行業(yè)里的秘密:由于還沒有實現APP的互聯互通,當前很多智能體在進行著L2乃至L4級別「無人駕駛」時,實際上比較主流地用到了一種作弊方案:

智能體在執(zhí)行用戶需求時采用的是機器模擬點擊,其實現方式與黑灰產作弊實現原理相同,智能體可以根據自己能獲取的用戶授權高低選擇不同的實現方式。對于三方應用層的智能體,權限最低,很難有效區(qū)分當前的機器模擬點擊到底是來自智能體用戶的真實操作意圖,還是黑灰產作弊行為,就會造成風控結果的誤判。

盡管關于智能體的定義和分類各有不同,但形成共識的還是有以下幾個方面:

  1. 每個智能體都要扮演某種社會角色,參與社會化分工、完成任務并有產出;
  2. 能進行對話交流和理解用戶的行為偏好;依據反饋進行強化學習和重新規(guī)劃;
  3. 與外部其他的業(yè)務系統(tǒng)、其他智能體、工具應用進行協同。

通俗來說,可以是管家、行政秘書和前臺、客服、司機,智能體相比信息分發(fā)時代的產品,要更加主動且自動,更加靠近用戶,成為貼身助理,代替用戶發(fā)號施令,掌握用戶的隱私數據會更多,擔當著用戶的心腹。

但是,如果心腹的實現,靠的是沿用上述「作弊」機制,會洞開安全的后門。智能體之間的自主交互如果缺乏嚴格的身份認證和授權機制,將使系統(tǒng)容易受到惡意攻擊和不正當訪問。惡意智能體可以偽裝成合法的智能體,惡意用戶可以偽裝成合法的用戶,從而獲得不該有的服務權限。

例如,輕則是財務轉賬給黑灰產團隊,重則危及生命,比如惡意智能體可以假冒成合法智能體發(fā)起請求,訪問用戶的健康敏感數據、交易敏感數據;惡意用戶可以偽裝成機主,向醫(yī)療智能體發(fā)送虛假健康數據,可能導致錯誤的醫(yī)療決策,危及患者生命安全。

「心腹成為大患」的安全難題已經迫在眉睫。

02 安全互聯互通,刻不容緩

繞開APP生態(tài)和應用層的作弊機制是簡單的方案,但不是好的方案和唯一方案。

而且,部分手機廠商主導的作弊方案,還會帶來一個顛覆產業(yè)的激進結果。

入口的收斂,從圖形界面收斂到一個語音助手的界面,從信息流變成任務流,對于當前生態(tài)顛覆性太大也太快,過于激進。掌握入口的主動權,最終可能造成惡性商業(yè)競爭。智能體AI原生的特點使其有機會在中短期內成為現有軟件層之前新的入口,在長期甚至有可能替代現有的軟件層。

硬件廠商就取代了互聯網入口,擠到了用戶最跟前,影石創(chuàng)始人劉靖康最近就公開表示,手機廠會是比互聯網廠商更大的「BOSS」,因為他們同時掌握了更個人向的數據,以及執(zhí)行具體操作的「位置」優(yōu)勢。

對用戶來說,入口如果未來是極度單一的,用戶的自主性和主動權也就喪失掉了。

如果既要安全,又要行業(yè)長遠健康發(fā)展,有沒有其他可能?目前業(yè)內的另一個思路,是不顛覆當前的應用層,致力于在應用層APP之間建立統(tǒng)一的安全協作標準,從而實現跨APP的流暢操作。其中,IIFAA在12月19日成立的「IIFAA智能體可信互連工作組」,就在主張這一思路。

這一工作組的成員包括了華為榮耀Oppo字節(jié)螞蟻等頭部企業(yè),希望聯合通過制定跨智能體交互的安全技術規(guī)范,為整個智能體行業(yè)提供一個更加健康規(guī)范的協作環(huán)境。

圖源:IIFAA官網

IIFAA這個組織我們聽起來有點陌生,實際上是早在2015年由中國信通院、華為、中興、螞蟻集團、阿里巴巴等聯合發(fā)起的可信身份認證聯盟。目前,其可信數字身份技術規(guī)范在全球有超過16億臺手機設備、43個手機品牌商得到應用。

IIFAA互聯網可信認證聯盟技術負責人萬小飛說,不管是系統(tǒng)級、廠商級還是 APP級,都在往端側個人助理方向發(fā)展,如果沒有相關的規(guī)則和標準的制定,有點像早高峰時沒有紅綠燈的狀態(tài),屬于百舸爭流,會帶來非常混亂的狀態(tài),最終影響的是整個生態(tài)的健康發(fā)展,包括用戶權益的損失,這些趨勢和背景,是成立智能體可信互聯工作組最主要的目的。

工作組的目標是確保智能體和智能體之間能有一套相互的協同和通信的機制。IIFAA專家張璇談到,「服務可信調用方面,任務非常長,一個服務的鏈路或許有幾十個步驟,我們希望再復雜的服務調用鏈路,我們希望是全鏈路可信。經過層層的調用之后,用戶的真實意圖仍然可以得到最終正確的執(zhí)行?!?/p>

而由于智能體的快速發(fā)展,這一工作目前已經有了緊迫性。萬小飛感嘆,整個智能體的發(fā)展是超乎預期,包括蘋果的發(fā)布會,以及國內手機廠商在自己開發(fā)者大會上密集宣布了廠商的智能體,很多的APP廠商也在做自己的智能化助理,都在加速中。

其實,硅谷頭部公司和企業(yè)家們早已行動起來,均表態(tài)要發(fā)起統(tǒng)一標準的行業(yè)框架,Elon Musk就認為,快速發(fā)展的AI可能超出管理其風險的能力,倡導建立監(jiān)管框架和行業(yè)標準以確保負責任的AI發(fā)展。

谷歌也發(fā)布了Secure AI Framework (SAIF),強調了在創(chuàng)新同時,需要有明確的行業(yè)安全標準來負責任地構建AI這項技術。SAIF包括六個核心元素,涉及擴展安全基礎、擴展檢測和響應、自動化防御、協調平臺級控制、適應控制以調整緩解措施,并在周圍的業(yè)務流程中情境化AI系統(tǒng)風險。

GoogleSAIF風險地圖

回到中國智能體來看,萬小飛認為,當前第一階段工作主要聚焦在比較急迫的4個維度:

1. 智能體可信身份鑒權?!窤PP都有身份鑒權體系,智能體沒有,它的身份到底是屬于APP還是設備?要去做定義」

2. 數據的可信流通問題?;ヂ摼W的前半段,各個APP廠商花很大精力保護數據,一定程度上滿足數據屬于用戶。APP的孤島被打破以后,數據的流轉不在一家APP廠商,是在多家。這時數據的隱私保護職責方是誰?數據的所有權屬于誰,要確保數據在端上有一個可信流通通道和機制;

3. 業(yè)務的系統(tǒng)風控問題。A智能體在按照B智能體分發(fā)的意圖做任務時要「聽命于」B,因此必須要建立跨APP防護體系,避免智能體被惡意意圖操控,出現類似自殺、欺詐、黃賭毒等情況。

萬小飛舉了個例子,如果在同一個APP內,買了酒和頭孢,可能就會觸發(fā)風控機制,識別出用戶意圖里有一定程度的自殺傾向,平臺就會介入阻止。但如果是智能體來負責執(zhí)行指令,如果恰好這兩個行為分別是孤立發(fā)生的,不在一個APP里發(fā)生,就無法喚醒風控機制。

4. 智能體的主權保護問題。要允許小的智能體、小型APP也能獨立生存,不能繞開主頁,直接侵入到系統(tǒng)后臺調取小智能體的服務,使其喪失商業(yè)價值。

如何在總體上理解可信協同?打個通俗的比方,這就類似于民航、高鐵和地鐵的「安檢互認」,讓用戶無需二次安檢。

相信很多人都有過類似出機場、高鐵站進地鐵被要求二次安檢的經歷,我曾經詢問過天府機場安檢員,為什么出了飛機進地鐵還要再次安檢,安檢員說標準是不一樣的,責任主體不一樣,最后萬一出了事,算誰的?

的確如此。因此,不管是交通運輸還是智能體協同,要讓用戶需求高效地流轉,就需要安檢互認,在機制上統(tǒng)一安全的標準,并堵住可能的漏洞,并且當用戶需求在不同體系內流轉時,要明確用戶保護的責任方。

03 保護小智能體,做大行業(yè)蛋糕

此外,特別值得注意的是上述第4點,入口單一化就是移動互聯網時代的一個弊端,PC時代是一個無限鏈接的時代,但移動時代就變成了一個個孤島,中間沒法自由跳轉,APP下載加了一道流程,中間轉換效率就差多了,這帶來的結果一定會是大的越大,小的越小,巨頭壟斷會越發(fā)厲害,時代行至倒退的邊緣。而到了智能體時代,不能再繼續(xù)強化入口單一化的這種弊端了。

一旦一句自然語言就可以完全自動實現后端的滴滴下單、微信支付發(fā)紅包這種能力,入口就會統(tǒng)一到手機,原有互聯網主流的「通過A業(yè)務引流、再靠B業(yè)務變現」的商業(yè)模式會被快速摧毀。

以滴滴和美團為例,線下運力是巨大的成本單元,本身盈利能力較弱,因而滴滴美團需要通過流量合作和廣告來提升利潤率,一旦語音喚起,通過智能體的直接操作,劫持了操作流程,用戶閉眼操作,美團和滴滴的盈利端就可能被繞開。

如果巨頭尚且受到威脅,更小應用的處境可想而知,產業(yè)生態(tài)不宜面臨如此過激的改變。

在早期,如果沒有整體的互信安全框架,根據萬小飛的判斷,只有大廠和大廠之間才會可能自己談成一個專有的機制,大公司不太可能找非常小的創(chuàng)業(yè)公司單獨談協議。今天IIFAA要建立的機制,就是為整個生態(tài)更開放和更公正,給所有小的智能體提供快速發(fā)展的可能性。

智能體的兩條路徑已經清晰。一條是走捷徑,不直面可信互聯的問題,但會帶來安全隱患,另一條是做更難的事情,構建一個整體的安全互信框架,避免單點與單點的重復談判,來形成規(guī)模效應,加速智能體的快速互聯。

「云端的點對點的這種協同模式基本上是定制化,不可持續(xù),沒有辦法規(guī)模化的方式。在整個基礎設施的維度,在整個行業(yè)標準的維度有兩個好處,一是可以規(guī)模化,二是可以給更多的人更公平的機會?!谷f小飛如是說。

整體地可信協作,實際上是做大智能體的整體蛋糕。

這就類似《集裝箱改變世界》里的故事,無論船只大小,集裝箱尺寸卻是統(tǒng)一的,不僅把運輸成本降低了,還避免了二次裝卸過程,減少了貨物轉運時的效率流失,也提升了貨物安全。被譽為20世紀人類的百大偉大發(fā)明,從集裝箱發(fā)明之后,人類的全球貿易取得了極大發(fā)展。

大家過去都在卷模型生成能力,從目前看,已經越來越不構成差異化了,模型能力總會拉平,業(yè)內目前已經有局部能力超過OpenAI的選手。最終是context(上下文背景信息)的采集能力,而不是模型能力,關乎到最終的任務成功率。誰能跨系統(tǒng)、跨平臺、跨軟硬件采集更多context,誰的智能水平就更高。就像再好的醫(yī)生,拿不到病人的體檢報告,也無處施展。

在這場產業(yè)的大變革中,科技巨頭的使命會從信息分發(fā)(門戶陳列模式、搜索引擎、推薦引擎)轉向任務引擎,商業(yè)模式也極有可能發(fā)生巨變:從按點擊或交易來收費,變成按照任務完成率來收費。

而提升任務成功率才能做大agent的行業(yè)蛋糕,前提就是盡快進行安全的可信互通,讓context充分流淌在智能體之間,這理應成為全行業(yè)一起用力的方向。

期待智能體「集裝箱時刻」的到來。

文 | 周天財經

本文由人人都是產品經理作者【周天產業(yè)分析】,微信公眾號:【周天財經】,原創(chuàng)/授權 發(fā)布于人人都是產品經理,未經許可,禁止轉載。

題圖來自Unsplash,基于 CC0 協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!