這兩天參加了 OpenAI 的一些活動(dòng)。有一部分是討論 Agent/智能體系統(tǒng)在落地時(shí)，遇到的各種問(wèn)題，以及一些可行的實(shí)踐。這里我?guī)?lái)了一些筆記。
基于下面的這篇論文，地址是：
https://openai.com/research/practices-for-governing-agentic-ai-systems

01 關(guān)于 Agent

Agent 是一種 AI 的應(yīng)用方式，但隨著語(yǔ)境的遷移，它慢慢從「AI 應(yīng)用」里剝離了出來(lái)。不準(zhǔn)確來(lái)說(shuō)，這里的感覺(jué)，就像是 H5 從 html5 中剝離了出來(lái)。

按當(dāng)前的語(yǔ)境，我們會(huì)把 ChatGPT 就是看成一種 AI 應(yīng)用，它能理解你的問(wèn)題并給出回答。而會(huì)把 GPTs 這種訂制后的、能調(diào)用外部功能的、能夠自己處理復(fù)雜任務(wù)的產(chǎn)品，叫做 Agent。

Agent 和 AI應(yīng)用（如ChatGPT）之間的區(qū)別和聯(lián)系主要體現(xiàn)在“代理性”（agenticness）這的程度上。如果一個(gè)AI系統(tǒng)，能夠在沒(méi)有直接人類(lèi)監(jiān)督的情況下運(yùn)作，其自主性越高，我們稱(chēng)之為代理性越強(qiáng)。這是一個(gè)連續(xù)體，不是非黑即白的判斷，而是根據(jù)它在特定環(huán)境中的表現(xiàn)來(lái)評(píng)估其代理性的程度。

B 端产品经理如何快速成长？

产品与业务架构主要是将整个业务工作流进行分层，梳理，然后抽象出一个个需求，将业务需求与产品合情合理的映射起来，最终使业务数据在产品中流动，执行，记录，使用。

查看详情 >

在這種定義下，正統(tǒng) Agent 不僅能回答問(wèn)題，還能自己決定做什么，它能夠通過(guò)生成文本來(lái)“思考”，然后做出一些操作，甚至能創(chuàng)造出更多的 AI 幫手來(lái)幫幫忙，就比如下面這個(gè)圖。

但我們發(fā)現(xiàn)，盡管 Agent 看起來(lái)很美好，但在實(shí)際落地的場(chǎng)景中，也是困難重重，風(fēng)險(xiǎn)多多，出現(xiàn)了問(wèn)題，責(zé)任劃分也很麻煩。比如這里：如果我希望讓某個(gè) Agent 幫我微信收款，但它給別人展示的是付款碼，那么這里誰(shuí)背鍋？

也是因?yàn)檫@些問(wèn)題，就有了本次的話題：「從實(shí)踐的角度出發(fā)，落地 Agent 有哪些注意點(diǎn)」。共包含 7 個(gè)主要點(diǎn)：執(zhí)行效果評(píng)估、危險(xiǎn)行為界定、默認(rèn)行為確定、推理透明展示、Agent 行為監(jiān)控、Agent 作惡追責(zé)、危險(xiǎn)事故叫停。

02 Agent 落地難點(diǎn)

由于會(huì)上的 PPT 不便分享，我便在自己吸收后，重新制作了一份 PPT，安心食用

1. 執(zhí)行效果評(píng)估

在商業(yè)環(huán)境中，確保任何工具的可靠性是基本要求。

然而，AI Agent 的復(fù)雜性在于其工作場(chǎng)景和任務(wù)的不確定性。例如，一個(gè)在模擬環(huán)境中表現(xiàn)優(yōu)異的自動(dòng)駕駛車(chē)輛，可能因現(xiàn)實(shí)世界中不可預(yù)測(cè)的變量（如天氣變化和道路條件）而表現(xiàn)不穩(wěn)定。

我們尚缺乏有效的方法，來(lái)準(zhǔn)確評(píng)估 AI Agent 在實(shí)際環(huán)境中的性能。

2. 危險(xiǎn)行為界定

AI Agent 在執(zhí)行高風(fēng)險(xiǎn)操作之前需要獲得用戶的明確批準(zhǔn)。例如，在金融領(lǐng)域，AI 執(zhí)行大額轉(zhuǎn)賬前必須得到用戶同意。

但需要注意，頻繁的審批請(qǐng)求可能導(dǎo)致用戶出現(xiàn)審批疲勞，從而可能無(wú)視風(fēng)險(xiǎn)盲目批準(zhǔn)操作，這既削弱了批準(zhǔn)機(jī)制的效果，也可能增加操作風(fēng)險(xiǎn)。

3. 默認(rèn)行為確定

當(dāng) AI Agent 遇到執(zhí)行錯(cuò)誤或不確定的情形時(shí)，是要有一個(gè)默認(rèn)行為的。例如，如果一個(gè)客服機(jī)器人在不確定用戶需求時(shí)，其默認(rèn)行為是請(qǐng)求更多信息以避免錯(cuò)誤操作。

然而，頻繁的請(qǐng)求可能會(huì)影響用戶體驗(yàn)，因此在保障系統(tǒng)安全性與保持用戶體驗(yàn)之間需要找到平衡。

4. 推理透明展示

為了保證 AI Agent 決策的透明性，系統(tǒng)需要向用戶清晰展示其推理過(guò)程。舉例來(lái)說(shuō)，一個(gè)健康咨詢機(jī)器人應(yīng)詳細(xì)解釋其提出特定醫(yī)療建議的邏輯。

但如果推理過(guò)程太復(fù)雜，普通用戶可能難以理解，這就需要在確保透明性和易理解性之間找到平衡。

5. Agent 行為監(jiān)控

假設(shè)一個(gè) AI 系統(tǒng)用于監(jiān)控倉(cāng)庫(kù)庫(kù)存，如果監(jiān)控系統(tǒng)誤報(bào)，誤認(rèn)為某項(xiàng)商品缺貨，進(jìn)而不斷的進(jìn)貨，那么可能導(dǎo)致庫(kù)存的嚴(yán)重積壓，并造成極大損失。

于是，我們思考：是否需要另一個(gè) Agent 來(lái)監(jiān)控這個(gè) Agent？成本賬怎么算？

6. Agent 作惡追責(zé)

考慮一個(gè)匿名發(fā)布內(nèi)容的 AI Agent，如果其發(fā)布了違規(guī)內(nèi)容，要追蹤到具體負(fù)責(zé)的人或機(jī)構(gòu)可能極其困難。這種情況下，建立一個(gè)能夠確保責(zé)任可追溯的系統(tǒng)尤為關(guān)鍵，同時(shí)還需要平衡隱私保護(hù)和責(zé)任追究的需求。

7. 嚴(yán)重事故叫停

想象一個(gè)用于自動(dòng)化工廠管理的 AI Agent，在系統(tǒng)檢測(cè)到嚴(yán)重故障需要立即停機(jī)時(shí)，不僅需要停止主控系統(tǒng)，還要同步關(guān)閉所有從屬設(shè)備和流程。如何設(shè)計(jì)一個(gè)能夠迅速且全面響應(yīng)的緊急停止機(jī)制，以防止故障擴(kuò)散或造成更大損失，是一項(xiàng)技術(shù)和策略上的復(fù)雜挑戰(zhàn)。

最后，本次就這些。