AI 需要嚴(yán)格控制嗎?從用戶畫像實(shí)驗(yàn)看最佳協(xié)作方式

玄清
0 評(píng)論 2229 瀏覽 8 收藏 13 分鐘
🔗 B端产品经理需要更多地进行深入的用户访谈、调研、分析,而C端产品经理需要更多地快速的用户测试、反馈、迭代

在AI技術(shù)深刻影響日常生活與商業(yè)決策的當(dāng)下,如何實(shí)現(xiàn)AI與人類的最佳協(xié)作成為重要議題。本文將通過用戶畫像實(shí)驗(yàn),探討AI控制的適度性與邊界,從實(shí)踐中尋找人機(jī)協(xié)作的最佳平衡點(diǎn),為AI驅(qū)動(dòng)的產(chǎn)品設(shè)計(jì)與管理提供新的啟示。

背景與意義

AI 在復(fù)雜任務(wù)中的角色日益重要,但如何協(xié)作才能發(fā)揮最大價(jià)值?本文探索人與AI協(xié)作處理復(fù)雜任務(wù)的方式,怎樣合作的方式會(huì)更有效。

研究目標(biāo)

  1. 評(píng)估 AI 介入用戶模型生成的有效性
  2. 探索 如何提高 AI 生成用戶畫像的質(zhì)量
  3. 研究 不同協(xié)作方式對(duì)結(jié)果的影響
  4. 反思 AI 時(shí)代的最佳工作流

一、實(shí)驗(yàn)結(jié)果概覽

對(duì)比兩種方式的測試結(jié)果,純AI自主模式在整體表現(xiàn)上優(yōu)于流程化控制,主要評(píng)判標(biāo)準(zhǔn)包括典型性、差異性、契合性和有效性。然而,純AI自主方式的輸出顆粒度較為粗糙,仍有優(yōu)化空間。

總結(jié):

接下來分別分享下這個(gè)過程

二、方式一:流程化控制

2.1 模型需求與選擇:

本研究需要具備通用推理、聯(lián)網(wǎng)搜索能力的模型,備選方案包括 DS、千問、GPT。由于 Deepseek R1 不能聯(lián)網(wǎng),且本次研究依賴最新產(chǎn)品數(shù)據(jù),暫不測試。同時(shí),千問的推理能力未達(dá)預(yù)期,最終選用 GPT(4o mini、o3 mini)。

2.2 流程主線

我將這個(gè)過程分為了兩個(gè)階段,預(yù)熱和制作用戶畫像,同時(shí)通過關(guān)鍵節(jié)點(diǎn)的控制來進(jìn)行流程的構(gòu)建

預(yù)熱的目的

  1. 聚焦關(guān)鍵信息:AI 具備廣泛的知識(shí)儲(chǔ)備,但未經(jīng)引導(dǎo)可能會(huì)輸出不相關(guān)內(nèi)容。通過預(yù)熱,可以設(shè)定主題邊界,引導(dǎo) AI 關(guān)注核心信息,確保研究方向精準(zhǔn)對(duì)齊。
  2. 拓展思維維度:AI 能提供跨學(xué)科視角,彌補(bǔ)人的知識(shí)盲區(qū),幫助拓展思考路徑。相比人類依賴經(jīng)驗(yàn)判斷,AI 可通過模式識(shí)別發(fā)現(xiàn)潛在的邏輯關(guān)聯(lián),但需要對(duì)其生成的內(nèi)容進(jìn)行合理性評(píng)估,以避免信息偏差。
  3. 評(píng)估模型能力:不同模型在推理、數(shù)據(jù)完備性和表達(dá)方式上存在差異。預(yù)熱階段可用于測試模型在理解問題、提供新知、生成高質(zhì)量內(nèi)容等方面的表現(xiàn),從而選擇最合適的模型進(jìn)行后續(xù)研究。

預(yù)熱結(jié)果:

結(jié)果基本達(dá)標(biāo),控制器中的關(guān)鍵節(jié)點(diǎn)問題都能回答上來,它可以做為用戶體驗(yàn)專家來做接下來的任務(wù)

2.3 制作用戶畫像

找到這個(gè)流程的關(guān)鍵節(jié)點(diǎn),只對(duì)關(guān)鍵節(jié)點(diǎn)進(jìn)行管控,以下分別從流程、產(chǎn)品了解、用戶群體的劃分、用戶畫像的坐標(biāo)去做為節(jié)點(diǎn)控制

流程合理:整體流程架構(gòu)正確,確保用戶畫像的生成邏輯連貫。

產(chǎn)品信息:AI 具備聯(lián)網(wǎng)能力,能獲取并整合最新產(chǎn)品數(shù)據(jù)。

用戶群體劃分:基礎(chǔ)分類較為全面,但仍需進(jìn)一步優(yōu)化細(xì)分標(biāo)準(zhǔn)。

劃分維度:基于用戶需求和行為模式,設(shè)定了 4 個(gè)核心劃分維度。

畫像維度:基本覆蓋主要特征,但顆粒度仍可優(yōu)化。

畫像質(zhì)量:當(dāng)前生成的畫像相似度較高,缺乏足夠的差異化,未能充分展現(xiàn)更多典型用戶特征。

2.4 總結(jié)

流程化控制過度干預(yù) AI 生成過程,導(dǎo)致任務(wù)執(zhí)行零散、不連貫,影響結(jié)果質(zhì)量。此外,這種方式容易出現(xiàn)過擬合,限制 AI 的靈活性,同時(shí)微調(diào)成本高,調(diào)整難度大。

三、方式二:純AI自主

3.1 模型需求與選擇

本研究需要具備 推理能力聯(lián)網(wǎng)搜索 功能的模型,備選方案是?Qwen2.5-Max,該模型是千問的最新推理模型,可以自主推理并完成任務(wù),僅需提供清晰的需求描述,AI 即可規(guī)劃執(zhí)行。提示詞的精準(zhǔn)度 是影響最終結(jié)果質(zhì)量的關(guān)鍵因素。

3.2 提示詞對(duì)結(jié)果的影響

(1)基礎(chǔ)提示詞(簡要描述目標(biāo)):https://chat.qwen.ai/s/87509ea8-5afd-49f7-b500-4c50c972e49d

用戶模型結(jié)果:整體分類清晰,但細(xì)分維度較為粗糙,部分畫像存在重疊。

(2)優(yōu)化版提示詞(增加關(guān)鍵上下文):https://chat.qwen.ai/s/b2121f82-004d-4553-93d6-ad029983cbd4

用戶模型結(jié)果:分類相對(duì)合理,但畫像的定位較粗略??蓪⑾嚓P(guān)需求細(xì)化并融入提示詞,以提升生成質(zhì)量。

通過兩個(gè)提示詞對(duì)比結(jié)果,只要提示詞夠精準(zhǔn),質(zhì)量會(huì)更高。

過程甚至有圖表示意和屬性權(quán)重

3.2 總結(jié)

在純AI自主模式下,推理模型可自主完成復(fù)雜任務(wù),核心挑戰(zhàn)在于如何精準(zhǔn)描述需求。提示詞的清晰度直接影響 AI 的理解和執(zhí)行效果,決定最終生成結(jié)果的質(zhì)量。

四、研究啟發(fā)與AI協(xié)作的思考

4.1 AI 在用戶模型生成中的表現(xiàn)

  • 聯(lián)網(wǎng)搜索的局限性:搜索結(jié)果更偏向信息總結(jié),而非提供新的洞見或深度思考,這可能與模型的知識(shí)處理方式有關(guān)。
  • 提示詞設(shè)計(jì)的影響:分步驟提問時(shí),建議每個(gè)問題都清晰獨(dú)立,因?yàn)?AI 可能不會(huì)自動(dòng)關(guān)聯(lián)前一步的內(nèi)容。
  • 結(jié)合真實(shí)用戶數(shù)據(jù)的重要性:如果 AI 能基于具體的用戶數(shù)據(jù),生成的用戶畫像會(huì)更加準(zhǔn)確和貼合實(shí)際需求。
  • 行業(yè)趨勢(shì):用戶畫像自動(dòng)化:未來可能會(huì)有專門的公司,將 AI 處理復(fù)雜標(biāo)簽體系的能力封裝成產(chǎn)品,實(shí)現(xiàn)一鍵生成精準(zhǔn)用戶畫像。
  • AI 的關(guān)鍵詞理解 vs. 人類語言:AI 對(duì)關(guān)鍵詞的理解與人類表達(dá)方式可能存在偏差,但從最終結(jié)果來看,核心意義往往是匹配的。例如“典型性、差異性、契合性、有效性”等概念,AI 可能沒有直接歸納,但在推理過程中已實(shí)際應(yīng)用這些邏輯。
  • 搜索的作用與局限:AI 依賴搜索內(nèi)容作為知識(shí)庫,在推理時(shí)更看重搜索結(jié)果的權(quán)重。因此,在構(gòu)建分析框架時(shí),不建議過度依賴搜索,以免限制 AI 的推理能力。但在執(zhí)行任務(wù)時(shí),搜索仍然是重要的信息更新手段。這也許解釋了o1 推理模型為何默認(rèn)關(guān)閉搜索,優(yōu)先依賴自身的推理能力,而非外部數(shù)據(jù)。

4.2 從節(jié)點(diǎn)控制到端到端優(yōu)化:AI協(xié)作模式的演變

(1)節(jié)點(diǎn)式控制的局限

  • 人工定義邏輯是否優(yōu)于 AI?傳統(tǒng)流程由人設(shè)定規(guī)則,但 AI 是否能推理出更高效的邏輯?
  • 復(fù)雜環(huán)境下的適應(yīng)性,人難以預(yù)見 AI 在所有場景中的表現(xiàn),過度控制反而增加失敗風(fēng)險(xiǎn)。
  • AI 仍是執(zhí)行者,在這種模式下,AI 僅作為任務(wù)的執(zhí)行工具,缺乏自主優(yōu)化能力。

(2)端到端優(yōu)化

OpenAI 的 Deep Research 采用端到端優(yōu)化思路,基于 o3 模型 強(qiáng)化 AI 對(duì)工具的使用能力,使其能夠自主拆解目標(biāo)任務(wù)、執(zhí)行任務(wù)并動(dòng)態(tài)調(diào)整策略、獨(dú)立使用工具進(jìn)行分析和推理。

這一模式讓 AI 不再只是被動(dòng)執(zhí)行,而是主動(dòng)優(yōu)化任務(wù)流程,探索出更高效的解決方案。這也啟發(fā)我們重新思考 AI 在未來工作流中的角色定位

4.3 AI 時(shí)代的協(xié)作新思考

  • 流程控制是否必要?應(yīng)控制到何種程度?
  • 傳統(tǒng)的工作流程是否仍然適用?AI 時(shí)代如何構(gòu)建新的工作模式?

在流程化控制和純 AI 自主之間,我還探索了半控制的方式。這種方法在適度干預(yù) AI 任務(wù)執(zhí)行的同時(shí),仍然保留 AI 的自主推理能力,使其在效率與準(zhǔn)確性之間找到平衡點(diǎn)。然而,本次文章的重點(diǎn)不在此,因此不作詳細(xì)展開。

實(shí)驗(yàn)結(jié)果:

在相同的引導(dǎo)方式下,不同 AI 模型生成的用戶畫像趨于一致,均涵蓋 社交型、探索型、創(chuàng)作型、情感陪伴型 四大類別。相較于純流程化控制和完全自主方式,半控制方式的結(jié)果質(zhì)量更高。

五、說明

本次實(shí)驗(yàn)并非嚴(yán)格的科學(xué)實(shí)驗(yàn),而是一次個(gè)人探索,未采用嚴(yán)謹(jǐn)?shù)目刂谱兞糠?。?shí)驗(yàn)過程中,提示詞的表達(dá)方式也會(huì)影響結(jié)果,因此結(jié)論具有一定的局限性。

我希望分享的重點(diǎn)在于:在大多數(shù)人無法完美編寫提示詞的情況下,流程化控制可能反而降低了最終結(jié)果的質(zhì)量。

本文由@玄清 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于CC0協(xié)議。

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒評(píng)論,等你發(fā)揮!