大模型應用設(shè)計思考:大模型+bi,TFlowAI如何讓大模型來檢索數(shù)據(jù)
TFlowAI提出了一種基于大模型的解決方案,通過理解業(yè)務(wù)、查找數(shù)據(jù)、分析處理的過程編排,實現(xiàn)模型自主的基于數(shù)據(jù)庫的數(shù)據(jù)查詢與分析。這種方法不僅降低了開發(fā)成本,還提升了使用體驗。
在B端的助手agent中,有一個重要的場景既數(shù)據(jù)的分析!那如何讓模型能夠理解產(chǎn)品的數(shù)據(jù),理解數(shù)據(jù)結(jié)構(gòu)、理解業(yè)務(wù),準確的去數(shù)據(jù)庫中查找數(shù)據(jù),并給他客戶展示呢?我們來看TFlowAI給出的解決方案
一、用戶現(xiàn)狀場景
如客服主管的Agent助手,只需一句話,Ai幫助用戶快速找到想要的數(shù)據(jù): 如:
- 今天客服接待的滿意度咋樣?
- 用戶投訴最多的問題是那些?
- 從官網(wǎng)來的咨詢量有多少?滿意度怎樣?
這些數(shù)據(jù)的查找、獲取在原有產(chǎn)品設(shè)計中,有2個體驗不好的點:
- 開發(fā)成本:新統(tǒng)計維度、數(shù)據(jù)項的增加,需要開發(fā)進行計算&編排
- 使用體驗:數(shù)據(jù)分析維度,查看維度等等都受制于產(chǎn)品界面的限制;
那是否借助大模型的理解能力,來實現(xiàn)模型自主的基于數(shù)據(jù)庫的數(shù)據(jù)查詢與分析,生成報表,從而擺脫通過系統(tǒng)開發(fā)的方式實現(xiàn)數(shù)據(jù)的統(tǒng)計與分析。
二、解決方法
解決方法的設(shè)想:參考rag的面向過程編排的方法,將模型處理理解業(yè)務(wù),查找數(shù)據(jù),分析處理的過程通過workflow得形式編排,用大模型進行串聯(lián)處理。
1. rag的流程
1)流程
2)流程說明
- 用戶提問向量化,index檢索相似片段
- 通過提示詞+用戶提問+check片段 打包發(fā)給大模型
- 模型進行解答
2. 大模型+BI的過程編排流程
1)流程設(shè)計
整個過程會經(jīng)歷問題的反寫,表結(jié)構(gòu)的理解,SQL的生成,SQL的執(zhí)行,數(shù)據(jù)的可視化五個階段。依次講解下每個環(huán)節(jié)做什么。
(1)問題反寫:讓大模型理解query,通過提示詞,讓模型理解意圖,當前產(chǎn)品有關(guān)的數(shù)據(jù)維度解釋說明,計算規(guī)則等。從而將用戶的需求完整的描述處理。
- 用戶提問:官網(wǎng)線索轉(zhuǎn)換了是多少?
- 模型反寫:想要了解從官網(wǎng)注冊的用戶,最終購買產(chǎn)品的比例。計算規(guī)則:官網(wǎng)線索客戶成交數(shù)/官網(wǎng)線索數(shù)
(2)理解表結(jié)構(gòu):讓模型知道從那張表中獲取相關(guān)的數(shù)據(jù)。通過補充表+字段的方法,讓模型知道數(shù)據(jù)庫中有哪些表,從而推測要用到哪些表
- 比如表結(jié)構(gòu)理解輸出:模型反寫:想要了解從官網(wǎng)注冊的用戶,最終購買產(chǎn)品的比例。計算規(guī)則:官網(wǎng)線索客戶成交數(shù)/官網(wǎng)線索數(shù),要統(tǒng)計從線索表中篩選來源為“官網(wǎng)”的線索數(shù),統(tǒng)計從成交訂單中篩選來源為“官網(wǎng)”的訂單數(shù)
(3)SQL生成:接住大模型或者txt2SQL等模型,將文本轉(zhuǎn)為可執(zhí)行的SQL
(4)執(zhí)行SQL:執(zhí)行上一步生成的SQL,獲取其結(jié)果
(5)數(shù)據(jù)可視化:借助繪圖工具,繪制趨勢圖等圖表。同時模型對于數(shù)據(jù)進行簡單的分析說明
(6)輸出:對用戶輸出可視化的內(nèi)容
整個過程的關(guān)鍵環(huán)節(jié)在于問題的反寫與表結(jié)構(gòu)的理解,需要在這個環(huán)節(jié)中用提示詞給模型正確的引導,讓模型能夠理解清楚業(yè)務(wù),以及用戶的意圖、計算邏輯。同時對于喂給大模型的內(nèi)容,進行選擇性的拼接。
同時也可以考慮增加嬌艷環(huán)節(jié),降低理解的出錯率。
3. 進階:融入Agent
更深度的應用,可以將大模型+bi的環(huán)節(jié),變成Action事件,嵌入到已有的Agent當中
三、優(yōu)勢與問題
1. 優(yōu)勢
- 開發(fā)成本低:只需要數(shù)據(jù)庫增加字段,提示詞增加說明,即可滿足用戶對于數(shù)據(jù)分析的數(shù)據(jù),開發(fā)成本大幅降低;
- 使用體驗:基于模型的理解去分析,查找數(shù)據(jù)、分析數(shù)據(jù),實時繪圖,擺脫原有數(shù)據(jù)報表的限制,可以自定義進行深度的分析。
2. 問題
- 復雜數(shù)據(jù)的處理不確定,可能需要借助增加過程、借助agent等提高模型對復雜數(shù)據(jù)的處理;
- 存在幻覺、異常數(shù)據(jù)排查難度較大,過程黑盒無法排查!
本文由 @易俊源 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自 Unsplash,基于 CC0 協(xié)議
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!