企業(yè)AI落地最后一公里:明略科技×DeepSeek-R1實(shí)戰(zhàn)指南(附直播實(shí)錄)
2025-03-13
隨著DeepSeek的熱度從企業(yè)擴(kuò)展到大眾,企業(yè)面臨的已不再是“是否要用AI”,而是如何跑贏落地周期,從模型接入絲滑進(jìn)入到場(chǎng)景適配。
明略科技作為第一批接入DeepSeek并落地實(shí)際應(yīng)用場(chǎng)景的企業(yè),充分運(yùn)用檢索增強(qiáng)生成(RAG)技術(shù),融合大模型技術(shù)與企業(yè)沉淀的專業(yè)知識(shí),平衡DeepSeek的創(chuàng)造力與幻覺(jué)問(wèn)題,賦能實(shí)際業(yè)務(wù)場(chǎng)景。
2月27日,明略科技高級(jí)技術(shù)總監(jiān)吳昊宇受邀做客51CTO直播間,分享了接入DeepSeek的相關(guān)工作,以及幫助企業(yè)應(yīng)對(duì)“最后一公里”的實(shí)戰(zhàn)經(jīng)驗(yàn)。
直播干貨已整理為系列文章,近期將陸續(xù)發(fā)布。
最近一周大家都很關(guān)注DeepSeek,他們把這周定為“開源周”,每天發(fā)布一個(gè)重磅炸彈,都是提升模型推理效率的代碼庫(kù),這對(duì)大模型領(lǐng)域特別重要。前幾天社媒都在討論大模型廠商是不是虧本,有人算過(guò)按1000億token處理量,廠商每月要虧四個(gè)億。但DeepSeek開源這些工具后,大家發(fā)現(xiàn)其實(shí)是有盈利可能的,這些開源庫(kù)極大地提高了推理效率,相當(dāng)于給爭(zhēng)論畫了句號(hào):用好算力,確實(shí)是未來(lái)方向。
DeepSeek-R1發(fā)布后,我們?cè)诘谝粫r(shí)間就啟動(dòng)了R1接入工作。
第一個(gè)關(guān)鍵是在流量最高峰、最擁堵的階段,面向企業(yè)用戶開放了滿血版R1。即使在公有API或在公共服務(wù)波動(dòng)期間,我們依然保障了客戶的流暢使用體驗(yàn)。
第二個(gè)關(guān)鍵是應(yīng)用場(chǎng)景問(wèn)題,只接對(duì)話模型對(duì)企業(yè)服務(wù)是遠(yuǎn)遠(yuǎn)不夠的。很多企業(yè)客戶現(xiàn)在會(huì)主動(dòng)向我們咨詢:能不能把知識(shí)庫(kù)也接入這類推理模型來(lái)優(yōu)化結(jié)果,甚至數(shù)據(jù)分析服務(wù)?客戶也在追問(wèn):接入R1之后分析會(huì)不會(huì)更準(zhǔn)?
不過(guò)雖然R1效果好,但它依然存在幻覺(jué)問(wèn)題,響應(yīng)速度也有波動(dòng)。還有個(gè)重要考量是:如何用適合的方式展示大模型的推理過(guò)程。從年前到整個(gè)二月份,我們基本沒(méi)休息,一直在做三件事:測(cè)試不同場(chǎng)景、調(diào)整參數(shù)、篩選能落地的業(yè)務(wù)場(chǎng)景。
明略科技有明確的團(tuán)隊(duì)分工,算法團(tuán)隊(duì)專門攻堅(jiān)模型研究和接入,各業(yè)務(wù)線的場(chǎng)景組負(fù)責(zé)各自agent的調(diào)優(yōu),大模型網(wǎng)關(guān)層作為流量入口則由專人統(tǒng)一管理,包括模型接入、客戶權(quán)限分配、余額預(yù)警這些瑣碎但重要的事都得盯住。
不過(guò)接入只是剛開始,R1作為推理模型有個(gè)特殊點(diǎn):它返回的“reasoning”字段會(huì)暴露思考過(guò)程。這和之前對(duì)接的其他模型完全不同,以前都是直接給結(jié)果,模型的響應(yīng)速度比較快;推理模型的推理過(guò)程比較耗時(shí)間,需要在功能設(shè)計(jì)上,合理的展示推理過(guò)程,減少用戶焦慮感。各個(gè)業(yè)務(wù)模塊為了兼容這個(gè)特性都得重新測(cè)試,像知識(shí)庫(kù)這種需要穩(wěn)定輸出的場(chǎng)景,突然多出個(gè)會(huì)犯錯(cuò)的“大腦活動(dòng)記錄”,產(chǎn)品設(shè)計(jì)和技術(shù)適配都得從頭摸索,這是從底層邏輯到上層應(yīng)用的全新考驗(yàn)。
以明略科技推出的企業(yè)級(jí)一站式大模型Copilot“小明助理”舉例,這個(gè)工具在明略內(nèi)部已經(jīng)全員使用了。DeepSeek R1上線后我們分析了數(shù)據(jù),發(fā)現(xiàn)兩個(gè)有意思的現(xiàn)象:
第一是模型選擇權(quán)重顛覆認(rèn)知,R1上線不到一周就沖到模型使用量榜首,顛覆了原本默認(rèn)效果最好的主流模型;
第二是對(duì)話黏性暴增,和其他模型平均聊2輪就結(jié)束,用戶跟R1的平均對(duì)話輪數(shù)直接漲了98%。一些企業(yè)客戶的分析師告訴我們:“答案對(duì)不對(duì)不重要,我看它推理的過(guò)程就像有個(gè)高手在旁邊拆解解題思路”,比如做客戶場(chǎng)景分析、用戶分析等,反而幫分析師打開了新視角。
先說(shuō)現(xiàn)實(shí)問(wèn)題,私有化部署成本。對(duì)很多企業(yè)來(lái)說(shuō),這筆預(yù)算是道硬門檻,所以我們常建議他們先通過(guò)API接入服務(wù),等業(yè)務(wù)跑順了再考慮私有化。另外一個(gè)問(wèn)題是適配性。企業(yè)里那些陳年老系統(tǒng)既找不到供應(yīng)商改造,又不能推倒重來(lái)。
在這種情況下,Copilot模式是更適合企業(yè)落地AI的。基于“on the same page”理念,小明助理以瀏覽器插件形式為主,用戶通過(guò)操作小明助理,完成從A系統(tǒng)抓取表格、B系統(tǒng)截取界面、C系統(tǒng)提取文本信息,最后生成分析報(bào)告的路徑,能夠解決原本舊系統(tǒng)的通路問(wèn)題。
場(chǎng)景選擇要兼顧兩頭,既要滿足領(lǐng)導(dǎo)層用上AI的要求,又要讓員工真實(shí)感受到AI好用,愿意去用。比如做行業(yè)研究,研究員原先要手動(dòng)翻幾十個(gè)網(wǎng)頁(yè)、寫摘要、做總結(jié)才能出報(bào)告,現(xiàn)在 OpenAI 推出了深度搜索的功能,可以用大模型解決海量數(shù)據(jù)收集和復(fù)雜分析的問(wèn)題,這種方式解決了原來(lái)的難題,大家愿意用起來(lái)。
我們的經(jīng)驗(yàn)是:先解決企業(yè)的業(yè)務(wù)現(xiàn)存痛點(diǎn),再找到能夠真正解放員工重復(fù)性工作的場(chǎng)景,這樣作為切入點(diǎn)去落地AI,才能看到進(jìn)步,企業(yè)才會(huì)有動(dòng)力繼續(xù)往下持續(xù)推進(jìn)。落地AI是一件很重要的事情,企業(yè)要看到效果才行。
DeepSeek正加速企業(yè)AI化進(jìn)程。企業(yè)打通最后一公里仍面臨不少挑戰(zhàn)和難題。
如何緩解幻覺(jué)問(wèn)題,提升應(yīng)用效果?非私有化部署如何確保數(shù)據(jù)安全?
更多問(wèn)題答案,請(qǐng)持續(xù)關(guān)注~
直播干貨已整理為系列文章,近期將陸續(xù)發(fā)布。
信息填寫