ZStack 作為有著深厚技術(shù)基因的公司,在 AI 時(shí)代來(lái)臨的時(shí)候,除了給客戶提供 AI 平臺(tái)和 AI 解決方案,在內(nèi)部也不斷通過(guò)AI技術(shù)進(jìn)行業(yè)務(wù)創(chuàng)新。SupportAI 就是在這樣的背景下誕生,它是 ZStack 在客戶服務(wù)領(lǐng)域的創(chuàng)新,目前已經(jīng)探索并成功投入運(yùn)行2年以上的時(shí)間。
SupportAI 主要能力有:
提煉內(nèi)部數(shù)據(jù)(官網(wǎng)、工單、論壇、Jira、Confluence)以強(qiáng)化RAG能力
無(wú)縫對(duì)接釘釘、企業(yè)微信、微信客服等系統(tǒng)
為客戶、銷售、售前、技術(shù)團(tuán)隊(duì)提供卓越支持
通過(guò)智能體和 ChatRobot 確保信息流通無(wú)阻,協(xié)作高效流暢
這次 DeepSeek-R1 版本的發(fā)布,給 SupportAI 帶來(lái)了新的契機(jī),可以為它換上更加“聰明”的大腦。目前,在技術(shù)團(tuán)隊(duì)和業(yè)務(wù)團(tuán)隊(duì)的共同努力下,SupportAI 已經(jīng)接入了最新的 DeepSeek-R1 模型。
本文將從2022年 SupportAI 開(kāi)始設(shè)計(jì)搭建,到現(xiàn)在最新 DeepSeek 的接入的整個(gè)過(guò)程與大家分享,希望能通過(guò)我們的經(jīng)驗(yàn)與分享幫助更多企業(yè)進(jìn)行AI數(shù)智化轉(zhuǎn)型。
一、為什么搭建 SupportAI
ZStack 自2015年以來(lái),目前已落地超過(guò)600朵信創(chuàng)云,助力超過(guò)4000家企業(yè)數(shù)字化轉(zhuǎn)型。在這個(gè)過(guò)程中,積累了大量的實(shí)踐經(jīng)驗(yàn)和最佳實(shí)現(xiàn)。在業(yè)務(wù)持續(xù)發(fā)展的同時(shí),技術(shù)支持部門(mén)的壓力也在增加,過(guò)去的客戶服務(wù)系統(tǒng)不斷接受新的挑戰(zhàn)。
2022年起隨著以 OpenAI 為代表的大模型爆發(fā),給了技術(shù)服務(wù)團(tuán)隊(duì)也帶來(lái)一次創(chuàng)新的契機(jī)。公司迅速組織技術(shù)力量,搭建了 SupportAI應(yīng)用。通過(guò) SupportAI 把官網(wǎng)信息、企業(yè)工單、內(nèi)部論壇、Jira、Confluence 進(jìn)行信息整合,將信息經(jīng)過(guò)處理后,通過(guò)模型微調(diào)將數(shù)據(jù)投喂給大模型,能把AI的客服能力帶給技術(shù)支持部門(mén)。經(jīng)過(guò)了最初的摸索,東拼西湊,到后面搬家到自家的AI平臺(tái)智塔 AIOS,并不斷優(yōu)化大模型的部署與評(píng)估,提升技術(shù)支持效果和問(wèn)題回答的準(zhǔn)確率,目前 SupportAI 已經(jīng)是技術(shù)服務(wù)部門(mén)的核心武器。
SupportAI 在解決 ZStack 自身業(yè)務(wù)問(wèn)題的同時(shí),也是一次通過(guò)大模型應(yīng)用的實(shí)踐來(lái)解決企業(yè)級(jí) AI 應(yīng)用落地的實(shí)踐。本文將詳細(xì)描述SupportAI 的搭建思路和步驟,希望對(duì)其他有類似問(wèn)題的企業(yè)有所幫助。
二、版本進(jìn)化:SupportAI 背后的技術(shù)突破
(1)2022年 MVP 版本
2022年大模型熱潮涌現(xiàn)之前 ZStack 已經(jīng)在通過(guò)自動(dòng)客服機(jī)器人,幫助技術(shù)工程師高效檢索問(wèn)題,并通過(guò)推薦系統(tǒng)鏈接與主題相關(guān)的文檔和數(shù)據(jù)。隨著 ChatGPT 和國(guó)內(nèi)多個(gè)模型的發(fā)布,技術(shù)團(tuán)隊(duì)開(kāi)始了基于大模型的方案,開(kāi)始測(cè)評(píng)了包括海外模型在內(nèi)的多個(gè)模型,最終選定 Qwen2 作為第一版 SupportAI 的模型底座,也是因?yàn)樵趯?shí)際使用中評(píng)估 Qwen 對(duì)中文語(yǔ)義有更好的理解和處理效果。
中間層部署了 FastGPT 來(lái)編排工作流、加載知識(shí)庫(kù)文檔,底層通過(guò)Qwen 來(lái)提供問(wèn)答能力 ,這也是最初的架構(gòu)方式。MVP 版本運(yùn)行起來(lái)對(duì)技術(shù)工程師的效率提升有限,MVP 版本更多的是跑通了閉環(huán)流程、驗(yàn)證了技術(shù)可行性,有一定概率會(huì)回復(fù)不相關(guān)的內(nèi)容、低質(zhì)量的信息。
最初版本的架構(gòu)圖
(2)2024年基于智塔的版本
2024年 ZStack智塔發(fā)布上線,能夠非常便捷地調(diào)度資源并實(shí)現(xiàn)對(duì)模型的加載、評(píng)測(cè)、精調(diào)、部署推理服務(wù)等功能,經(jīng)過(guò)內(nèi)部的研究,決定將 SupportAI 重新通過(guò)智塔為AI基座進(jìn)行搭建。
在研發(fā)人員和技術(shù)服務(wù)部的業(yè)務(wù)人員的共同努力和有了MVP版本的經(jīng)驗(yàn)的加持下,一周內(nèi)就完成了服務(wù)的遷移,數(shù)據(jù)的微調(diào)等步驟,快速完成遷移上線,投入運(yùn)行。上線至今也在不斷地優(yōu)化和完善,得益于AIOS的模型管理和高可用的能力,在應(yīng)用升級(jí)完善的同時(shí),應(yīng)用也始終保持運(yùn)行。
整體架構(gòu)圖
智塔提供模型管控、模型選型、數(shù)據(jù)工程、硬件算力、運(yùn)維管理、API管控等模塊,在使用智塔之前這些都需要人工開(kāi)發(fā)維護(hù),SupportAI 采用智塔之后可以解放這部分人力用于提升回答質(zhì)量和準(zhǔn)確性以及其業(yè)務(wù)應(yīng)用構(gòu)建。
在智塔AIOS 平臺(tái)中內(nèi)置了 FastGPT 和 Dify 等應(yīng)用組件,這些組件均提供 Web 頁(yè)面進(jìn)行工作流編排、知識(shí)庫(kù)上傳、管理發(fā)布方式、切換支持的模型等共鞥你,這也讓 SupportAI 開(kāi)發(fā)維護(hù)更加方便。
三、精準(zhǔn)回答的實(shí)踐路徑
剛才提到 MVP 版本客服機(jī)器人回復(fù)質(zhì)量一般,很大原因是原始數(shù)據(jù)質(zhì)量不高。這時(shí) ZStack 技術(shù)工程師在清洗數(shù)據(jù)、問(wèn)題精細(xì)化分類等方面進(jìn)行實(shí)踐來(lái)提升知識(shí)庫(kù)質(zhì)量和問(wèn)答回復(fù)效果。
SupportAI 數(shù)據(jù)清洗&增強(qiáng)優(yōu)化流程圖
(1)通過(guò)數(shù)據(jù)清洗提升數(shù)據(jù)庫(kù)質(zhì)量
數(shù)據(jù)收集:來(lái)源比較多,內(nèi)部文檔有多種格式并且分散在多個(gè)平臺(tái),包括 PDF、Word 等本地文檔,還有釘釘文檔、在線Conflunce、內(nèi)部客服 BBS 系統(tǒng)、工單系統(tǒng)、研發(fā)知識(shí)庫(kù)和Jira、官網(wǎng)等平臺(tái),本地文檔通過(guò)格式轉(zhuǎn)換工具轉(zhuǎn)成結(jié)構(gòu)化數(shù)據(jù),部分本地文檔可轉(zhuǎn)成線上文檔,線上文檔通過(guò)自行開(kāi)發(fā)的腳本來(lái)轉(zhuǎn)換數(shù)據(jù),最終統(tǒng)一了原數(shù)據(jù)的格式和讀寫(xiě)接口。
數(shù)據(jù)清洗:通過(guò)自行編寫(xiě)的腳本對(duì)數(shù)據(jù)進(jìn)行清洗,包括錯(cuò)別字修改、口語(yǔ)化內(nèi)容、啰嗦重復(fù)內(nèi)容、主題不相關(guān)內(nèi)容等等,最終輸出高質(zhì)量的知識(shí)庫(kù)文檔。
文檔嵌入選擇:直接拆分方式是直接按照 Token 拆分 Chunk,好處是不會(huì)損失細(xì)節(jié),但缺點(diǎn)就是檢索精度不太行;QA 提取方式能夠讓大模型從文檔中提取出問(wèn)題,好處就是能提高搜索精度,但大模型會(huì)損失細(xì)節(jié)。實(shí)測(cè)最佳實(shí)踐是兩者結(jié)合使用。
(2)通過(guò)問(wèn)題分類進(jìn)一步提升回答質(zhì)量
經(jīng)過(guò)以上處理,可以獲得高質(zhì)量的知識(shí)庫(kù),問(wèn)答效果明顯提升。因?yàn)橛脩籼岢龅膯?wèn)題覆蓋面很廣,包括公司介紹信息、企業(yè)私有云建設(shè)方案、CPU 負(fù)載過(guò)高檢測(cè)處理辦法、ZStack Cloud 平臺(tái)功能細(xì)節(jié)、如何對(duì)接項(xiàng)目需求等等。ZStack 技術(shù)工程師對(duì)知識(shí)庫(kù)文檔提前標(biāo)注分類,這一步可以由大模型來(lái)完成。用戶提出的問(wèn)題也需要進(jìn)行問(wèn)題補(bǔ)全,比如提問(wèn)“ ZStack 怎么樣”,相對(duì)寬泛的問(wèn)題可以根據(jù)用戶溝通上下文(如果有)來(lái)補(bǔ)充更完整的信息,有了更完整的 Prompt 再根據(jù)問(wèn)題分類去不同的分類知識(shí)庫(kù)中檢索生成。
比如之前已經(jīng)問(wèn)了技術(shù)問(wèn)題,可以將這個(gè)背景補(bǔ)充到 Prompt 中形成“我是技術(shù)人員,之前已經(jīng)問(wèn)過(guò)了 CPU 負(fù)載過(guò)高檢測(cè)處理辦法,現(xiàn)在需要了解下‘ ZStack 怎么樣’”,這樣大模型在生成時(shí)會(huì)側(cè)重于產(chǎn)品和技術(shù)細(xì)節(jié)來(lái)回答用戶。同樣,如果上下文是投資人相關(guān)問(wèn)題則側(cè)重于投資層面ZStack表現(xiàn),如果是企業(yè)用戶的問(wèn)答側(cè)重于提供 ZStack企業(yè)解決方案和成功案例。
這時(shí)候就非常急迫有一個(gè)平臺(tái)能夠幫助管理多個(gè)模型、進(jìn)行模型評(píng)測(cè)對(duì)比,驗(yàn)證整體服務(wù)效果。MVP 版本是搭建在ZStack內(nèi)部服務(wù)器中,人工統(tǒng)一管理這些服務(wù)器并更新部署大模型,這種方案在當(dāng)時(shí)是能滿足需求,不過(guò)并不方便后續(xù)的擴(kuò)展,這也是后續(xù)切換到 ZStack智塔平臺(tái)很重要的原因之一。
(3)保障生成內(nèi)容安全與準(zhǔn)確
安全性和準(zhǔn)確性至關(guān)重要,大模型與生俱來(lái)的幻覺(jué)會(huì)導(dǎo)致生成的內(nèi)容與主題無(wú)關(guān)、不準(zhǔn)確甚至錯(cuò)誤,智能客服系統(tǒng)在面向外部用戶提供錯(cuò)誤問(wèn)答、有害信息時(shí)的影響就會(huì)很嚴(yán)重,對(duì)于企業(yè)應(yīng)用來(lái)說(shuō)是不得不考慮的。安全性和準(zhǔn)確性至關(guān)重要,多種因素都會(huì)影響安全性和準(zhǔn)確性,包括內(nèi)部文檔質(zhì)量不高或者本身就有錯(cuò)誤信息、用戶輸入信息不確定、當(dāng)前算力不足導(dǎo)致生成信息中斷等等。
生成內(nèi)容安全&準(zhǔn)確性檢測(cè)步驟
ZStack 在 SupportAI 應(yīng)用中,加入了以下安全策略,來(lái)保障生成內(nèi)容的安全性和準(zhǔn)確性:
通過(guò) Prompt 進(jìn)行限制:對(duì) Prompt 進(jìn)行優(yōu)化,明確限制一定不能輸出敏感性信息,同時(shí)也提供了敏感詞庫(kù)/關(guān)鍵詞庫(kù)來(lái)讓大模型去檢測(cè)生成的內(nèi)容是否安全。
通過(guò)安全內(nèi)容檢測(cè)并進(jìn)行過(guò)濾:SupportAI 借助 AIOS 的能力,在平臺(tái)內(nèi)部微調(diào)一個(gè)模型推理服務(wù)擔(dān)任安全檢測(cè)的職能。另外,SupportAI 還與成熟的第三方安全公司進(jìn)行合作,通過(guò) API接入的方式加入到智能客服系統(tǒng),進(jìn)一步完善安全內(nèi)容檢測(cè)能力。
生成內(nèi)容后由客服經(jīng)理轉(zhuǎn)發(fā)用戶:在實(shí)踐過(guò)程中,我們發(fā)現(xiàn)生成內(nèi)容質(zhì)量提升,是需要一個(gè)過(guò)程的。因此,智能客服系統(tǒng)上線初期,先在內(nèi)部進(jìn)行運(yùn)行,由內(nèi)部員工客服經(jīng)理將大模型經(jīng)過(guò)知識(shí)庫(kù) RAG 處理過(guò)的信息手動(dòng)轉(zhuǎn)發(fā)給用戶,并在這個(gè)過(guò)程中進(jìn)行人工審核。目前 SupportAI 運(yùn)行已經(jīng)基本穩(wěn)定,正在逐步灰度到外部用戶。
四、DeepSeek-R1來(lái)了
從上文中我們可以知道,SupportAI急缺一款有推理能力的大模型,不論是對(duì)客戶意圖的分析,還是最終結(jié)果回答問(wèn)題的準(zhǔn)確率,都是需要很強(qiáng)的推理能力。現(xiàn)在DeepSeek-R1來(lái)了,它有著目前行業(yè)領(lǐng)先的推理能力,將DeepSeek-R1應(yīng)用到智能客服場(chǎng)景的應(yīng)用是一次很有挑戰(zhàn)的的嘗試。因此,技術(shù)團(tuán)隊(duì)第一時(shí)間就對(duì)DeepSeek-R1模型進(jìn)行了研究,并將其上架到AIOS平臺(tái)的模型倉(cāng)庫(kù)中。SupportAI團(tuán)隊(duì)先在ZStack內(nèi)部私有環(huán)境中進(jìn)行了對(duì)DeepSeek的版本評(píng)測(cè)和選型,涉及到多個(gè)版本的模型。由于SupportAI已經(jīng)將原始的物理服務(wù)器部署模型方式切換到了基于ZStack智塔平臺(tái)來(lái)管理模型、部署服務(wù),整個(gè)模型測(cè)評(píng)和替換的過(guò)程非常的絲滑。
(1)模型測(cè)試選型
先對(duì) DeepSeek 主要版本進(jìn)行了版本部署和測(cè)試,DeepSeek 有思維鏈更適合問(wèn)題生成環(huán)節(jié),相反因?yàn)樗伎歼^(guò)程的時(shí)間消耗會(huì)導(dǎo)致響應(yīng)時(shí)間拉長(zhǎng),這樣就不適合問(wèn)題補(bǔ)全場(chǎng)景了。智塔平臺(tái)提供模型能力評(píng)測(cè)和服務(wù)性能評(píng)測(cè),在這里我們要評(píng)估 DeepSeek 模型能力,選擇已經(jīng)啟動(dòng)的推理服務(wù)、測(cè)評(píng)的數(shù)據(jù)集并配置采樣數(shù)量,底層實(shí)例配置按需填寫(xiě)資源信息即可。
(2) 模型微調(diào)
在選擇了性價(jià)比兼顧的 DeepSeek 版本之后(對(duì)于一般企業(yè)知識(shí)問(wèn)答應(yīng)用來(lái)說(shuō)推薦 DeepSeek 32B 版本),在基礎(chǔ)模型之上加載已有的數(shù)據(jù)集對(duì)模型進(jìn)行精調(diào)為行業(yè)大模型,讓模型更容易理解場(chǎng)景化專業(yè)化的知識(shí)。模型精調(diào)的過(guò)程需要涉及算力資源調(diào)配、數(shù)據(jù)集加載等環(huán)節(jié),通過(guò) ZStack智塔平臺(tái)可以非常方便的使用 Web 界面完成模型評(píng)測(cè)、模型微調(diào)等復(fù)雜過(guò)程,企業(yè)使用者不再需要重點(diǎn)關(guān)注底層資源調(diào)配、中間環(huán)境安裝等非業(yè)務(wù)環(huán)節(jié)。
(3)模型管理與模型選擇
精調(diào)完成的模型效果如何還是如同“盲盒”,需要對(duì)精調(diào)后的模型進(jìn)行評(píng)估驗(yàn)證。這時(shí)就非常急迫地需要一個(gè)模型管理平臺(tái),包括正在運(yùn)行推理服務(wù)的模型、正在多版本測(cè)試對(duì)比的模型、正在進(jìn)行精調(diào)的模型,過(guò)幾周說(shuō)不準(zhǔn)有哪些亮眼新模型發(fā)布后也需要做驗(yàn)證,通過(guò)ZStack智塔平臺(tái)能夠把這些模型管理起來(lái)。智塔平臺(tái)模型倉(cāng)庫(kù)模塊提供系統(tǒng)內(nèi)置模型,用戶還可以自行導(dǎo)入本地模型、通過(guò) Hugging Face、魔搭社區(qū)等平臺(tái)導(dǎo)入在線模型。
(4)模型使用
能夠發(fā)揮模型最大價(jià)值的場(chǎng)景各不相同,Qwen 適合問(wèn)題補(bǔ)全、DeepSeek 適合問(wèn)題生成,為了發(fā)揮各自優(yōu)勢(shì)選擇多模型組合的使用方案。前端問(wèn)答應(yīng)用和后端模型進(jìn)行解耦,采用最新評(píng)測(cè)驗(yàn)證的模型只需更改 API,或者通過(guò)負(fù)載均衡實(shí)現(xiàn)自動(dòng)切換。模型微調(diào)完成后通過(guò)智塔AIOS平臺(tái)部署推理服務(wù),選擇模型、推理模板、選擇通過(guò)容器部署還是云主機(jī)部署并填寫(xiě)對(duì)應(yīng)資源數(shù)量,等待任務(wù)運(yùn)行起來(lái),就可以通過(guò) API 或 Web 界面方式與大模型進(jìn)行交互了。
五、企業(yè)級(jí)AI應(yīng)用落地啟示
(1)多模型管理勢(shì)在必行,推薦智塔
ZStack智塔是新一代AI基礎(chǔ)設(shè)施操作系統(tǒng),定位于幫助企業(yè)加速AI應(yīng)用落地,通過(guò)算力層、模型層、運(yùn)營(yíng)層三大方向重構(gòu) AI 基礎(chǔ)設(shè)施,支持從傳統(tǒng)云平臺(tái)平滑升級(jí)至智算云平臺(tái)。平臺(tái)兼容英偉達(dá)、海光 DCU 等多品牌 GPU,支持上萬(wàn)種開(kāi)源模型微調(diào),提供數(shù)據(jù)隱私安全管理與多租戶資源隔離能力。憑借低建設(shè)成本、動(dòng)態(tài)資源調(diào)配和全生命周期服務(wù)等優(yōu)勢(shì),已在國(guó)產(chǎn)GPU廠商、高校、傳媒等領(lǐng)域?qū)崿F(xiàn)規(guī)模化應(yīng)用。2月2日Z(yǔ)Stack智塔支持 DeepSeek V3/R1/ Janus Pro 三種模型,并基于海光、昇騰、英偉達(dá)、英特爾多種 CPU/GPU 可私有化部署。
回顧 SupportAI 的搭建和演變歷程,最開(kāi)始基于內(nèi)部通用服務(wù)器和Qwen 提供知識(shí)庫(kù)問(wèn)答能力,隨著不同場(chǎng)景下需要不同的模型,推理服務(wù)正在使用以及測(cè)試/評(píng)估/選型中的模型也越來(lái)越多,非常有必要通過(guò)一個(gè)平臺(tái)便捷的管理模型、屏蔽底層資源調(diào)度細(xì)節(jié)、提供模型和資源運(yùn)行監(jiān)控?cái)?shù)據(jù)等,這是企業(yè)級(jí)AI應(yīng)用落地方案的基座。
(2)實(shí)現(xiàn)4個(gè) Ready,迎接AI應(yīng)用落地
很多企業(yè)都有大量的官網(wǎng)等公開(kāi)資料、內(nèi)部知識(shí)庫(kù)等資料,這些數(shù)據(jù)沉寂已久,DeepSeek 等大模型非常適合發(fā)揮數(shù)據(jù)價(jià)值。企業(yè)級(jí) AI應(yīng)用將會(huì)更深度的融入到現(xiàn)有應(yīng)用中,企業(yè)需要進(jìn)行數(shù)智化轉(zhuǎn)型,需要做到4個(gè) Ready:人員團(tuán)隊(duì) Ready、資源 Ready、數(shù)據(jù) Ready、能力 Ready。
企業(yè)應(yīng)該關(guān)注的是如何通過(guò)這類應(yīng)用幫助提升效率、提升客戶咨詢問(wèn)答滿意度、擴(kuò)展業(yè)務(wù)影響力,不需要關(guān)注在底層基礎(chǔ)設(shè)施上如何實(shí)現(xiàn),交給專業(yè)的團(tuán)隊(duì)來(lái)實(shí)現(xiàn)即可。
企業(yè)需要靈活、便捷部署應(yīng)用的平臺(tái),能夠基于底層異構(gòu)資源非常便捷地部署模型并提供服務(wù)。上層應(yīng)用可以通過(guò)多種方式構(gòu)建,可以通過(guò)魔搭社區(qū)、Hugging Face 來(lái)獲取最新模型并由智塔AIOS平臺(tái)統(tǒng)一管理并部署推理服務(wù),底層服務(wù)器可以選用企業(yè)內(nèi)部已有服務(wù)器資源或者新購(gòu)。
企業(yè)需要迎接AI浪潮,不能再錯(cuò)過(guò)這次機(jī)會(huì),在企業(yè)級(jí)AI應(yīng)用落地過(guò)程中會(huì)有很多挑戰(zhàn),ZStack 作為 DeepSeek 私有化部署專家、企業(yè)級(jí) AI 基礎(chǔ)設(shè)施專家會(huì)為你提供更多服務(wù)。
【免責(zé)聲明】【廣告】本文僅代表作者本人觀點(diǎn)，與和訊網(wǎng)無(wú)關(guān)。和訊網(wǎng)站對(duì)文中陳述、觀點(diǎn)判斷保持中立，不對(duì)所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請(qǐng)讀者僅作參考，并請(qǐng)自行承擔(dān)全部責(zé)任。郵箱：news_center@staff.hexun.com
最新評(píng)論