本項目旨在基于道客云原生知識庫平臺快速構(gòu)建金融合規(guī)助手，為銀行員工提供高效、便捷的合規(guī)查詢服務(wù)。面對行內(nèi)GPU資源利用率低、模型人才短缺及數(shù)據(jù)合規(guī)的嚴格挑戰(zhàn)，采用道客云原生知識庫平臺實現(xiàn)大模型快速落地，全圖形化配置管理讓業(yè)務(wù)人員能自助維護知識庫。同時，私有大模型部署確保數(shù)據(jù)隱私與合規(guī)，分布式云原生架構(gòu)提升資源利用率與復(fù)用性。多租戶自服務(wù)能力為用戶帶來安全、隔離的私有大模型體驗，顯著增強IT業(yè)務(wù)響應(yīng)能力。本案例成功展示了道客云原生知識庫平臺智能合規(guī)助手應(yīng)用潛力，為銀行創(chuàng)新發(fā)展注入新動力。

• 希望基于大模型構(gòu)建面向合規(guī)場景的智能合規(guī)助手，能夠基于行內(nèi)的各種合規(guī)規(guī)范流程，為員工提供合規(guī)查詢。

• 行內(nèi)現(xiàn)有 GPU 卡都被各個業(yè)務(wù)應(yīng)用獨占，資源利用率需要提升，并希望能夠?qū)崿F(xiàn)算力資源的復(fù)用。

• 當(dāng)前銀行缺乏模型人才和能力積累，希望能夠讓業(yè)務(wù)人員自己設(shè)計和管理企業(yè)知識庫的構(gòu)建。

由于數(shù)據(jù)合規(guī)的要求，必須使用大模型私有化部署的方式，所有數(shù)據(jù)和模型必須在行內(nèi)。

基于道客云原生知識庫平臺的金融合規(guī)助手，具備強大的合規(guī)信息查詢與智能分析能力。

道客云原生知識庫平臺是一款基于云原生和分布式計算框架的智能問答解決方案，支持多種大語言模型，可構(gòu)建智能問答應(yīng)用，配置個性化語料庫，提供準確的問答能力；同時，它還提供可擴展的GPU能力和向量數(shù)據(jù)庫，實現(xiàn)高效的文本向量化與存儲，并采用相似度匹配提升查詢準確性；另外，通過基于Ray的分布式推理，實現(xiàn)與用戶的快速互動，使應(yīng)用與用戶交互更加迅捷，圖1為道客知識庫平臺的業(yè)務(wù)框架。

云原生平臺：承載了所有運行時的容器環(huán)境。

算力服務(wù)層：算力統(tǒng)一納管平臺，提供了一站式管理。

基礎(chǔ)設(shè)施：主要體現(xiàn)底層物理資源的能力，包括 AI 場景中很重要的 GPU資源，以及依賴的存儲和網(wǎng)絡(luò)等物理資源。

知識庫UI：提供用戶訪問所需的客戶端；

業(yè)務(wù)層：包括有 AIGC-App、AIGC-Fast、AIGC-Manage等自研組件和Nacos、Gateway、Mysql、Redis等外部組件；

接口層：通過 AIGC knowledge Engine 來提供統(tǒng)一的接口。

核心層：提供 Embedding Ray Service 和QA Ray Service 兩大服務(wù)，都基于Ray的分布式計算框架，多組服務(wù)并行。

框架層：由KubeRay和容器集群組成。

基于道客云原生知識庫平臺的金融合規(guī)助手，快速實現(xiàn)了大模型在銀行的落地應(yīng)用，全圖形化的配置管理使得業(yè)務(wù)人員可以自助維護知識庫，并基于私有通用大模型與向量化知識庫結(jié)合快速構(gòu)建合規(guī)助手應(yīng)用，提供高效的知識檢索和問答服務(wù)。同時，對資源利用情況進行優(yōu)化，提高了業(yè)務(wù)效率，為銀行創(chuàng)造了更多的商業(yè)價值。在商業(yè)模式方面，該項目采用私有化部署方式，確保了數(shù)據(jù)的安全與合規(guī)，滿足了銀行對隱私保護的需求。通過提供智能化的合規(guī)助手服務(wù)，項目為銀行提供了穩(wěn)定的收入來源，并建立了長期穩(wěn)定的客戶關(guān)系。隨著金融行業(yè)的不斷發(fā)展，該項目的應(yīng)用前景廣闊，有望在未來實現(xiàn)更廣泛的推廣與應(yīng)用。