基于原先的 Q&A 迭代升級(jí),加入公司自研 Hanfei 大模型,并應(yīng)用到產(chǎn)品線的各個(gè)地方
封裝 Q&A 的 SpringBoot 依賴(lài),抽取所有問(wèn)答功能,其他項(xiàng)目按需求引入。
? 引入問(wèn)答指令模塊,彌補(bǔ)本身大模型通用性的不足,不同指令調(diào)用不同的大模型。
? 引入值班律師機(jī)制,當(dāng)提問(wèn)律師長(zhǎng)時(shí)間無(wú)法回答,通過(guò)騰訊 IM 回調(diào)機(jī)制,利用 Redis 的 ZSET 數(shù)據(jù)接口,定時(shí)掃
描提問(wèn)律師未被回答的用戶(hù),并推送值班律師。
? Q&A 第一個(gè)版本,基于 Milvus 向量數(shù)據(jù)庫(kù)和 ES 實(shí)現(xiàn)通過(guò)問(wèn)題請(qǐng)求 Milvus 獲取維度最匹配問(wèn)答 AutoId 集合,
通過(guò) AutoId 集合和問(wèn)題請(qǐng)求 Elasticsearch 匹配分值最高的問(wèn)答,然后返回。
? Q&A 第二個(gè)版本,基于 Hanfei 大模型進(jìn)行回答,直接請(qǐng)求 Hanfei 大模型,請(qǐng)求結(jié)果通過(guò)網(wǎng)易的銘感詞校驗(yàn)過(guò)濾
后返回。
? Q&A 第三個(gè)版本,利用 Milvus 向量數(shù)據(jù)庫(kù)去識(shí)問(wèn)題的意圖,根據(jù)意圖,判斷問(wèn)題的類(lèi)型,查詢(xún) Elasticsearch 或
者 Hanfei 大模型并返回。
? Q&A 第四個(gè)版本,新增問(wèn)律師,嵌入到大模型,提供律師推薦功能,并通過(guò)騰訊 IM 與公司的其他產(chǎn)品打通進(jìn)行
律師與用戶(hù)對(duì)話。更新 Hanfei 大模型為流式輸出,利用 gRPC 對(duì)接大模型,通過(guò) SSE 長(zhǎng)連接推送給前端接收.