大模型引領(lǐng)新一輪的技術(shù)變革，創(chuàng)新的火花正在變革中孕育。近日，智慧眼發(fā)明專利版圖再度擴(kuò)容，在圖文、音頻、視頻等原生多模態(tài)方面取得新的突破進(jìn)展，將進(jìn)一步為多元化場(chǎng)景賦能。
原生多模態(tài)之路
1、基于多模態(tài)的醫(yī)療大模型構(gòu)建方法及其相關(guān)設(shè)備
專利摘要：本發(fā)明公開(kāi)了一種基于多模態(tài)的醫(yī)療大模型構(gòu)建方法及其相關(guān)設(shè)備，通過(guò)包含多模態(tài)轉(zhuǎn)換器T、提示管理器M、對(duì)話引擎L、任務(wù)控制器H和多模態(tài)基座模塊MMF，多模態(tài)基座模塊MMF至少包括一個(gè)醫(yī)療基礎(chǔ)模塊態(tài)基座MFMs的醫(yī)療大模型，采用模態(tài)分析、模型分配、下游任務(wù)結(jié)果返回、模態(tài)轉(zhuǎn)換歸一和響應(yīng)生成五個(gè)階段，同時(shí)處理融合多種模態(tài)數(shù)據(jù)并充分利用了多種模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)，實(shí)現(xiàn)多模態(tài)任務(wù)的快速處理，提高了針對(duì)人工智能任務(wù)的智能化處理程度和處理效率。
該發(fā)明專利的創(chuàng)新性主要體現(xiàn)在提升多模態(tài)數(shù)據(jù)處理能力、智能化任務(wù)處理效率、強(qiáng)化醫(yī)療基礎(chǔ)模塊支持、提高人工智能任務(wù)的智能化程度以及促進(jìn)醫(yī)療決策支持和技術(shù)創(chuàng)新等方面。
腫瘤檢測(cè)準(zhǔn)確率UP
2、基于圖文多模態(tài)融合的腫瘤檢測(cè)系統(tǒng)、方法、設(shè)備及介質(zhì)
專利摘要：本申請(qǐng)公開(kāi)了一種基于圖文多模態(tài)融合的腫瘤檢測(cè)系統(tǒng)、方法、設(shè)備及存儲(chǔ)介質(zhì)，涉及醫(yī)學(xué)人工智能檢測(cè)領(lǐng)域，包括：電子病歷特征抽取模塊、圖像特征抽取模塊、特征融合模塊、腫瘤檢測(cè)模塊。電子病歷特征抽取模塊獲取電子病歷的文本特征向量；圖像特征抽取模塊獲取電子計(jì)算機(jī)斷層掃描圖像特征向量、核磁共振圖像特征向量以及活檢病理圖像特征向量；特征融合模塊獲取融合后特征向量；腫瘤檢測(cè)模塊用于檢測(cè)腫瘤概率。
本申請(qǐng)通過(guò)充分學(xué)習(xí)患者自身表現(xiàn)癥狀主訴信息、電子計(jì)算機(jī)斷層掃描、核磁共振、病理活檢圖像四個(gè)模態(tài)的數(shù)據(jù)，充分吸收融合四個(gè)模態(tài)有效特征，使得肝腫瘤檢測(cè)達(dá)到了更高的準(zhǔn)確率。
睡眠監(jiān)測(cè)與分析精細(xì)化
3、一種基于音頻的睡眠分期的方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)
專利摘要：本申請(qǐng)?zhí)峁┮环N基于音頻的睡眠分期的方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)，涉及音頻領(lǐng)域，特別是涉及一種基于音頻的睡眠分期的方法，所述方法包括：獲取預(yù)設(shè)時(shí)長(zhǎng)的睡眠分期的音頻數(shù)據(jù)；對(duì)所述音頻數(shù)據(jù)進(jìn)行特征提取，得到特征數(shù)據(jù)，其中，所述特征數(shù)據(jù)包括梅爾譜特征數(shù)據(jù)、頻譜質(zhì)心特征數(shù)據(jù)、聲譜衰減特征數(shù)據(jù)及音頻色度特征數(shù)據(jù)；將所述梅爾譜特征數(shù)據(jù)，輸入預(yù)先訓(xùn)練好的音頻事件向量提取模型，得到音頻事件向量；對(duì)所述特征數(shù)據(jù)進(jìn)行特征拼接，得到拼接特征數(shù)據(jù)；將所述拼接特征數(shù)據(jù)和所述音頻事件向量，輸入預(yù)先訓(xùn)練好的睡眠分期模型，得到睡眠分期結(jié)果。本申請(qǐng)能夠提高睡眠分期的準(zhǔn)確性。
該發(fā)明專利的體現(xiàn)在提高睡眠分期的準(zhǔn)確性、提供全面的睡眠分期解決方案、促進(jìn)音頻技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用、優(yōu)化睡眠監(jiān)測(cè)和分析流程以及增強(qiáng)用戶體驗(yàn)等方面。
真誠(chéng)主動(dòng)對(duì)話必殺技
4、一種主動(dòng)式對(duì)話大模型構(gòu)建裝置、方法、設(shè)備及存儲(chǔ)介質(zhì)
專利摘要：本申請(qǐng)公開(kāi)了一種主動(dòng)式對(duì)話大模型構(gòu)建裝置、方法、設(shè)備及存儲(chǔ)介質(zhì)，涉及模型構(gòu)建領(lǐng)域，包括：模型確定模塊用于基于生成式預(yù)訓(xùn)練Transformer模型確定預(yù)設(shè)提問(wèn)模型和預(yù)設(shè)診斷模型；訓(xùn)練集構(gòu)建模塊用于將用戶真實(shí)病歷信息輸入預(yù)設(shè)提問(wèn)模型以生成假樣本，基于假樣本和真樣本構(gòu)建第一訓(xùn)練集；控制器訓(xùn)練模塊用于將第一訓(xùn)練集輸入初始控制器，以利用對(duì)抗訓(xùn)練方法并基于預(yù)先構(gòu)建的目標(biāo)函數(shù)對(duì)初始控制器的參數(shù)進(jìn)行梯度更新得到目標(biāo)控制器；大模型構(gòu)建模塊用于基于預(yù)設(shè)提問(wèn)模型、預(yù)設(shè)診斷模型和目標(biāo)控制器構(gòu)建主動(dòng)式對(duì)話大模型以進(jìn)行問(wèn)診對(duì)話。
本申請(qǐng)通過(guò)構(gòu)建主動(dòng)式對(duì)話大模型，以對(duì)用戶進(jìn)行主動(dòng)提問(wèn)獲取更多用戶信息，提高問(wèn)診結(jié)果的準(zhǔn)確性。
病歷生成效率提升
5、病歷摘要生成方法、裝置、計(jì)算機(jī)設(shè)備及介質(zhì)
本發(fā)明公開(kāi)了一種病歷摘要生成方法、裝置、設(shè)備及介質(zhì)，包括：對(duì)病歷文本進(jìn)行聚類，得到若干類別的聚類文本；將每類聚類文本輸入到初始病歷摘要生成模型中，初始病歷摘要生成模型包括初始教師模型、初始學(xué)生模型和判別模型；采用初始教師模型對(duì)每類聚類文本進(jìn)行摘要生成，得到標(biāo)注訓(xùn)練集，采用標(biāo)注訓(xùn)練集對(duì)初始學(xué)生模型進(jìn)行參數(shù)微調(diào)，得到微調(diào)學(xué)生模型；通過(guò)判別模型對(duì)初始教師模型和微調(diào)學(xué)生模型的模型效果進(jìn)行評(píng)測(cè)，根據(jù)評(píng)測(cè)結(jié)果，確定混合訓(xùn)練集，采用混合訓(xùn)練集對(duì)初始病歷摘要生成模型進(jìn)行迭代訓(xùn)練，得到目標(biāo)病歷摘要生成模型；采用目標(biāo)病歷摘要生成模型對(duì)接收到的病歷文本進(jìn)行摘要生成，提升了病歷摘要生成的精準(zhǔn)度。
通過(guò)創(chuàng)新的病歷摘要生成技術(shù)，提升了病歷摘要生成的精準(zhǔn)度。
促進(jìn)數(shù)據(jù)互聯(lián)互通
6、一種大模型知識(shí)蒸餾低秩適應(yīng)聯(lián)邦學(xué)習(xí)方法、電子設(shè)備及可讀存儲(chǔ)介質(zhì)
專利摘要：本發(fā)明提供的大模型知識(shí)蒸餾低秩適應(yīng)聯(lián)邦學(xué)習(xí)方法，是通過(guò)在各個(gè)客戶端內(nèi)部署學(xué)生模型和教師模型，同時(shí)在各個(gè)客戶端相連接的中央服務(wù)端內(nèi)部署同結(jié)構(gòu)的學(xué)生模型；在各個(gè)客戶端內(nèi)，基于學(xué)生模型、教師模型和預(yù)設(shè)本地?cái)?shù)據(jù)，計(jì)算獲取教師模型的總損失和學(xué)生模型的總損失；通過(guò)學(xué)生模型的總損失和低秩適應(yīng)方法計(jì)算獲取低秩梯度矩陣并上傳至中央服務(wù)端；通過(guò)中央服務(wù)端內(nèi)的學(xué)生模型聚合后的參數(shù)梯度矩陣，更新學(xué)生模型參數(shù)，重復(fù)多次直至教師模型收斂。
相比于現(xiàn)有技術(shù)，本方法通過(guò)低秩適應(yīng)方法分解參數(shù)梯度矩陣，可以顯著減少聯(lián)邦學(xué)習(xí)時(shí)客戶端和服務(wù)端之間的通訊參數(shù)量，極大地提高了通訊效率。
2024年上半年，智慧眼憑借其在人工智能領(lǐng)域的深厚底蘊(yùn)，成功獲得了近30項(xiàng)與砭石大模型相關(guān)的授權(quán)發(fā)明專利，彰顯了其在AI原生創(chuàng)新方面的強(qiáng)大實(shí)力。未來(lái)，智慧眼將堅(jiān)持AI原生思維，不斷強(qiáng)化大模型的多模態(tài)協(xié)作處理能力，進(jìn)一步挖掘醫(yī)療AI市場(chǎng)潛力，從而引領(lǐng)整個(gè)產(chǎn)業(yè)向更高水平的創(chuàng)新與高質(zhì)量發(fā)展邁進(jìn)。
湘ICP備20003263號(hào)-1