５月２０日，智慧眼發(fā)布了全球首款支持醫(yī)療領(lǐng)域文本、圖像、視頻和音頻輸入的多模態(tài)大模型“砭石”。

智慧眼創(chuàng)始人、董事長邱建華介紹：“砭石，是古代的醫(yī)療工具，「醫(yī)源于砭」這句話出自《山海經(jīng)》，也是智慧眼「砭石」大模型的取名由來，承載了今天我們對大模型快速迭代、走向醫(yī)療人工智能的期待。”

在發(fā)布會現(xiàn)場，邱建華實測了砭石的智能問診、輔助閱片、面診舌診、生理指標(biāo)預(yù)測、睡眠監(jiān)測五大技能，展現(xiàn)了砭石在中西醫(yī)相結(jié)合，多模態(tài)相融合的全新交互體驗。

智慧眼成立于２００９年，自成立以來，一直從事計算機(jī)視覺、自然語言處理、智能大模型、隱私計算等核心技術(shù)研究，積極推動人工智能技術(shù)和行業(yè)應(yīng)用落地，致力于ＡＩ計算驅(qū)動生命健康。

三大創(chuàng)新，創(chuàng)造核心價值

相較于通用大模型，垂直領(lǐng)域的專業(yè)化大模型需要更多的行業(yè)沉淀、更強(qiáng)的專業(yè)性、更豐富的知識積累。如何將大模型技術(shù)與具體的應(yīng)用場景相結(jié)合，對行業(yè)和應(yīng)用場景的理解，以及行業(yè)經(jīng)驗、行業(yè)數(shù)據(jù)治理和結(jié)構(gòu)化處理能力提出了較高的要求。

據(jù)悉，“砭石”醫(yī)療大模型采用知識圖譜與大模型相結(jié)合的技術(shù)路線，克服了僅僅通過大模型技術(shù)在醫(yī)療領(lǐng)域的信息準(zhǔn)確度低的核心痛點(diǎn)，突破了隱私計算條件下的大模型聯(lián)邦訓(xùn)練、基于知識圖譜的大模型知識增強(qiáng)等核心技術(shù)，同時能夠?qū)崿F(xiàn)對問診的文本數(shù)據(jù)、醫(yī)療影像數(shù)據(jù)、用戶的面部體征視頻數(shù)據(jù)和用戶睡眠音頻數(shù)據(jù)的多模態(tài)處理，實現(xiàn)醫(yī)療輔助診斷、智能認(rèn)知、健康管理等多樣化的任務(wù)，革新醫(yī)療健康行業(yè)傳統(tǒng)單一任務(wù)的輔助診斷模式，形成核心價值。

智慧眼介紹，在構(gòu)建砭石大模型的過程，實現(xiàn)了以下三方面創(chuàng)新：

一、采用知識圖譜與大模型相結(jié)合的技術(shù)路線，提升醫(yī)療診斷準(zhǔn)確性。知識工程和大模型是當(dāng)前實現(xiàn)認(rèn)知智能的兩個主要的途徑，兩者各有優(yōu)劣，醫(yī)學(xué)領(lǐng)域非常尊重循證，在醫(yī)療決策中將臨床證據(jù)、個人經(jīng)驗與患者的實際狀況和意愿三者相結(jié)合。智慧眼通過在訓(xùn)練過程中加入知識圖譜對訓(xùn)練過程進(jìn)行知識增強(qiáng)，結(jié)合ＲＬＨＦ技術(shù)，在５００億參數(shù)條件下比單純使用大模型技術(shù)，醫(yī)學(xué)問題回答準(zhǔn)確度提升近１０％。

二、隱私計算條件下的大模型聯(lián)邦訓(xùn)練，充分釋放高質(zhì)量數(shù)據(jù)要素價值。高價值醫(yī)療數(shù)據(jù)都是在醫(yī)院等高價值行業(yè)用戶手中，如何實現(xiàn)這些高價值用戶的敏感隱私數(shù)據(jù)的脫敏，真正做到數(shù)據(jù)的“可用不可見”、“數(shù)據(jù)不出域”安全應(yīng)用是極具挑戰(zhàn)性的問題。通過解決保護(hù)隱私的分布式知識遷移和聯(lián)邦圖譜推理的問題，可以實現(xiàn)分布式數(shù)據(jù)孤島的知識匯聚，以及基于分布式數(shù)據(jù)的聯(lián)邦大模型訓(xùn)練，支撐了用戶數(shù)據(jù)價值的釋放。

三、醫(yī)療領(lǐng)域多模態(tài)視覺處理技術(shù)，實現(xiàn)多樣化任務(wù)。砭石醫(yī)療大模型是醫(yī)療領(lǐng)域多模態(tài)生成式預(yù)訓(xùn)練大模型，能夠支持醫(yī)療領(lǐng)域多模態(tài)的輸入，包括醫(yī)療領(lǐng)域文本、圖像、視頻和音頻形式的輸入，具體形式覆蓋智能問診，輔助閱片，面診舌診，生理指標(biāo)預(yù)測，睡眠監(jiān)測幾個方面，它的輸出是結(jié)構(gòu)化的文本，包括健康狀態(tài)的簡要描述、診斷描述和治療建議等，可以方便醫(yī)療機(jī)構(gòu)更好地理解分析，提高了醫(yī)療信息處理的效率和準(zhǔn)確性。

具體來說，在文本方面，輔助醫(yī)生和藥師與患者對話；在視頻方面，通過捕捉人臉表面周期變化由于心臟跳動所帶來的面部變化來實現(xiàn)對心率、呼吸率、心率變異性、血壓、血氧等生理指標(biāo)測量；在圖片方面，統(tǒng)一范式能夠進(jìn)行高準(zhǔn)確度的醫(yī)學(xué)影像閱片和面診舌診；在音頻方面，實現(xiàn)基于對睡眠音頻數(shù)據(jù)的分析來檢測用戶的睡眠情況。

Ｍｏｄｅｌ　ａｓ　ａ?。樱澹颍觯椋悖澹x能每一個場景

關(guān)于”砭石”的定位，智慧眼稱砭石大模型將是醫(yī)療健康垂直領(lǐng)域場景落地的重要底座。在未來應(yīng)用應(yīng)用方面，智慧眼研究院負(fù)責(zé)人表示，砭石將堅持模型即服務(wù)（Ｍｏｄｅｌ?。幔蟆。帷。樱澹颍觯椋悖澹┑睦砟?，以大模型為基礎(chǔ)，在場景化應(yīng)用中快速迭代，將醫(yī)學(xué)人工智能“潤物細(xì)無聲”般銜接醫(yī)療健康的每一個場景，包含決策支持、醫(yī)?？刭M(fèi)、醫(yī)藥服務(wù)、健康管理、保險支付等患者服務(wù)全過程。

微信圖片＿２０２３０５２４１００１４０．ｐｎｇ

賦能基層醫(yī)療，ＡＩ為基層醫(yī)務(wù)人員提供病歷質(zhì)控、輔助診斷、合理用藥、醫(yī)學(xué)知識檢索等技術(shù)支持，緩解醫(yī)療壓力，提升基層醫(yī)生的醫(yī)技能力，推動優(yōu)質(zhì)醫(yī)療資源下沉延伸。

賦能醫(yī)保監(jiān)管，砭石大模型搭建風(fēng)險控制模型，能夠以更為常態(tài)化、高效精準(zhǔn)的方式挖掘數(shù)據(jù)之下的欺詐騙保行為，通過對購藥、門診、健康理療等行為進(jìn)行自動化的分析、監(jiān)管和預(yù)警，有效打擊欺詐騙保問題，提高醫(yī)?；鹗褂眯省?/p>

賦能慢病管理，基于砭石大模型開發(fā)的云慢病患者服務(wù)管理系統(tǒng)，聯(lián)通診前、診中、診后實現(xiàn)慢病管理的閉環(huán)。

賦能醫(yī)藥鏈條，將“人工智能＋互聯(lián)網(wǎng)”技術(shù)賦能給實體醫(yī)藥機(jī)構(gòu)，打通醫(yī)療服務(wù)的需求方、服務(wù)方、支付方和藥品提供方，提供診療一站式服務(wù)，并且基于循證醫(yī)學(xué)，將醫(yī)生的經(jīng)驗轉(zhuǎn)化為ＡＩａａＳ（ＡＩ　即服務(wù)），貫穿預(yù)防、診斷、治療和康復(fù)的核心環(huán)節(jié)，賦能大健康產(chǎn)業(yè)高質(zhì)量發(fā)展。

注：文章來源于網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系刪除