在 16 日的「AI+醫(yī)療」論壇上，美國(guó)羅格斯大學(xué)計(jì)算機(jī)科學(xué)系杰出教授、計(jì)算生物醫(yī)學(xué)影像與建模中心（CBIM）主任 Dimitris Metaxas 做了主題為《基于模型的醫(yī)療應(yīng)用大規(guī)模分析》的演講。

Dimitris Metaxas 教授一直致力于形式化方法的開發(fā)，以促進(jìn)醫(yī)學(xué)圖像分析、計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)以及對(duì)多模態(tài)語(yǔ)言的理解。在計(jì)算機(jī)生物醫(yī)學(xué)應(yīng)用領(lǐng)域，他利用MRI、SPAMM和CT掃描數(shù)據(jù)開發(fā)了新的人體內(nèi)臟器官（如肺）的材料建模和形狀識(shí)別方法，這是用于心臟運(yùn)動(dòng)分析的開拓性框架，也是將人體解剖和生理模型、組織病理學(xué)、細(xì)胞追蹤、細(xì)胞類型分析與小鼠行為分析相聯(lián)系的開拓性架構(gòu)。

在人工智能和計(jì)算機(jī)視覺領(lǐng)域，他在可變形模型、三維人體運(yùn)動(dòng)分析、行為、場(chǎng)景理解、機(jī)器學(xué)習(xí)、監(jiān)督、目標(biāo)識(shí)別、稀疏性以及野外生物識(shí)別等方面開發(fā)了新的方法。在計(jì)算機(jī)圖形學(xué)領(lǐng)域，他為流體動(dòng)畫引入了Navier-Stokes方法，1998年的動(dòng)畫電影《蟻哥正傳》（Antz）中的水景基于該法制作而成。

Dimitris Metaxas教授發(fā)表了500多篇論文，獲得過多項(xiàng)最佳論文獎(jiǎng)，擁有7項(xiàng)專利。他是富布賴特獎(jiǎng)學(xué)金、NSF研究啟動(dòng)獎(jiǎng)和職業(yè)生涯獎(jiǎng)，以及ONR青年研究計(jì)劃獎(jiǎng)的獲得者。他是美國(guó)醫(yī)學(xué)和生物工程院院士、IEEE會(huì)士和MICCAI會(huì)士，曾擔(dān)任IEEE CVPR 2014和ICCV 2011大會(huì)主席，ICCV 2007程序主席， FIMH 2011、MICCAI 2008及SCA 2007高級(jí)程序主席。

演講內(nèi)容

醫(yī)療數(shù)據(jù)分析對(duì)于新的醫(yī)學(xué)發(fā)現(xiàn)、診斷改進(jìn)和成本降低來說日益重要。本演講將介紹一種已持續(xù)開發(fā)25年的通用可擴(kuò)展的計(jì)算框架，它將計(jì)算學(xué)習(xí)、稀疏方法、混合范數(shù)、詞典和稀疏性的原理與可變形建模方法結(jié)合在一起，應(yīng)用于醫(yī)學(xué)圖像分析和計(jì)算機(jī)視覺領(lǐng)域中復(fù)雜的大規(guī)模問題中。

演講將介紹該系統(tǒng)的多種醫(yī)學(xué)應(yīng)用，包括心臟病的分割、識(shí)別和表征的特征發(fā)現(xiàn)、心臟 MRI 圖像重建、心臟血流分析、大規(guī)模組織病理學(xué)圖像分析和檢索、體脂估計(jì)，以及用于酒精研究的嚙齒動(dòng)物行為分析和細(xì)胞分析等。

以下為演講全文（為便于閱讀進(jìn)行過適當(dāng)編輯整理）：

大家好。剛才Pep講了非常多的內(nèi)容，小編非常贊同。接下來小編會(huì)為大家列舉一些例子，小編也會(huì)說明我們確實(shí)需要謹(jǐn)慎小心地運(yùn)用這些工具。

機(jī)器學(xué)習(xí)的重點(diǎn)是數(shù)據(jù)，但它們沒法超越它們的數(shù)據(jù)。人工智能在醫(yī)療領(lǐng)域的應(yīng)用才剛剛開始。小編會(huì)給出一些案例說明我們當(dāng)前的工作和難題。

首先小編先簡(jiǎn)單介紹一下我們的計(jì)算生物醫(yī)學(xué)影像與建模中心（CBIM）。CBIM 成立于 2002 年，那時(shí)候計(jì)算機(jī)的運(yùn)行非常慢，數(shù)據(jù)非常少，訓(xùn)練神經(jīng)網(wǎng)絡(luò)是非常困難的。現(xiàn)在 CBIM 有 133 位教職成員，65 位博士生。

計(jì)算生物醫(yī)學(xué)影像與建模是一項(xiàng)多學(xué)科的研究任務(wù)，不僅涉及計(jì)算技術(shù)，還涉及到生物學(xué)、醫(yī)學(xué)、神經(jīng)科學(xué)、語(yǔ)言學(xué)等等。我們需要醫(yī)生和生物學(xué)家來幫我們查看和驗(yàn)證數(shù)據(jù)，如果我們不做這件事，我們就永遠(yuǎn)無(wú)法成功。我們與羅格斯大學(xué)的很多部門都有合作，而且因?yàn)榱_格斯大學(xué)與紐約等地的距離很近，我們和周邊的一些醫(yī)院也有合作關(guān)系。

我們希望解決的問題的領(lǐng)域包括使用計(jì)算機(jī)視覺技術(shù)處理生物醫(yī)學(xué)數(shù)據(jù)、成像、識(shí)別以及人類行為和語(yǔ)言的多模態(tài)方面。

我們希望為醫(yī)學(xué)影像信息學(xué)開發(fā)穩(wěn)健的和可擴(kuò)展的方法，以用于臨床和臨床前的應(yīng)用。

先說臨床的。人們已經(jīng)在臨床方向開發(fā)了很多框架，涵蓋很多流程，從數(shù)據(jù)獲取到檢測(cè)和分割到診斷等等。這些技術(shù)的目的并不是取代醫(yī)生，而是幫助醫(yī)生更快更好地完成日常工作。當(dāng)然這個(gè)過程可能會(huì)減少對(duì)醫(yī)生的需求，雖然醫(yī)生不喜歡這一點(diǎn)，但試點(diǎn)測(cè)試是必不可少的。

可以看到，首先是數(shù)據(jù)獲取。我們可以通過掃描儀了解病人病灶的情況，這些圖像需要進(jìn)行分割。我們希望能在掃描的時(shí)候就分割，而不必之后再做。這方面我們有些自動(dòng)化的選擇和機(jī)會(huì)。小編會(huì)展示神經(jīng)網(wǎng)絡(luò)在這方面的優(yōu)良表現(xiàn)——不管是實(shí)時(shí)處理還是之后處理。有了分割后的圖像后，你需要建模，識(shí)別圖像中的正常和異常。機(jī)器學(xué)習(xí)只是這個(gè)過程的一部分，你還需要向醫(yī)生解釋為什么這個(gè)地方是異常的。醫(yī)生需要知道模型是根據(jù)什么特征得出結(jié)論的，如果不對(duì)，我們還要對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行修改。

在數(shù)據(jù)獲取方面，壓縮傳感核磁共振（Compressed Sensing MRI）是一種高效的數(shù)據(jù)采集方法，能有效降低掃描時(shí)間，極大提升病人的體驗(yàn)。我們可以在里面做分割、注冊(cè)和重建等。

除了分割掃描數(shù)據(jù)，還有病理學(xué)圖像分割的研究。但問題是我們?nèi)绾翁幚懋惓?，畢竟每個(gè)人的異常都不一樣。也許神經(jīng)網(wǎng)絡(luò)在一些具體病例上表現(xiàn)很好，但卻處理不了其他病例。這也是其中的難點(diǎn)。

1994年以來我一直在關(guān)注心血管診斷領(lǐng)域，我們能用 MRI 重建血流的運(yùn)動(dòng)。當(dāng)然，我們還可以用 CT 重建心臟內(nèi)部的情況，這比 MRI 更加清晰。

這里可以看到重建出的心臟運(yùn)動(dòng)情況。我們能通過這種方式查看心臟里血液留存的位置，預(yù)防心臟病發(fā)作。

接下來，我們要進(jìn)行無(wú)網(wǎng)格的模型擬合?，F(xiàn)在的醫(yī)生看的是一張張切片，對(duì)于 3D 結(jié)構(gòu)他們只能猜測(cè)，不能看到。我們可以通過一張張切片重建出 3D 結(jié)構(gòu)，標(biāo)出其中承受的壓力。通過觀察心臟中的循環(huán)，我們能知道正常和異常的位置。這是非常全面的方法。過去醫(yī)生通常只看一張片，而心臟是立體的，而且在運(yùn)動(dòng)，一張切片的信息很不全面。我們的方法能讓醫(yī)生更好地了解這些信息。

另一項(xiàng)研究是在知識(shí)發(fā)現(xiàn)上。我們?nèi)绾螌⑦@些圖像用來診斷疾病呢？比如分析這些組織病理學(xué)圖像，來診斷癌癥。這方面也有不同的維度。另外，我們也可以將這些信息用來培訓(xùn)新的醫(yī)生。當(dāng)然這樣的工作并不容易，但對(duì)這些方面都會(huì)有影響。

接下來我們談一個(gè)具體的應(yīng)用。比如說肝臟的 CT。首先我要談?wù)劄槭裁催@方面的圖像分割并不容易。圖像中一直都會(huì)存在偽影，因?yàn)獒t(yī)生往往沒有時(shí)間去做非常仔細(xì)的成像。你不希望將這些偽影分割出來，不然可能會(huì)影響醫(yī)生的診斷。檢測(cè)肺病的時(shí)候，我們需要知道肺在那里。

我們知道左肺和右肺的大小是不一樣的，因?yàn)橐贿叺姆闻赃呌行呐K，所以會(huì)小一點(diǎn)。醫(yī)生當(dāng)然知道這一點(diǎn)，但計(jì)算機(jī)不知道。我們需要填補(bǔ)這其中的差距。此外，大腦等結(jié)構(gòu)擁有很多細(xì)節(jié)信息，也需要關(guān)注。

我們可以使用形狀先驗(yàn)（shape prior）。我們的自動(dòng)分割系統(tǒng)需要做到準(zhǔn)確、有效和魯棒。我們不能讓醫(yī)生等待太長(zhǎng)時(shí)間，還要能處理圖像中的偽影等錯(cuò)誤信息，以及發(fā)現(xiàn)復(fù)雜的組織結(jié)構(gòu)（比如大腦）中的細(xì)節(jié)。

很多時(shí)候，由于工作環(huán)境的影響，輸入的數(shù)據(jù)可能并不準(zhǔn)確，我們需要處理這些問題。另外我們也要保留局部細(xì)節(jié)，這些細(xì)節(jié)可能就代表了疾病或創(chuàng)傷的存在，對(duì)治療而言非常重要。

當(dāng)然，我們有大量數(shù)據(jù)來做機(jī)器學(xué)習(xí)。這些數(shù)據(jù)是稀疏的。我們的方法基于兩個(gè)觀察：輸入形狀可以近似由訓(xùn)練形狀的稀疏線性組合表示；給定的形狀信息可能包含嚴(yán)重錯(cuò)誤，但這種錯(cuò)誤通常是稀疏的。我們的做法是首先最小化模型和數(shù)據(jù)之間的差異，這是我們要執(zhí)行的變換。然后是稀疏線性組合。

我們也要考慮非高斯誤差，這對(duì)提升結(jié)果很重要。

為什么我們的方法是有效的？在魯棒性方面，使用 L0 范數(shù)約束明確建模“e”，因此可以檢測(cè)到顯然的（稀疏）誤差。在通用性方面，不對(duì)參數(shù)分布模型做任何假設(shè)，因此可以建模復(fù)雜的形狀信息。在無(wú)損性方面，使用了所有的訓(xùn)練形狀，因此能夠覆蓋所有的細(xì)節(jié)信息，甚至包括訓(xùn)練數(shù)據(jù)中統(tǒng)計(jì)不顯著的細(xì)節(jié)。

這是我們的實(shí)驗(yàn)設(shè)置。

準(zhǔn)確度能達(dá)到 90% 以上。

當(dāng)然你也能進(jìn)行在線學(xué)習(xí)，你可以選擇哪些數(shù)據(jù)是重要的。所以小編可以從少量數(shù)據(jù)開始，然后增加更多數(shù)據(jù)來提升質(zhì)量。醫(yī)生在看過更多圖像后會(huì)表現(xiàn)得更好，這種方法也是類似。能讓模型持續(xù)提升的在線學(xué)習(xí)是很重要的。

再來看看心臟圖像的分割。這方面的進(jìn)展很慢，但也有一些突破，比如我們剛完成的，能展示出很多復(fù)雜細(xì)節(jié)。

我們能用機(jī)器學(xué)習(xí)在 MRI 上做些什么？這是我們的工作流程。醫(yī)生需要的不只是一個(gè)答案，他們需要知道得出結(jié)論的原因，是哪些特征讓模型認(rèn)為存在問題。

我們的方法可以非常準(zhǔn)確地說明哪些區(qū)域與特定疾病的診斷有關(guān)。與心臟相關(guān)的疾病有 400 種左右，這些疾病都有一些模式，因此非常適合用機(jī)器學(xué)習(xí)來處理——如果有大量數(shù)據(jù)的話。所以我們和很多醫(yī)院和學(xué)校合作來獲得理解這一問題的數(shù)據(jù)。實(shí)際上，50% 罹患心臟血管疾病的風(fēng)險(xiǎn)都是可以早期預(yù)測(cè)的，通過測(cè)量，我們能發(fā)現(xiàn)一些連醫(yī)生也不知道的事情。所以我們也實(shí)際上推進(jìn)到了下一步。

得到了切片后我們可以建模，得到 3D 模型，實(shí)現(xiàn)更好的可視化。這樣醫(yī)生就不容易錯(cuò)過或忽略對(duì)一些疾病的診斷。

這里的紅色和黃色展示了血液和肌肉的比例。我們?cè)谘芯窟@個(gè)比例與疾病的關(guān)聯(lián)。

還有標(biāo)志跟蹤（tag tracking），這是一種了解血液如何影響對(duì)心室的壓力的常用手段。

這里是一些關(guān)于流速場(chǎng)的討論?；疾“昴?huì)有更小的孔洞，會(huì)導(dǎo)致更高的流速，產(chǎn)生的高壓力可能導(dǎo)致患病。

基于哈希的圖像檢索（Towards Large-Scale Histopathological Image Analysis: Hashing-Based Image Retrieval）是我們的又一項(xiàng)研究。

疾病的嚴(yán)重程度千差萬(wàn)別，就像在這個(gè)病例里面，這是一種惡性腫瘤。

哈?？梢詸z測(cè)相似性信息，讓模型表現(xiàn)更好。

可以看到，我們不僅做得更好，而且更加穩(wěn)定，不管特征維度有多大。算法的高效性是非常重要的。

這是檢索結(jié)果的展示。

在臨床前研究方面，我們也有一些進(jìn)展。這是我們的一種細(xì)胞核的分割方法。這是我們和很多不同醫(yī)院共同開展的一項(xiàng)研究。那么我們?cè)趺凑业郊?xì)胞核呢？因?yàn)榧?xì)胞核很重要，與 DNA 相關(guān)。

我們可以根據(jù)形狀和大小等特征對(duì)細(xì)胞核進(jìn)行分類，看是正常還是異常的。另外密度信息也很重要，腫瘤細(xì)胞和正常細(xì)胞有不同的密度。

我們可以把它應(yīng)用到一些臨床前應(yīng)用上，比如研究大量小鼠的行為。因?yàn)樾∈笤谒幬锖图膊⊙芯可虾苤匾?，小鼠的行為能為我們提供一些結(jié)果。我們可以劃分小鼠不同的部分，監(jiān)控和統(tǒng)計(jì)多只小鼠的活動(dòng)。

最后，我們的未來研究方向有哪些？首先是高效的信息融合。我們希望不只是檢測(cè)單模態(tài)數(shù)據(jù)，而能同時(shí)使用多個(gè)尺度上的多模態(tài)數(shù)據(jù)。另一個(gè)方向是從粗略到精細(xì)的學(xué)習(xí)（Coarse-to-fine Learning），不同規(guī)模的學(xué)習(xí)很重要。我們希望將領(lǐng)域?qū)＜业闹R(shí)整合到機(jī)器學(xué)習(xí)中，以提升推理能力和可解釋性；我們還希望在使用過程中不斷修正神經(jīng)網(wǎng)絡(luò)，我稱之為「learn how to learn」。

當(dāng)然，我們也要研究使用可解釋的參數(shù)進(jìn)行學(xué)習(xí)和推理的基本方法。非線性優(yōu)化方法也是一個(gè)研究方向，神經(jīng)網(wǎng)絡(luò)的參數(shù)太多了，我們?nèi)绾卧跍p少參數(shù)數(shù)量的同時(shí)又實(shí)現(xiàn)更好的表現(xiàn)？有時(shí)候需要基于耦合 PDE 和機(jī)器學(xué)習(xí)的方法。

小編的演講到此為止。我們現(xiàn)在還沒有到達(dá)頂峰，但是已經(jīng)處在一個(gè)非常令人激動(dòng)和興奮的時(shí)間節(jié)點(diǎn)，我們對(duì)機(jī)器學(xué)習(xí)為醫(yī)療領(lǐng)域帶來變革很有信心。