0
| 本文作者： 喬燕薇 | 2022-09-30 15:06 |
近日，2022年醫學人工智能大會（CMAI 2022）暨第二屆“中國醫學學術期刊發展”高端論壇召開。
本次高峰論壇邀請了多位頂尖醫院的放射科主任及人工智能技術的權威專家，共同探討人工智能技術在醫學影像中的臨床應用與科研進展，分享研究心得。雷峰網(公眾號：雷峰網)《醫健AI掘金志》作為本次大會的支持單位，全程參與嘉賓的演講內容與深度報道。
南京航空航天大學計算機學院副院長張道強教授作為本次大會的嘉賓，發表了主題演講。（獲取完整版演講PPT，請關注微信公眾號《醫健AI掘金志》，后臺回復“張道強”。）
2010至2012年，張道強曾在醫學影像AI領軍人物、上海科技大學生物醫學工程學院創始院長沈定剛教授的UNC IDEA Lab團隊中從事腦圖像分類研究。2012年回國后，張道強一直專注于腦影像的智能分析。沈定剛教授曾表示，張道強是青年學者中研究醫學影像AI最TOP的那一批人。
會后，雷峰網與張道強教授進行了一次對話。他表示，相比安防等行業，深度學習技術在醫學領域內的應用稍顯滯后?；貒鴥扇旰?，他開始將深度學習應用在腦疾病的醫學影像研究中。
談及腦疾病研究中面臨的問題，張道強表示，腦疾病非常復雜、精細且種類繁多，不同的腦疾病如阿爾茲海默癥（AD）與抑郁癥等疾病之間也有相似之處，有些病人同時患多種腦疾病，常常難以分辨。
另一方面，用深度學習技術研究腦疾病，對高質量樣本的需求量非常大，但腦疾病領域非常缺少高質量、有標記的樣本。據張道強介紹，以AD為例，目前國際上最大的數據庫ANDI也僅僅收錄了一千例左右的樣本。
為了解決樣本量稀少的問題，張道強與多家醫院合作，收集了大量不同站點的影像數據，通過遷移學習、對比學習等技術進行處理，克服數據偏差。
“2012年我回國后就非常注重與醫院之間的合作，第一時間找到了南京本地的南京腦科醫院精神科進行合作，近年來又陸續與南京鼓樓醫院、山東大學齊魯醫院、清華長庚醫院、301醫院等多家醫院達成合作?！?/p>
張道強介紹，除影像數據分享外，其團隊還按照醫院需求提供算法解決臨床問題、與醫院共同培養學生、共同研究新技術在醫學影像上的應用，進行了諸多合作。
沈定剛教授回國入職聯影智能與上海科技大學后，張道強與聯影智能和上海科技大學也有共同的研究相關課題、申報研究成果等。
除樣本問題外，腦影像特征的提取也是研究中的難題之一。三維的腦影像體量十分龐大，往往難以從中提取出有效特征。
為此，張道強提出多模態技術，對腦影像進行預處理，將影像中的一百多個腦區進行標記、配準，分割灰質、白質及腦脊液。
考慮到在AD研究中腦脊液對灰質的影響更大，他以一百多個腦區中的灰質體積作為有效特征，從結構影像的幾百萬個特征中篩選出一百余個。
而針對功能影像PET(正電子發射型計算機斷層顯像)，則是以每個腦區中的平均灰度值為有效特征進行篩選。
據此，張道強構建起不同的核矩陣，在核矩陣的層次上通過多核的融合實現多模態的分類。
隨著深度學習技術的發展，張道強也逐漸將圖論、圖神經網絡等前沿技術應用到腦影像的研究之中。
2018年7月南航成立人工智能學院，與計算機科學與技術學院合署辦公，學院現有計算機科學與技術、軟件工程、網絡空間安全3個一級學科博士點，院內師資一百二十余人。
張道強介紹，“在人工智能領域，南航在國內還是比較有影響的。”
張道強的博士生導師，中國人工智能學會機器學習委員會主任陳松燦也在南航計算機學院任教，同時陳松燦還擔任著江蘇省人工智能學會常務副理事長。
經過十余年的發展，目前學院內進行醫學AI研究的團隊已有十余人，包含腦疾病、骨科、超聲、磁共振、病理圖像等多個領域。
南航計算機學院的學生近年來也在國際會議上嶄露頭角。2019年10月，博士后邵偉在MICCAI大會上展示了他在聯合基因影像數據進行預后預測上的研究工作，并獲得大會青年科學家獎。邵偉也是當年五位獲獎者中唯一國內的青年科學家。
在今年的MICCAI大會上，張道強課題組的博士生左英立同樣斬獲了青年科學家獎。
醫學影像領域的華人學者在國際學術界的身影越來越活躍，2020年以來，張道強當選IAPR Fellow、
李純明、李樂、蔣田仔等多位學者陸續當選IEEE Fellow。
張道強對此也深有感觸：“我十幾年前第一次參加MICCAI的時候，華人面孔還非常少，占比只有四分之一左右?！?/p>
而最近幾年這一領域的華人學者明顯增多，今年的MICCAI會議上有多位華人學者獲得青年科學家獎，“這些事實都表明我國醫學AI的研究已經接近世界前沿水平了，甚至某些方向已經超越西方國家。”
張道強表示，醫學AI在國內的發展有更多的機會，“相比歐美國家，我們能夠獲取更多高質量的數據，加之政策支持，以及大體量的研究者不斷加入這一領域，我相信醫療AI在未來會發展得更好?！?/p>
以下是張道強教授的演講原文，雷峰網《醫健AI掘金志》進行了不改變原意的整理。
我是南京航空航天大學的張道強，今天我給大家分享的題目是《腦影像智能計算以及若干應用的研究進展》。
首先我們來看為什么要研究大腦？我們知道大腦是人體最復雜也是最重要的一個器官，如果我們把大腦比作一個可以計算的機器，大腦是我們已知的客觀世界里最復雜的一個機器。
正因為如此，包括美國、歐盟以及中國在內的諸多國家對腦科學計劃都非常關注，中國的腦科學計劃也已經正式開始實施。計劃的主要構造都是大家熟知的，了解腦、模擬腦（即類腦智能）、保護腦（即腦疾病的防治）等方面。
腦影像是研究腦科學一個非常重要的工具，根據維基百科的定義，腦影像包括各種各樣直接或間接對大腦的結構和功能進行探測的各種技術的總稱。
從這個定義我們也可以看出來，腦影像分為兩大類，一類是結構的腦影像，在醫院做檢查時的X光、CT以及核磁共振等都屬于結構的影像。
另外一類是功能影像，比如功能磁共振、PET等等。
這是磁共振以及其成像的顯示。
這是PET以及它的成像顯示。
我們其中一個應用就是圍繞腦疾病的診斷，重點研究阿爾茨海默病，也就是俗稱的老年癡呆癥。
老年癡呆癥簡稱AD，是最常見的一種腦疾病。到目前為止，這一疾病還沒有有效的治療手段，隨著疾病的發展，最終會導致人的死亡。
65歲以上的中老年人群體患病風險比較高，現在世界上有4000多萬、接近5000萬的AD患者。
據世界衛生組織的預計，到2050年，也是本世紀中葉，全球每85個人中可能會有一人患AD。
左下角是一個非常形象的示意圖，我們把一棵樹的樹葉比喻成神經元。
大家知道我們的神經元細胞和其他細胞不一樣，從人出生以后它的數量就不會再增加了，到了青年階段以后數量就會不停地減少。
中間的樹代表的是MCI，即輕度認知障礙，右邊的樹代表的就是AD。在這個階段，神經元細胞就像圖中的樹葉一樣，已經死亡了一大半，所以會對認知功能產生很大的影響。
這是患AD疾病的一些名人，包括政治精英、文豪以及科技界獲得諾獎科學家等很多權威人物。
第一張圖給出了正常人的半腦和AD患者的半腦的示意，左邊是正常的半腦。
我們對比來看的話， AD首先是導致大腦有非常明顯的萎縮。我們再進一步觀察和語言、記憶相關的一些腦區，會發現AD使大腦變得非常平滑。
正常人的大腦有很多腦溝、腦回，將表面拉伸后面積是非常大的，因為我們大腦要容納大約1000億個神經元，每個神經元平均要和大約1000個神經元細胞要產生連接，所有的神經元和神經元之間的連接都要容納在大腦之中。
第二張是微觀圖，顯示了我們現在比較公認的兩個和AD相關的特征，一個是神經纖維的纏繞，另一個是淀粉樣的沉淀，都能夠通過生化檢測發現。
這是一位畫家早期的自畫像，以及患AD后每一年給自己畫的自畫像。
可以看出來，在這位畫家患AD之后，隨著疾病的進展，越到后期疾病對他的大腦的空間認知能力影響越大大，晚期時已經基本沒有完整的空間認知感。
另外我們還可以用眼動儀來揭示正常人和AD患者看同一張圖片時大腦的不同理解模式。
圖中不同的圓圈是人在看這張圖片時視覺焦點的位置、大小以及停留的時間。
這張圖是正常人的模式，首先關注圖片中感興趣的目標，比如建筑物、沙灘上人等等，所以在這些地方停留的時間較長。
這張圖是AD患者的模式，他沒有去關注沙灘上的人、建筑等目標，反而有很多時間集中在大海這些沒有太多意義的位置。
這條曲線給出了各種不同的生物標志物對AD的診斷能力，橫坐標是從正常到臨床前期，再到輕度認知障礙和最后的癡呆的時間變化，縱坐標表示不同的生物標志物對AD的檢測能力。
從這張圖我們可以看出來，一些影像相關的生物標志物，包括PET、fMRI等都有很高的早期診斷能力。
與之相對比，圖中最下面的一條曲線是我們臨床上用的一個打分函數，如MMSE和ADAS-Cog，但這種方式一般需要在患者出現非常明顯的癥狀之后，到晚期癡呆的階段量表上才會出現較大差異。
到了癡呆的階段，已經沒有有效的治療手段能讓患者恢復到MCI或正常狀態。所以我們一定要在MCI或更早期對這一疾病進行早診斷、早治療。
在MCI階段仍有一些手段能夠對大腦進行干預，延緩從MCI到AD的轉變，提高病人生活的質量。
從曲線圖來看，基于影像特別是多模態的腦影像技術對AD進行診斷是非常重要的，這方面也有很多的工作，時間關系我們在今天的報告里面主要向大家匯報一大類：基于腦影像構建腦網絡，再對腦網絡進行挖掘、分析和分類，從而實現診斷的技術。
現在有一個新的提法叫做“腦連接組學”，Brain Connectomics，主要關注大腦的不同區域和區域之間的連接。
我們認為，包括疾病的患病機制在內的大量信息，不僅僅取決于不同的腦區，更多的是取決于腦區之間的連接。
連接類型包括三類。
一類是結構連接，比如說如果我們有DTI影像就可以很方便地構建一個結構連接網絡；更多的情況下可能是功能連接，比如我們拿到的一些磁共振數據，可以從上面構建功能的連接；還有一類叫做有效連接。
我們主要關注結構和功能的連接。
這是一張簡易的圖片，我們從腦影像出發，首先要建網，把腦網絡構建起來。然后從腦網絡中提取特征，做特征抽取、特征選擇，最后利用分類器，將選擇好的特征進行分類。
我們現在有一些非常高級的技術，比如現在非?；鸬膱D神經網絡就可以直接對腦網絡進行學習。
這是比較早期大概10多年前，通過腦網絡做個體分類的工作。
早期的工作主要還是基于我們圖論相關一些研究，在2011年這篇論文中，首先把影像構建成一個網絡圖譜，然后提取每個圖譜的頂點局部聚類系數，將其作為一個特征。提取完所有的特征后將其拉成一個向量，用支持向量機（SVM）進行分類。
在2014年左右，我們就提出使用機器學習中一個非常重要的概念graph kernel ，圖核，大家可以理解成是度量兩個網絡之間的拓撲相似性，基于此我們也得到了不錯的效果。
但是在2014年工作中，我們是把機器學習中現成的圖核拿過來使用，但這個圖核有一個缺點：缺少特異性。
左邊圖片中的兩個圖形上有標簽做出的標注，如果去掉標簽將圖形反轉，兩個圖是同構的。但是在腦網絡中的節點則具有唯一性，這是腦網絡非常重要的一個特性。
我們考慮到節點唯一性這一特點后，在2018年研究工作中又構造了一個新型的圖核，可以根據腦網絡進行定制。
這個圖核在MCI和正常人的分類，以及MCI早期轉變和不轉變的分類中也取得了不錯的效果。
在如何構建腦網絡方面，我們把每個腦區的時間序列相加，得到每個腦區的平均時間序列，然后對不同腦區之間的平均時間系列做一個k型相關，以這一相關系數作為兩個網絡連接連接矩陣的對應位置的值。
但這種方式也有一個非常明顯的缺點，無法反應兩兩之間的交互關系，不能刻畫二階或更高階以上關系。
我們還需要新的工具。在2016年的工作中，我們引進了超圖的概念。
彩色的部分就是一個超圖。超圖和簡單圖形的頂點是相同的，相比左邊的簡單圖形，超圖最主要的區別在于其邊緣部分變成了超邊，每條超邊可以有兩個以上的頂點相互連接。
超圖以每條超邊對應的幾個頂點的鄰接矩陣來表示，當超邊恰好只包含兩個頂點時，對應的數值是0，如果超邊包含的頂點數量大于2，對應的數值是1。
這是一個用超圖來實現基于超網絡的腦疾病診斷的框架。首先從影像構建一個超網絡，再從超網絡中提取特征，最后利用特征進行分類。
我們在MCI數據上做了驗證。這里的CN-CC是一個經典的簡單圖，體現其具體系數。HN-HCC是構建超圖后，將簡單圖的局部聚類系數推廣到超圖中。
這三種不同的提取形式，都取得了非常大的進步。另外，我們將這三種特征融合起來，才能得到高達百分之九十幾的精度，大大超過了傳統的簡單圖的特征。
此外，超邊也可以作為一種新型的網絡度量來表達正常網絡與MCI網絡之間的差異。
在2018年的工作，我們直接從加權的網絡中進行特征挖掘，提出了一種有序的模式。什么是有序模式呢？
大家看中間的圖，每條邊都有權重，按照傳統的方式或前面提到的一些復合方法，都是要找一個閾值，比如小于0.5的邊緣就拋棄，這種方式損失了大量的信息。
另外找一個合適的閾值其實也是非常難的，我們就直接對加權的網絡進行挖掘。
我們提出的方法叫有序模式，考察任意兩條相鄰的邊，如果它滿足邊緣的權重的有序關系，就將這兩條邊做為有序模式。
我們從正常人的網絡和患病的病人的腦網絡中提取一個頻繁的有序模式，另外我們為了實現判別，還將正常人和患病的人腦網絡中相似的頻繁模式篩除掉，只留下判別性的頻繁有序模式，將其作為特征進行分類。
我們在兒童多動癥患者的腦網絡上進行了驗證，基于有序模式在加權網絡上進行挖掘，不論是ACC還是AUC都得到了比傳統方法更好的效果。
另外像超邊一樣，如果得到有序模式，可以作為一種新型的一個網絡生物標記來判別患病的人和正常人之間腦網絡的差異性。
在此基礎之上，我們把有序模式的概念和圖核結合起來，提出一種新的基于有序模式的圖核，進一步提升了性能。下面就是展示有序模式如何構建圖核。
另外我們還借鑒了計算機網絡中Hub的節點。在局域網中Hub節點如果被攻擊了，整個的局域網可能就會陷入癱瘓。
在我們的大腦網絡里面，海馬體等位置都屬于比較重要的腦區，我們通過算法找出重要的節點，在此基礎上做進一步的網絡分類。
當同時有結構網絡和功能網絡時，還可以將其進行融合，得到更好的分類效果。
另外，我們還可以研究網絡，特別是功能網絡的動態關系。
這里我們采用了時間滑動窗構建不同的網絡，每隔一個時間窗口構建一個網絡，研究它的持續和動態關系。
在今年的最新工作中，我們還研究了通過挖掘一致性的連接組的特征進行多中心、跨中心的分類。
在動態網絡表示方面，我們在今年TMI上面也有最新的工作分享，時間關系這個地方就不再做進一步的介紹。
除了腦疾病診斷之外，在腦影像智能計算或分析中，大家也比較關注將影像腦影像作為內表型，挖掘和基因之間的關聯，也就是借助影像找出和AD易感相關的基因。
反過來通過基因也可以幫助找到AD相關的腦區或是子網絡，以及表型上的信息，現在可以聯合起來進行多模態的包括基因和影像的診斷。
影像遺傳的基因信息主要是以單核苷酸多態性為主，簡稱SNP，是非常高維的數據。
因此對建模提出了非常高的要求，因為建模時輸入輸出的基因影像都是高維的。
我們在2018年的一篇基于統計學習的影像遺傳學方法的中文綜述中，將現有的影像基因關聯方法歸納為4類，第一類是多基因單腦區，第二類是單基因多腦區，第三個是多基因多腦區，第四個是多基因多腦區之間的動態關聯。
針對前面講的4類，我們分別開發了一些方法，時間關系不再做進一步的介紹，大家如果感興趣的話可以關注我們的論文進一步了解。
非常有意思的是，不只能做基因和影像、腦區之間的關聯，還可以將影像變成腦網絡之后，找出基因和腦網絡之間的關聯。
今年我們在自然通訊上有一個最新的工作，利用多模態的網絡和基因做了一個用于精神分裂癥的多基因風險相關的研究。
最后一個應用主要是關注腦解碼，和疾病沒有關系，主要是關注正常人的認知方面。
大家看右上角這個圖，被試者在看到不同的物體時，腦子里會有不同的響應。
如果我們用fMRI將被試者做認知的過程記錄下來，比如說看到鞋子和貓的照片時，用fMRI記錄下過程，我們就知道這一段fMRI對應的是鞋子，另外一段對應的是貓。
從機器學的角度來講，我們收集了很多fMRI的樣本，對應的標簽就是圖像的類別。我們可以構建一個分裂器，當分裂器訓練好以后，被試再看到新的圖片時，掃描被試的大腦并將fMRI傳入分裂器中，分裂器就會預測出被試者看到的圖像，從而實現解碼。
這是對分類的解碼。還可以有比分類更加復雜的解碼，比如將看到的圖像進行重建。
解碼的過程中有一個關鍵的挑戰：不同的被試之間差異非常大。
比如說左上角和左下角的兩張圖，同樣是看到一張人臉，第一個被試的相應模式在第二象限， 第二個被試在第三象限。對建筑、動物等圖像也可能有類似的結果。
這時我們就要進行Hyperalignment，通過一些配準使其進入同一空間，使不同的人對同樣的物體的響應在相似位置。
關于Hyperalignment有一個經典的描述，和機器學習的典型相關性分析CCA非常類似。
在2017年我們做了一個工作，就是推廣了Hyperalignment技術。
原始的Hyperalignment在fMRI空間中，我們的方法先將其推從fMRI空間推廣到高維空間，通過滲透神經網絡將其映射到高維空間中，在高維空間中做Hyperalignment ，我們稱之為Deep Hyperalignment，也得到了較好的效果，具體細節我們不說了。
我們在公開的open fMRI的數據集對多種任務做了驗證，我們的Deep Hyperalignment的方法也得到了較好的結果。
圍繞Hyperalignment，我們最近幾年有些相關的工作。
比如在2020年我們采取了一種共享的空間遷移學習技術，對多站點的fMRI數進行分析，還開發了一個叫做easy fMRI的工具箱，對fMRI進行特征提取、可視化等處理，歡迎大家來試用這個工具，我們也把它開源了。
除分類的解碼之外，有些學者已經開始研究重建的解碼。
就像我們左圖所示，當被試者看到物體時對大腦進行掃描，將被試者看到的物體進行重建。
比如說右圖所示的阿拉伯數字6和9，對被試者的大腦進行掃描，將fMRI對應起來。通過深度神經網絡來做學習映射。
我們在今年的TCDS上的工作，就結合LSTM等技術實現了較好的重建效果，通過算法自動預測被試者看到的東西。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
