0
譯者：AI研習社（季一帆）
雙語原文鏈接：Top Applications of Graph Neural Networks 2021
今年開始。圖神經(jīng)網(wǎng)絡（Graph Neural Networks）成為研究者討論的焦點，作為該領域的研究人員，我甚是欣慰。記得大概三年前，圖神經(jīng)網(wǎng)絡那時還受到冷落，當我和研究GAN和Transformers的同行交流時，他們認為我的研究方向極其小眾。到了現(xiàn)在，這個領域終于守得云開見月明。因此，我將在本文向大家介紹最近的GNNs應用熱點。
在電子商務平臺中，用戶與產(chǎn)品的交互構成圖結構，因此許多公司使用圖神經(jīng)網(wǎng)絡進行產(chǎn)品推薦。典型的做法是對用戶和商品的交互關系進行建模，然后通過某種負采樣損失學習節(jié)點嵌入，并通過kNN實時推薦給用戶相似產(chǎn)品。Uber Eats 公司很早就通過這樣的方式進行產(chǎn)品推薦，具體而言，他們使用圖神經(jīng)網(wǎng)絡 GraphSage 為用戶推薦食品和餐廳。
在食品推薦中，由于地理位置的限制，使用的圖結構比較小。在一些包含數(shù)10億節(jié)點的大規(guī)模圖上，同樣也可以使用圖神經(jīng)網(wǎng)絡。使用傳統(tǒng)方法處理如此大規(guī)模的圖是非常困難的，阿里巴巴公司在包含數(shù)十億用戶和產(chǎn)品的網(wǎng)絡上研究圖嵌入和GNN，最近他們提出的Aligraph，僅需要五分鐘就可以構建具有400M節(jié)點的圖。非常強大！此外，Aligraph還支持高效的分布式圖存儲，對采樣過程進行了優(yōu)化，同時內部集成了很多GNN模型。該框架已成功用于公司的多種產(chǎn)品推薦和個性化搜索任務。
Alibaba, Amazon 以及其他很多電子商務平臺使用GNN構建推薦系統(tǒng)
Pinterest 提出了 PinSage 模型，該模型使用個性化PageRank對鄰域進行高效采樣，并通過聚合鄰域更新節(jié)點嵌入。后續(xù)模型 PinnerSage 進一步擴展了該框架來處理不同用戶的多嵌入問題。受限篇幅，本文僅列出GNN在推薦系統(tǒng)的部分應用（其他案例還包括：Amazon在知識圖譜中應用GNN或Fabula AI使用GNN檢測假新聞等），但這些足以表明，如果用戶互動的信息足夠豐富，那么GNNs將顯著推動推薦系統(tǒng)中進一步發(fā)展。
金融、物流、能源、生命科學和硬件設計等多個領域都面臨組合優(yōu)化（CO）問題。這些問題多數(shù)可以通過圖結構進行建模，因此，過去近一個世紀的研究工作都致力于從算法層面解決CO問題。然而，機器學習的發(fā)展為CO問題的解決提供了另外一種可能性。
Google Brain 團隊將GNN成功用于硬件設計，如對Google TPU芯片塊的功耗、面積和性能的優(yōu)化。可以將計算機芯片視為由內存和邏輯部件組成的圖，每個圖由其部件的坐標和類型表示。電氣工程師的工作就是，在遵守密度和布線擁塞限制的同時，確定每個組件的位置。Google Brain團隊結合GNN和策略/值RL實現(xiàn)對電路芯片布局的設計與優(yōu)化，其表現(xiàn)優(yōu)于人工設計的硬件布局。
芯片布局與國際象棋、圍棋的復雜度對比（圖源）
此外，還可以將機器學習（ML）模型集成到現(xiàn)有求解器中。Gasse et al. 提出了一種用于學習分支定界變量選擇策略（混合整數(shù)線性程序MILP求解器的關鍵）的圖網(wǎng)，通過該方式能夠最小化求解器的運行時間。同時論文表明，該方法既能保證推理時間，又能保證決策質量。
在DeepMind和Google的最新工作中，圖網(wǎng)被用于MILP求解器的兩個關鍵子任務：聯(lián)合變量分配和目標值定界。在Google生產(chǎn)包和規(guī)劃系統(tǒng)大規(guī)模數(shù)據(jù)集上，他們的神經(jīng)網(wǎng)絡方法比現(xiàn)有求解器快2–10倍。更多內容請查閱相關綜述。
由于世界上所有物體都是密切聯(lián)系的，因此可以將GNN用于物體圖像。通過場景圖可以感知圖像，即一組物體出現(xiàn)在同一場景中，那么它們之間存在聯(lián)系。場景圖已用在圖像檢，理解和推理，字幕生成，視覺問答以及圖像生成等任務，從而大大提高模型的性能。
Facebook的一項研究表明，根據(jù)經(jīng)典CV數(shù)據(jù)集COCO中的物體形狀、位置和大小創(chuàng)建場景圖，然后使用GNN對圖中物體進行嵌入，進而結合CNN生成物體的遮罩，邊框和外。最終，通過GNN / CNN可以在用戶指定節(jié)點（確定節(jié)點的相對位置和大小）生成物體圖像。
使用場景圖生成圖像。用戶可以將物體放置在畫布的任何位置，圖像也會產(chǎn)生相應變動（如將紅色的“河流”從中間移到右下角，那么圖像中生成的河流也移到右下角）
對于CV的經(jīng)典任務——兩個相關圖像的匹配，之前的方法僅能通過人工實現(xiàn)。但現(xiàn)在，3D圖形公司Magic Leap開發(fā)出名為SuperGlue的GNN架構，該架構可在實時視頻中執(zhí)行圖形匹配，以完成3D重建、位置識別、本地化和制圖（SLAM）等任務。SuperGlue由一個基于注意力的GNN組成，GNN學習圖像關鍵點的表示，然后在最佳傳輸層對這些關鍵點表示進行匹配。模型可以在GPU上實現(xiàn)實時匹配，還能方便地集成到現(xiàn)有SLAM系統(tǒng)中。關于圖形與計算機視覺的更多研究和應用，參見以下綜述文章。
根據(jù)粒子或分子之間的相互作用構建圖，然后使用GNN預測系統(tǒng)屬性已逐漸成為生命科學中的重要研究方法。Facebook和CMU合作的Open Catalyst項目致力于找到新的方法來存儲可再生能源，例如太陽能或風能。可能的方案之一是通過化學反應將這種能量轉換成其他燃料，如氫氣。然而，這需要發(fā)現(xiàn)新的、更高效的催化劑來加速化學反應，且已知的DFT方法成本極高。Open Catalyst項目開源了大規(guī)模催化劑數(shù)據(jù)集、DFT弛豫和GNN基準方法，希望找到新的、高效的、低成本催化劑分子。
吸附質（小連接分子）和催化劑表面的初始狀態(tài)和松弛狀態(tài)。為了找到吸附質-催化劑對的松弛狀態(tài)，需要進行高昂的DFT模擬，而且要花費好幾天時間。Zitnick et al. 2020
DeepMind的研究人員還使用GNN來模擬復雜粒子系統(tǒng)（例如水或沙子）的動力學過程。通過逐步預測每個粒子的相對運動，可以合理重建整個系統(tǒng)的動力學，了解控制運動的基本規(guī)律。這可用于了解玻璃化轉變——固態(tài)理論中最有趣的未決問題之一。此外，使用GNN不僅可以模擬過渡中的動力學，而且可以更好地了解粒子之間如何根據(jù)距離和時間產(chǎn)生相互影響。
此外，美國的物理實驗室的Fermilab致力于應用GNNs對CERN大型強子對撞機（LHC）的結果進行分析，希望能夠對數(shù)百萬圖像進行處理，發(fā)現(xiàn)并選擇與新粒子相關的圖像。他們的任務是將GNN部署在FPGA，并將其與數(shù)據(jù)采集器集成在一起，這樣可以在全球范圍內遠程運行GNN。有關GNNs在粒子物理學中的更多應用，參見以下綜述文章。
制藥行業(yè)競爭激烈，頭部公司每年都會投入數(shù)十億美元來開研發(fā)新藥。在生物學中，圖可以表示不同尺度上的相互作用，如在分子水平，圖的邊緣可以是分子中原子之間的鍵或蛋白質中氨基酸殘基之間的相互作用；在更大的尺度上，圖可以表示更復雜的結構（例如蛋白質，mRNA或代謝物）之間的相互作用。不同層次尺度中的圖可用于目標識別，分子特性預測，高通量篩選，新型藥物設計，蛋白質工程和藥物再利用等。
應用GNN進行藥物研發(fā)的時間流，Gaudelet et al., 2020
麻省理工學院的研究人員及其合作者在Cell(2020)上發(fā)表的文章表明，GNN有助于藥物研發(fā)。他們訓練了名為Chemprop的深層GNN模型來預測分子是否具有抗生素特性，即對大腸桿菌的生長抑制作用。在使用FDA批準的藥物庫中的約2500個分子對其進行訓練后，Chemprop被應用于更大的數(shù)據(jù)集，該數(shù)據(jù)集為包含Halicin分子的Drug Repurposing Hub，并根據(jù)《2001：太空漫游》電影中的HAL9000對其重命名。
需要說明的是，由于Halicin分子結構與已知的抗生素相差很大，因此先前的工作僅對該分子進行研究。但是，體內和體外臨床實驗表明，Halicin是一種廣譜抗生素。相比NN模型進行的廣泛基準測試，應用GNN發(fā)現(xiàn)Halicin更加顯示了GNN強大的學習表征能力。除此之外，Chemprop架構也值得關注：不同于多數(shù)GNN模型，Chemprop有5層和1600隱藏層維數(shù)，遠超其他GNN參數(shù)。以上介紹不過是GNN在新藥發(fā)現(xiàn)中的冰山一角，想要了解更多信息，請查閱該綜述和博客。
感謝Michael Bronstein，PetarVeli?kovi?，Andreas Loukas，Chaitanya Joshi，Vladimir Ivashkin，Boris Knyazev等人的反饋與建議。
AI研習社是AI學術青年和AI開發(fā)者技術交流的在線社區(qū)。我們與高校、學術機構和產(chǎn)業(yè)界合作，通過提供學習、實戰(zhàn)和求職服務，為AI學術青年和開發(fā)者的交流互助和職業(yè)發(fā)展打造一站式平臺，致力成為中國最大的科技創(chuàng)新人才聚集地。
如果，你也是位熱愛分享的AI愛好者。歡迎與譯站一起，學習新知，分享成長。
