面向模擬智能的計(jì)算系統(tǒng)
中國網(wǎng)/中國發(fā)展門戶網(wǎng)訊 人類進(jìn)入大科學(xué)時(shí)代后,“模擬”作為“理論”“實(shí)驗(yàn)”以外重要的補(bǔ)充技術(shù)手段,成為科學(xué)研究的第3個(gè)支柱。從表現(xiàn)形式看,科學(xué)研究可以被視為建立模型(modeling)的過程。而模擬(simulation)則是所建立的科學(xué)模型在計(jì)算機(jī)上的運(yùn)行過程。最早期的計(jì)算機(jī)模擬(computer simulation)可以追溯到第二次世界大戰(zhàn)之后,是專門針對(duì)核物理學(xué)和氣象學(xué)研究的一種開創(chuàng)性的科學(xué)工具。后來,在越來越多的學(xué)科中,計(jì)算機(jī)模擬變得愈發(fā)重要,并不斷衍生出計(jì)算和其他領(lǐng)域交叉的學(xué)科,如:計(jì)算物理、計(jì)算化學(xué)和計(jì)算生物學(xué)等學(xué)科。Weaver在1948年撰文指出:人類解決有序復(fù)雜問題并實(shí)現(xiàn)科學(xué)新飛躍,將主要依賴于計(jì)算機(jī)技術(shù)的發(fā)展和不同學(xué)科背景科學(xué)家的技術(shù)碰撞。一方面,計(jì)算機(jī)技術(shù)的發(fā)展使人類能夠解決復(fù)雜且難以處理的問題。另一方面,計(jì)算機(jī)技術(shù)能夠有效激發(fā)有序復(fù)雜性問題的新解決方法。這種新解決方法本身也正是計(jì)算科學(xué)(computational science)的范疇之一,讓科學(xué)家有機(jī)會(huì)集中資源,將不同領(lǐng)域的見解聚焦在共同問題上。這種見解聚焦的結(jié)果,促使不同學(xué)科背景的科學(xué)家們,形成比單一學(xué)科背景科學(xué)家們更強(qiáng)大的“混合團(tuán)隊(duì)”;這樣的“混合團(tuán)隊(duì)”將有能力解決某些復(fù)雜性問題,并且得出有用的結(jié)論。總之,科學(xué)和建模緊密相關(guān),模擬執(zhí)行代表理論的模型,人們把科學(xué)研究中的計(jì)算機(jī)模擬稱為科學(xué)模擬(scientific simulation)。
目前,還沒有任何針對(duì)“計(jì)算機(jī)模擬”的單一定義能夠恰當(dāng)?shù)孛枋隹茖W(xué)模擬的概念。美國國防部將模擬定義為一種方法,即:“一種隨時(shí)間實(shí)現(xiàn)模型的方法”;進(jìn)而,將計(jì)算機(jī)模擬定義為一種過程,即:“在計(jì)算機(jī)上執(zhí)行代碼、控制和顯示接口硬件,并與現(xiàn)實(shí)世界設(shè)備進(jìn)行接口交互的過程”。Winsberg把計(jì)算機(jī)模擬的定義又分為狹義和廣義范圍。
在狹義定義中,計(jì)算機(jī)模擬就是“在計(jì)算機(jī)上運(yùn)行程序的過程”。計(jì)算機(jī)模擬使用步進(jìn)方法來探索數(shù)學(xué)模型的近似行為。模擬程序在計(jì)算機(jī)上的一次運(yùn)行過程,代表了對(duì)目標(biāo)系統(tǒng)的一次模擬。人們?cè)敢庥糜?jì)算機(jī)模擬方法求解問題,主要有以下2個(gè)原因:原始模型本身包含離散方程;原始模型的演化更適合用“規(guī)則”,而不是“方程”來進(jìn)行描述。值得注意的是,這種狹義角度指代計(jì)算機(jī)模擬時(shí),需要限定到特定處理器硬件上算法的實(shí)現(xiàn)、用特定編程語言編寫應(yīng)用,以及核函數(shù)程序、使用特定編譯器等限制條件。在不同應(yīng)用問題的場(chǎng)景下,由于這些限制條件的變化,通常會(huì)獲得不同的性能結(jié)果。
在廣義定義中,可以把計(jì)算機(jī)模擬看作研究系統(tǒng)的一種綜合方法,是更加完整的計(jì)算過程。該過程包括模型選擇、通過模型實(shí)現(xiàn)、算法輸出計(jì)算、結(jié)果數(shù)據(jù)可視化及研究。整個(gè)模擬的過程也可以與科學(xué)研究過程進(jìn)行對(duì)應(yīng),如Lynch所描述:提出一個(gè)經(jīng)驗(yàn)上可回答的問題;從旨在回答該問題的理論中推導(dǎo)出一個(gè)可證偽的假設(shè);收集(或發(fā)現(xiàn))和分析經(jīng)驗(yàn)數(shù)據(jù)以檢驗(yàn)該假設(shè);拒絕或未能拒絕該假設(shè);將分析結(jié)果與得出該問題的理論聯(lián)系起來。在過去,這種廣義的計(jì)算機(jī)模擬通常出現(xiàn)在認(rèn)識(shí)論或者方法論的理論場(chǎng)景中。
Winsberg進(jìn)一步將計(jì)算機(jī)模擬劃分為基于方程的模擬(equation-based simulation)和基于主體的模擬(agent-based simulation)。基于方程的模擬常用于物理等理論學(xué)科中。這些學(xué)科中一般存在主導(dǎo)性的理論,這些理論可以用來指導(dǎo)構(gòu)建基于微分方程的數(shù)學(xué)模型。例如,基于方程的模擬可以是針對(duì)粒子的模擬,這種模擬通常包含數(shù)量巨大的多個(gè)獨(dú)立粒子和一組描述粒子之間相互作用的微分方程。此外,基于方程的模擬也可以是基于場(chǎng)的模擬,通常包含一組描述連續(xù)介質(zhì)或場(chǎng)的時(shí)間演化方程。基于主體的模擬往往遵循某種演化規(guī)則,是模擬社會(huì)和行為科學(xué)的最常見方式。例如, Schelling的隔離政策模型。盡管基于主體的模擬在一定程度上可以表示多個(gè)主體的行為,但與基于方程的粒子模擬不同,這里沒有控制粒子運(yùn)動(dòng)的全局微分方程。
從計(jì)算機(jī)模擬的定義和分類中,可以看出人們對(duì)科學(xué)模擬不同層次的期望。從狹義的計(jì)算機(jī)模擬角度看,它已經(jīng)成為理論分析和實(shí)驗(yàn)觀察等傳統(tǒng)認(rèn)知方式的補(bǔ)充手段。科學(xué)或工程領(lǐng)域無一例外是由計(jì)算機(jī)模擬推動(dòng)的,在某些特定應(yīng)用領(lǐng)域和場(chǎng)景下,甚至是由計(jì)算機(jī)模擬改變的。如果沒有計(jì)算機(jī)模擬,許多關(guān)鍵技術(shù)就無法被理解、開發(fā)和利用。廣義的計(jì)算機(jī)模擬蘊(yùn)含著一個(gè)哲學(xué)問題:計(jì)算機(jī)是否可以自主進(jìn)行科學(xué)研究?科學(xué)研究的目標(biāo)是認(rèn)識(shí)世界,這意味著計(jì)算機(jī)程序必須創(chuàng)造新的知識(shí)。隨著人工智能技術(shù)研究及應(yīng)用的新一輪爆發(fā),人們對(duì)計(jì)算機(jī)自動(dòng)地以“智能”方式進(jìn)行科學(xué)研究充滿了期待。值得一提的是,Kitano在2021年提出的“諾貝爾-圖靈挑戰(zhàn)”的新觀點(diǎn)——“到2050年,開發(fā)能夠自主執(zhí)行研究任務(wù)的智能科學(xué)家,做出諾貝爾獎(jiǎng)級(jí)別的重大科學(xué)發(fā)現(xiàn)”。該觀點(diǎn)涉及狹義和廣義的計(jì)算機(jī)模擬相關(guān)技術(shù),但沒有圍繞廣義定義的“哲學(xué)問題”深入探討,只是把其作為科學(xué)模擬的一個(gè)宏偉目標(biāo)看待。
科學(xué)模擬的發(fā)展階段
從最直觀的視角來看,科學(xué)模擬的載體是計(jì)算機(jī)程序。從數(shù)學(xué)形式上講,計(jì)算機(jī)程序是由可計(jì)算函數(shù)組成的,其中每個(gè)函數(shù)將有限輸入數(shù)據(jù)的離散集映射到有限輸出數(shù)據(jù)的離散集上。從計(jì)算機(jī)技術(shù)上講,計(jì)算機(jī)程序等于算法加上數(shù)據(jù)結(jié)構(gòu)。因此,科學(xué)模擬的實(shí)現(xiàn)需要以科學(xué)問題及其解決方式被形式化抽象為條件。這里,本文借用Simon的觀點(diǎn):科學(xué)家即問題“求解器”。在此觀點(diǎn)中,科學(xué)家給自己設(shè)定了重大科學(xué)問題,確定問題和解決問題的策略和技術(shù)是科學(xué)發(fā)現(xiàn)的本質(zhì)。基于上述“求解器”的話語體系,本文類比求解方程的形式,將科學(xué)模擬的發(fā)展劃分為3個(gè)階段,即數(shù)值計(jì)算、模擬智能和科學(xué)大腦(圖1)。
數(shù)值計(jì)算
然而,這種將部分復(fù)雜科學(xué)問題轉(zhuǎn)換為相對(duì)簡(jiǎn)單的計(jì)算問題的解題模式,僅僅是一種粗粒度的建模方案,在一些應(yīng)用場(chǎng)景下會(huì)遇到計(jì)算瓶頸。在解決真實(shí)場(chǎng)景中復(fù)雜物理模型時(shí),常常面臨基本物理原理計(jì)算量過大的問題,并由此導(dǎo)致空有原理而無法有效解決科學(xué)問題。例如,第一性原理分子動(dòng)力學(xué)的關(guān)鍵為求解量子力學(xué)Kohn-Sham方程,其核心算法求解過程是多次求解大規(guī)模特征值問題。特征值問題的計(jì)算復(fù)雜度為N3(N為矩陣的維度)。在實(shí)際物理問題的求解中,最常用的平面波基組通常是原子個(gè)數(shù)的100—10000倍。這意味著對(duì)于上千原子的體系規(guī)模,矩陣維度N達(dá)到106,其相應(yīng)的浮點(diǎn)數(shù)運(yùn)算總量也將達(dá)到1018 FLOPS,即達(dá)到EFLOPS級(jí)別的計(jì)算量。需要注意的是,在單步分子動(dòng)力學(xué)中需要多次求解特征值問題,這也就使得單步分子動(dòng)力學(xué)的模擬時(shí)間通常為數(shù)分鐘乃至1小時(shí)。由于單步分子動(dòng)力學(xué)的模擬物理時(shí)間只能達(dá)到1飛秒,假設(shè)要完成納秒物理時(shí)間的分子動(dòng)力學(xué)模擬過程,就需要106個(gè)分子動(dòng)力學(xué)步。相應(yīng)的計(jì)算量至少要達(dá)到1024 FLOPS。如此龐大的運(yùn)算量即使使用世界上最大規(guī)模的超級(jí)計(jì)算機(jī)也難以在短時(shí)間內(nèi)完成。為了解決僅使用第一性原理計(jì)算帶來的超大計(jì)算量,研究人員發(fā)展了多尺度方法,其中最典型的是獲得了2013年諾貝爾化學(xué)獎(jiǎng)的量子力學(xué)/分子力學(xué)(QM/MM)方法。該方法的思想是針對(duì)核心物理化學(xué)反應(yīng)部分(如:酶及其結(jié)合底物的活躍位點(diǎn)原子),采用高精度的第一性原理計(jì)算方法,對(duì)于周圍的物理化學(xué)反應(yīng)區(qū)域(溶液、蛋白質(zhì)和其他區(qū)域)采用低精度且計(jì)算復(fù)雜度更低的經(jīng)典力學(xué)方法。這種高精度、低精度相結(jié)合的計(jì)算方法,可以有效地降低計(jì)算量。但面對(duì)實(shí)際問題時(shí),該方法依然存在著巨大的挑戰(zhàn)。例如,細(xì)胞半徑約0.2微米的單個(gè)生殖支原體包含3×109個(gè)原子和77000個(gè)蛋白質(zhì)分子。由于核心計(jì)算時(shí)間仍來自QM部分,模擬2小時(shí)的過程預(yù)計(jì)需要耗費(fèi)109年。如果將類似問題推廣到人腦的模擬中,相應(yīng)的系統(tǒng)原子數(shù)將達(dá)到1026個(gè),保守估計(jì)需要1010個(gè)活躍位點(diǎn)的QM計(jì)算。由此可以推斷,模擬1小時(shí)的QM部分需要長(zhǎng)達(dá)1024年的時(shí)間,而MM部分的模擬也需要長(zhǎng)達(dá)1023年的時(shí)間。這種超長(zhǎng)計(jì)算時(shí)間的情況也被稱為“維度災(zāi)難”。
模擬智能
因此,模擬智能在傳統(tǒng)數(shù)值計(jì)算中嵌入人工智能模型(當(dāng)前主要是深度學(xué)習(xí)模型),不同于其他人工智能應(yīng)用領(lǐng)域的深度學(xué)習(xí)模型“黑盒子”。模擬智能要求這些模型的基本出發(fā)點(diǎn)和基本結(jié)構(gòu)是可解釋的。目前,這一方向已存在大量研究,Zhang等在2023年對(duì)模擬智能領(lǐng)域最新進(jìn)展進(jìn)行了系統(tǒng)性的梳理。從理解亞原子(波函數(shù)和電子密度)、原子(分子、蛋白質(zhì)、材料和相互作用)到宏觀(流體、氣候和地下)尺度物理世界,把研究對(duì)象分為量子(quantum)、原子(atomistic)和連續(xù)介質(zhì)(continuum)三大體系,涵蓋量子力學(xué)、密度泛函、小分子、蛋白質(zhì)、材料科學(xué)、分子間相互作用和連續(xù)力學(xué)等7個(gè)科學(xué)領(lǐng)域。此外,還詳細(xì)討論了其中關(guān)鍵的共同挑戰(zhàn),即:如何通過深度學(xué)習(xí)方法捕捉物理第一性原理,特別是自然系統(tǒng)中的對(duì)稱性。利用物理原理的智能模型幾乎已經(jīng)滲透了傳統(tǒng)科學(xué)計(jì)算的所有領(lǐng)域。模擬智能大幅提升了對(duì)微觀多尺度系統(tǒng)的模擬能力,為在線實(shí)驗(yàn)反饋迭代提供了更加全面的支撐條件。例如,計(jì)算模擬系統(tǒng)和機(jī)器人科學(xué)家之間的快速實(shí)時(shí)迭代,有助于提升科研效率。因此,模擬智能在一定程度上,還將包括“理論—實(shí)驗(yàn)”迭代的控制過程,同時(shí)也會(huì)涉及部分廣義的科學(xué)模擬。
科學(xué)大腦
傳統(tǒng)的科學(xué)方法從根本上塑造了人類探索自然和科學(xué)發(fā)現(xiàn)的分步“指南”。面對(duì)全新的研究問題,科學(xué)家們已經(jīng)被訓(xùn)練成從假設(shè)和替代方案的角度出發(fā),指定如何開展控制測(cè)試的定勢(shì)思維。雖然這種研究過程在過去幾個(gè)世紀(jì)內(nèi)都是有效的,但是非常緩慢的。從某種意義上來說,這種研究過程是主觀的,是由科學(xué)家的聰明才智和偏見驅(qū)動(dòng)的。這種偏見,有時(shí)會(huì)阻礙必要的范式轉(zhuǎn)變。人工智能技術(shù)的發(fā)展激發(fā)了人們對(duì)科學(xué)和智能融合產(chǎn)生最優(yōu)的且具有創(chuàng)新性的解決方案的期望。
以上所提到的科學(xué)模擬發(fā)展經(jīng)歷的3個(gè)階段,能夠明顯區(qū)分計(jì)算機(jī)模擬在可計(jì)算和智能化能力方面逐步提升的過程。數(shù)值計(jì)算階段,對(duì)復(fù)雜科學(xué)問題中相對(duì)簡(jiǎn)單的計(jì)算問題進(jìn)行了粗粒度建模,屬于單純的狹義計(jì)算機(jī)模擬定義范疇。它不僅促進(jìn)眾多領(lǐng)域宏觀尺度科學(xué)發(fā)現(xiàn),同時(shí)也開啟了對(duì)微觀世界的初步探索。模擬智能階段,將針對(duì)微觀世界的多尺度探索推上一個(gè)新的臺(tái)階。除了在狹義計(jì)算機(jī)模擬定義范疇內(nèi)對(duì)計(jì)算能力進(jìn)行了數(shù)量級(jí)地提升之外,該階段還涉及對(duì)實(shí)驗(yàn)中某些關(guān)鍵環(huán)節(jié)的計(jì)算加速,在一定程度上為科學(xué)模擬下一階段的實(shí)現(xiàn)奠定了基礎(chǔ)。科學(xué)大腦階段,將是對(duì)廣義計(jì)算機(jī)模擬定義的實(shí)現(xiàn)。在此階段中,計(jì)算機(jī)模擬將具備創(chuàng)造知識(shí)的能力。
設(shè)計(jì)模擬智能計(jì)算系統(tǒng)的關(guān)鍵問題
按照本文對(duì)科學(xué)模擬發(fā)展階段的粗粒度劃分,與其相應(yīng)的計(jì)算系統(tǒng)也在同步進(jìn)化。超級(jí)計(jì)算機(jī)在數(shù)值計(jì)算階段發(fā)揮了不可替代的作用;發(fā)展到新的模擬智能階段,底層計(jì)算系統(tǒng)的設(shè)計(jì)也是基石。那么,模擬智能計(jì)算系統(tǒng)的發(fā)展方向應(yīng)該遵循什么樣的指導(dǎo)思想?
縱觀計(jì)算和科學(xué)研究發(fā)展歷史,可歸納出計(jì)算系統(tǒng)發(fā)展的基本周期性規(guī)律:在新的計(jì)算模式和需求產(chǎn)生階段的初期,計(jì)算系統(tǒng)的設(shè)計(jì)側(cè)重追求極致的專用性。而在經(jīng)過一段時(shí)間的技術(shù)演變和應(yīng)用拓展之后,計(jì)算系統(tǒng)的設(shè)計(jì)開始側(cè)重于對(duì)通用性的追求。在人類科技文明早期發(fā)展的漫長(zhǎng)過程中,計(jì)算系統(tǒng)曾經(jīng)是各式各樣的專用機(jī)械設(shè)備,輔助進(jìn)行一些簡(jiǎn)單的運(yùn)算(圖2)。近代以來,電子技術(shù)的突破催生了電子計(jì)算機(jī)的出現(xiàn),并且隨著其計(jì)算能力的不斷提升,數(shù)學(xué)、物理等學(xué)科的發(fā)展也不斷向前,尤其是超級(jí)計(jì)算機(jī)上的大規(guī)模數(shù)值模擬成果,引領(lǐng)了大量前沿科學(xué)研究和重大工程應(yīng)用。由此可見,日益發(fā)展的通用高性能計(jì)算機(jī)在不斷地加速宏觀尺度科學(xué)的各類大規(guī)模應(yīng)用,并取得重大成果。接下來,微觀世界的多尺度探索將是未來Z級(jí)(1021)超級(jí)計(jì)算機(jī)應(yīng)用的核心場(chǎng)景。而現(xiàn)有通用高性能計(jì)算機(jī)的技術(shù)路線則將遇到功耗和效率等瓶頸,難以為繼。結(jié)合模擬智能階段所呈現(xiàn)的新特征,本文認(rèn)為面向模擬智能的計(jì)算系統(tǒng),將以追求極致的Z級(jí)計(jì)算專用智能系統(tǒng)為設(shè)計(jì)目標(biāo),未來性能最高的計(jì)算系統(tǒng)將專門針對(duì)模擬智能應(yīng)用程序,在硬件本身及軟件底層的算法和抽象中進(jìn)行定制。
圖2 科學(xué)模擬計(jì)算系統(tǒng)發(fā)展的周期性規(guī)律
Figure 2 Periodic trends of computing system for scientific simulation
直觀上講,面向模擬智能的計(jì)算系統(tǒng)離不開智能組件(軟件和硬件),那么基于現(xiàn)有的智能組件來構(gòu)建智能計(jì)算系統(tǒng)就能真正滿足模擬智能的需求嗎?答案是否定的。李國杰院士曾經(jīng)指出:“有人曾戲謔目前信息領(lǐng)域的形勢(shì)為:‘軟件在吞噬世界,人工智能在吞噬軟件,深度學(xué)習(xí)在吞噬人工智能,GPU(圖形處理器)在吞噬深度學(xué)習(xí)。’”研究制造更高性能的GPU或類似的硬件加速器,似乎成了對(duì)付大數(shù)據(jù)的主要出路。但是如果不清楚該在什么地方加速,只盲目依靠硬件的蠻力是不明智的。因此,設(shè)計(jì)智能系統(tǒng)的關(guān)鍵在于深刻理解要求解的問題。計(jì)算機(jī)架構(gòu)師的角色是選擇好的知識(shí)表示、識(shí)別開銷密集型任務(wù)、學(xué)習(xí)元知識(shí)、確定基本操作后,再用軟硬件優(yōu)化技術(shù)去支持這些任務(wù)。”
面向模擬智能的計(jì)算系統(tǒng)設(shè)計(jì)是一個(gè)新產(chǎn)生的研究主題,相對(duì)其他計(jì)算系統(tǒng)設(shè)計(jì)而言,更加具有顯著的獨(dú)特性。因此,需要一個(gè)整體統(tǒng)一的視角,來推進(jìn)人工智能和模擬科學(xué)的交叉。1989年,Wah和Li總結(jié)了關(guān)于智能計(jì)算機(jī)系統(tǒng)設(shè)計(jì)的3個(gè)層次,該觀點(diǎn)至今依然值得借鑒。但遺憾的是,目前還沒有任何關(guān)于這方面的更加深入的討論和實(shí)際性研究。具體而言,智能計(jì)算機(jī)系統(tǒng)的設(shè)計(jì)要考慮3個(gè)層次——表示層(representation level)、控制層(control level)和處理層(processor level)。表示層處理用于解決給定人工智能問題的知識(shí)和方法,以及如何表示該問題;控制層關(guān)注算法中依賴關(guān)系和并行性,以及問題的程序表示;處理層解決執(zhí)行算法和程序表示所需的硬件和體系結(jié)構(gòu)組件。下面將以這3個(gè)層次為基礎(chǔ),討論面向模擬智能的計(jì)算系統(tǒng)設(shè)計(jì)的關(guān)鍵問題。
表示層
表示層是設(shè)計(jì)過程中的一個(gè)重要元素,包括領(lǐng)域知識(shí)表示和共性特征(元知識(shí))表示,其決定了給定問題是否能夠在合理的時(shí)間內(nèi)得到解決。定義表示層的本質(zhì)是對(duì)適應(yīng)廣泛應(yīng)用的行為和方法進(jìn)行高級(jí)抽象,將它們與特定的實(shí)現(xiàn)解耦。下面給出領(lǐng)域知識(shí)表示和共性特征表示的案例。
從現(xiàn)階段面向科學(xué)的人工智能研究看,對(duì)稱性的研究將成為表征學(xué)習(xí)的一個(gè)重要突破口,其原因在于物理上的守恒定律是由對(duì)稱性導(dǎo)致的(諾特定理),而守恒定律常被用來研究粒子的基本屬性和粒子之間的相互作用。物理上的對(duì)稱性是指在某種變換后或某種操作下的不變性,無法做出可辨別的測(cè)量(不可區(qū)分性)。基于多層感知機(jī)(MLP)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、圖神經(jīng)網(wǎng)絡(luò)(GNN)的小分子表征模型在有效加入對(duì)稱性之后,已經(jīng)廣泛應(yīng)用于蛋白質(zhì)、分子、晶體等物質(zhì)的結(jié)構(gòu)預(yù)測(cè)。
2004年,Colella向美國國防高級(jí)研究計(jì)劃局(DARPA)提出了科學(xué)計(jì)算的“七個(gè)小矮人”(Seven Dwarfs)——稠密線性代數(shù)、稀疏線性代數(shù)、結(jié)構(gòu)網(wǎng)格計(jì)算、非結(jié)構(gòu)網(wǎng)格計(jì)算、譜方法、粒子方法、蒙特卡洛模擬。其中,每一種科學(xué)計(jì)算問題,都代表了一種可以捕獲計(jì)算和數(shù)據(jù)移動(dòng)模式的計(jì)算方法。受此啟發(fā),巴斯德實(shí)驗(yàn)室的Lavin等以類似方式定義了模擬智能中的9種基元(nine motifs of simulation intelligence)——多物理現(xiàn)象多尺度建模、代理建模仿真、基于模擬的推理、因果關(guān)系建模推理、基于主體的建模、概率編程、微分編程、開放式優(yōu)化、機(jī)器編程。這9種基元代表了互為補(bǔ)充的不同計(jì)算方法類型,為協(xié)同模擬和人工智能技術(shù)促進(jìn)科學(xué)發(fā)展奠定了基礎(chǔ)。面向傳統(tǒng)科學(xué)計(jì)算歸納的各個(gè)主題,曾為應(yīng)用于不同學(xué)科的數(shù)值方法(以及并行計(jì)算)的研發(fā)工作提供了明確的路線圖;面向模擬智能的各個(gè)主題同樣不局限于狹義的性能或程序代碼,而是激勵(lì)算法、編程語言、數(shù)據(jù)結(jié)構(gòu)和硬件方面的創(chuàng)新。
控制層
控制層承上啟下,在整個(gè)計(jì)算系統(tǒng)中起到連接和控制算法映射與硬件執(zhí)行的關(guān)鍵作用,在現(xiàn)代計(jì)算機(jī)系統(tǒng)中表現(xiàn)為系統(tǒng)軟件棧。本文僅討論和科學(xué)模擬相關(guān)的關(guān)鍵組件。模擬智能計(jì)算系統(tǒng)的控制層的變化主要來自2個(gè)方面:數(shù)值計(jì)算、大數(shù)據(jù)和人工智能的緊耦合;底層硬件技術(shù)可能發(fā)生的顛覆性變化。近年來,由于科學(xué)大數(shù)據(jù)的急劇增加,在科學(xué)模擬的數(shù)值計(jì)算階段,大數(shù)據(jù)軟件棧逐漸被超算系統(tǒng)領(lǐng)域所關(guān)注,只是相對(duì)于傳統(tǒng)的數(shù)值計(jì)算,大數(shù)據(jù)軟件棧是完全獨(dú)立的,在模擬流程上屬于不同的步驟。因此,基于2套系統(tǒng)的軟件棧是基本可行的。而在模擬智能階段,情況產(chǎn)生了根本上的變化。根據(jù)前文中所表示的問題解法描述公式y(tǒng)=F(f(x),A(x)),人工智能和大數(shù)據(jù)部分都是嵌入在數(shù)值計(jì)算內(nèi)的,這種結(jié)合是一個(gè)緊耦合的模擬過程,自然需要一個(gè)異質(zhì)融合的系統(tǒng)軟件棧。以DeePMD為例,該模型包含平移不變性的嵌入網(wǎng)絡(luò)、對(duì)稱性保持操作和擬合網(wǎng)絡(luò)3個(gè)模塊。鑒于體系的能量、受力等屬性不以人為定義改變(例如,便于測(cè)量或描述而賦予體系中各個(gè)原子的坐標(biāo)),接入擬合網(wǎng)絡(luò)進(jìn)行原子能量和受力的擬合,就能得到較高精度的擬合結(jié)果。再考慮模型的訓(xùn)練數(shù)據(jù)強(qiáng)依賴于第一性原理計(jì)算,整個(gè)流程是一個(gè)數(shù)值計(jì)算和深度學(xué)習(xí)緊耦合的過程。
因此,系統(tǒng)軟件在代碼生成和運(yùn)行時(shí)執(zhí)行過程中,將不再區(qū)分共性核函數(shù)的來源,即不再區(qū)分是否由傳統(tǒng)人工智能、傳統(tǒng)數(shù)值計(jì)算或根據(jù)特定問題進(jìn)行人工定制擴(kuò)展得來。相應(yīng)的,系統(tǒng)軟件一方面需要針對(duì)3類不同來源的共性核函數(shù),提供易于擴(kuò)展和開發(fā)的編程接口。另一方面則需要對(duì)這3類函數(shù),在代碼編譯方面和運(yùn)行時(shí)資源管理方面,兼顧并行效率和訪存局部性等性能保障;在面向不同粒度的計(jì)算任務(wù)時(shí),能夠逐層進(jìn)行融合和協(xié)同優(yōu)化,發(fā)揮不同類型體系結(jié)構(gòu)處理器的最佳性能。
處理層
縱觀數(shù)值計(jì)算階段到模擬智能階段,一個(gè)驅(qū)動(dòng)技術(shù)發(fā)展的重要因素是當(dāng)前硬件技術(shù)無法滿足計(jì)算需求。因此,處理層設(shè)計(jì)首要問題是:表示層的變化(如對(duì)稱性、基元)會(huì)產(chǎn)生全新的硬件體系架構(gòu)嗎?它們是基于傳統(tǒng)專用集成電路(ASIC)實(shí)現(xiàn),還是超越互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)——從高性能計(jì)算的發(fā)展路線圖來看,這也是未來Z級(jí)超算的硬件設(shè)計(jì)要考慮的核心問題。可以大膽預(yù)測(cè),在2035年左右,Z級(jí)超算可能會(huì)出現(xiàn)。盡管基于性能和可靠性因素的考慮,那時(shí)CMOS平臺(tái)仍將占據(jù)主流,但一些核心組件將是建立在非CMOS工藝上的專用硬件。
摩爾定律雖然放緩但依然有效,要重點(diǎn)解決的關(guān)鍵難題是如何逼近摩爾定律的極限。換句話說,如何通過軟硬件協(xié)同設(shè)計(jì)的手段,將基于CMOS的硬件潛力充分挖掘出來。因?yàn)椋词乖谛阅軆?yōu)先級(jí)最高的超算領(lǐng)域,多數(shù)算法負(fù)載所獲得的實(shí)際性能僅僅只是硬件裸性能的極小部分。回顧超算領(lǐng)域早期發(fā)展階段,其基本設(shè)計(jì)哲學(xué)就是軟硬件協(xié)同。未來十幾年,微處理器迅速發(fā)展的“紅利”將耗盡,面向模擬智能的計(jì)算系統(tǒng)硬件架構(gòu)應(yīng)該回歸到從頭設(shè)計(jì)的軟硬件協(xié)同技術(shù)上。一個(gè)突出的例子是如前所述的分子動(dòng)力學(xué)模擬,Anton系列是一個(gè)從零開始設(shè)計(jì)的超級(jí)計(jì)算機(jī)家族,可以滿足大規(guī)模長(zhǎng)時(shí)間尺度的分子動(dòng)力學(xué)模擬計(jì)算,而這也恰恰是對(duì)微觀世界探索的必要條件之一。然而,最新的Anton計(jì)算也只能對(duì)基于經(jīng)典力場(chǎng)模型實(shí)現(xiàn)20微秒的模擬,無法進(jìn)行第一性原理精度的長(zhǎng)時(shí)間尺度模擬;然而,后者才能滿足多數(shù)實(shí)際應(yīng)用(如藥物設(shè)計(jì)等)需求。
最近,作為模擬智能的典型應(yīng)用,DeePMD模型在傳統(tǒng)大規(guī)模并行系統(tǒng)上的突破證明了其巨大的潛力。中國科學(xué)院計(jì)算技術(shù)研究所超算團(tuán)隊(duì),已實(shí)現(xiàn)了170個(gè)原子的第一性原理精度分子動(dòng)力學(xué)的納秒級(jí)模擬。但是,長(zhǎng)時(shí)間尺度模擬要求硬件架構(gòu)具有極高的可擴(kuò)展性,需要在運(yùn)算邏輯和通信操作上有極致的創(chuàng)新。本文認(rèn)為有2類技術(shù)可以預(yù)期能夠發(fā)揮關(guān)鍵作用:存算一體架構(gòu),通過降低數(shù)據(jù)移動(dòng)的延遲來提高運(yùn)算效率;硅光互連技術(shù),可以在高能效下提供大帶寬的通信能力,有助于提高并行性和數(shù)據(jù)規(guī)模。進(jìn)而,隨著對(duì)模擬智能應(yīng)用廣泛而深入的研究,相信未來將逐步形成科學(xué)模擬領(lǐng)域的“新浮點(diǎn)”運(yùn)算單元和指令集。
本文認(rèn)為,在科學(xué)模擬的現(xiàn)階段,尚處于模擬智能階段的早期,此時(shí)對(duì)模擬智能的使能技術(shù)展開研究至關(guān)重要。在一般科學(xué)研究中,獨(dú)立的概念、關(guān)系和行為可能是易理解的。但是,它們的組合行為會(huì)導(dǎo)致不可預(yù)測(cè)的結(jié)果。深入了解復(fù)雜系統(tǒng)的動(dòng)態(tài)行為,對(duì)于許多處理復(fù)雜挑戰(zhàn)性領(lǐng)域的研究人員來說是非常寶貴的。在面向模擬智能的計(jì)算系統(tǒng)設(shè)計(jì)中,一個(gè)必不可少的環(huán)節(jié)是跨學(xué)科合作,即領(lǐng)域科學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)與工程、建模與仿真等學(xué)科工作者之間的協(xié)作。這種跨學(xué)科合作會(huì)構(gòu)建更優(yōu)的模擬計(jì)算系統(tǒng),形成更全面和整體的方法,去解決更加復(fù)雜的現(xiàn)實(shí)世界的科學(xué)挑戰(zhàn)。
(作者:譚光明、賈偉樂、王展、元國軍、邵恩、孫凝暉,中國科學(xué)院計(jì)算技術(shù)研究所。《中國科學(xué)院院刊》供稿)