SKA?科學(xué)計(jì)算的挑戰(zhàn)

與傳統(tǒng)望遠(yuǎn)鏡相比，SKA?更像是一個(gè)“軟件”望遠(yuǎn)鏡，它不僅集成了當(dāng)代信息計(jì)算技術(shù)的最新成就，而且提出了新的問題。以?SKA-low?為例，其旨在探測微弱宇宙信號，這些低頻陣列以?10?Pb/s?速度產(chǎn)生出世界上最大規(guī)模的數(shù)據(jù)流，遠(yuǎn)遠(yuǎn)超出了全世界互聯(lián)網(wǎng)的流量。按照?SKA?的數(shù)據(jù)流規(guī)模，估計(jì)在建設(shè)的第一階段每年需要輸送到區(qū)域數(shù)據(jù)中心進(jìn)行深度分析的科學(xué)數(shù)據(jù)就達(dá)到了每年?300?PB，隨著望遠(yuǎn)鏡的全面運(yùn)行，這個(gè)數(shù)據(jù)量必然會(huì)逐步增加。到了?SKA2?階段，從?SKA?天文臺產(chǎn)生的預(yù)處理數(shù)據(jù)的規(guī)模將擴(kuò)展到?SKA?先導(dǎo)項(xiàng)目的?100?倍以上，達(dá)到?EB?量級。SKA?兩個(gè)最重要的科學(xué)方向——宇宙再電離和黑暗時(shí)期探測、用脈沖星計(jì)時(shí)陣精確測量引力，需要積累未校準(zhǔn)的原始數(shù)據(jù)；如果考慮到保存一定時(shí)間的原始數(shù)據(jù)，那么?SKA?天文臺的數(shù)據(jù)存儲需求將提高至少一個(gè)量級。

以?SKA?先導(dǎo)項(xiàng)目?MWA?為例，經(jīng)過?4?年的運(yùn)行，MWA?積累了?24?PB?的科學(xué)存檔數(shù)據(jù)。其中一個(gè)科學(xué)目標(biāo)是?GLEAM?巡天任務(wù)，第一期巡天已經(jīng)包含了?30?多萬顆星系，存檔數(shù)據(jù)量達(dá)到?1?PB?以上。第二期巡天已經(jīng)開始，靈敏度提高了?4?倍以上，數(shù)據(jù)量預(yù)期高達(dá)?6.5?PB。而?MWA?只占到?SKA-low?規(guī)模的?1%，SKA?數(shù)據(jù)量由此可見一斑。據(jù)初步估計(jì)，SKA1?階段的科學(xué)數(shù)據(jù)處理器所需要的計(jì)算能力為?260?PFlops（即每秒?260?千萬億次浮點(diǎn)運(yùn)算），相當(dāng)于我國超級計(jì)算機(jī)“天河二號”的?8?倍，“神威·太湖之光”的?3?倍。SKA?巨大的計(jì)算需求必然對現(xiàn)有科學(xué)計(jì)算的架構(gòu)和方式形成巨大沖擊，對?SKA?數(shù)據(jù)處理問題的解決有助于帶動(dòng)和提升相關(guān)產(chǎn)業(yè)的發(fā)展，甚至引發(fā)革命性變化。

SKA將對除天文學(xué)以外的其他眾多學(xué)科諸如計(jì)算機(jī)科學(xué)、信息學(xué)、電子學(xué)等領(lǐng)域帶來極大的促進(jìn)作用。TB?量級的高速數(shù)字化采樣、高速實(shí)時(shí)數(shù)字信號處理對電子行業(yè)帶來新的挑戰(zhàn)。長期工作在野外惡劣環(huán)境下射頻信號長距離光纖傳輸?shù)念l率同步是孔徑陣列急需解決的技術(shù)挑戰(zhàn)之一。大數(shù)據(jù)長距離的高速寬帶洲際傳輸對目前的科研網(wǎng)絡(luò)基礎(chǔ)設(shè)施、拓?fù)浣Y(jié)構(gòu)、通信協(xié)議、傳輸端軟件等提出了嚴(yán)苛的要求——滿足超高速流式數(shù)據(jù)處理設(shè)計(jì)的互聯(lián)網(wǎng)絡(luò)不是簡單通過增加節(jié)點(diǎn)的互聯(lián)網(wǎng)口數(shù)量和增加節(jié)點(diǎn)間的互聯(lián)總帶寬能實(shí)現(xiàn)的，對這個(gè)問題的有效解決也必將促進(jìn)國內(nèi)百?GB?甚至?TB?級基礎(chǔ)網(wǎng)絡(luò)的布局和建設(shè)。

以數(shù)據(jù)密集型科學(xué)計(jì)算為特點(diǎn)的?SKA?數(shù)據(jù)處理對我國的電子、計(jì)算機(jī)、信號處理行業(yè)提出了更高的要求。SKA?科學(xué)數(shù)據(jù)處理應(yīng)用面臨著“存儲墻”問題，即?I/O?問題，傳輸帶寬是主要的系統(tǒng)瓶頸之一。即使“天河二號”這樣的超算對于?SKA?這類大數(shù)據(jù)的處理資源也會(huì)有不足，同時(shí)不便進(jìn)行突發(fā)事件的觀測分析，因此亟待研究適應(yīng)數(shù)據(jù)密集型科學(xué)計(jì)算的新型架構(gòu)體系。前面講到，SKA?高速海量的輸入數(shù)據(jù)必須通過實(shí)時(shí)處理降低后續(xù)流程的壓力，海量數(shù)據(jù)實(shí)時(shí)處理對軟硬件體系都有特殊設(shè)計(jì)要求，整個(gè)系統(tǒng)的架構(gòu)設(shè)計(jì)和集成安裝、超算中心的執(zhí)行框架和配套軟件算法、數(shù)據(jù)中心的健康監(jiān)控、機(jī)柜冷卻、總控管理等都會(huì)面臨諸多挑戰(zhàn)；而且在建設(shè)經(jīng)費(fèi)封頂?shù)那闆r下，既要達(dá)到預(yù)定的運(yùn)算能力和實(shí)時(shí)性要求，還要從運(yùn)行成本上考慮滿足低功耗的要求。此外海量數(shù)據(jù)的存儲、歸檔、檢索、運(yùn)算對超級計(jì)算機(jī)的完整生態(tài)鏈提出了極高的要求。盡管國產(chǎn)?CPU?芯片已經(jīng)部署在國內(nèi)大型超算中心，國內(nèi)科研單位也研發(fā)了用于人工智能領(lǐng)域的深度學(xué)習(xí)處理器芯片；但不容樂觀的是，目前主流的操作系統(tǒng)、存儲系統(tǒng)等軟件生態(tài)基本全部來自于國外，最關(guān)鍵的軟件生態(tài)環(huán)境依然遠(yuǎn)遠(yuǎn)落后國際水平，尚不具備競爭力，“卡脖子”問題依然嚴(yán)重，自給自足的能力還不夠。SKA?項(xiàng)目為相關(guān)產(chǎn)業(yè)的發(fā)展提出了強(qiáng)烈的需求驅(qū)動(dòng)。

除了硬件方面的問題，天文應(yīng)用軟件的目前研發(fā)水平也遠(yuǎn)遠(yuǎn)無法達(dá)到SKA的要求。SKA科學(xué)數(shù)據(jù)處理的關(guān)鍵算法存在大量對共享資源包括共享文件系統(tǒng)的操作，傳統(tǒng)固定多核的計(jì)算機(jī)系統(tǒng)在多任務(wù)、多并發(fā)、多線程并行執(zhí)行時(shí)經(jīng)常出現(xiàn)資源競爭；如果數(shù)據(jù)流執(zhí)行框架不能有效地妥善解決資源調(diào)度和分配，嚴(yán)重的情況下將導(dǎo)致數(shù)據(jù)處理流水線停頓。實(shí)際上，這一問題在?SKA?先導(dǎo)望遠(yuǎn)鏡數(shù)據(jù)處理中心并不罕見。為此，澳大利亞?ICRAR?研究所和中國科學(xué)院上海天文臺針對?SKA?項(xiàng)目聯(lián)合研發(fā)了名為?Data Activated?流（Liu）Graph Engine（DALiuGE）的數(shù)據(jù)流執(zhí)行框架，其采用了“數(shù)據(jù)驅(qū)動(dòng)”的先進(jìn)設(shè)計(jì)理念，比傳統(tǒng)的?HPC“計(jì)算驅(qū)動(dòng)”的設(shè)計(jì)更適合?SKA?科學(xué)計(jì)算。此外，SKA?科學(xué)計(jì)算的實(shí)際運(yùn)算效率小于原計(jì)劃的?10%，因此其原定理論峰值性能?260 PFlops?無法完成科學(xué)數(shù)據(jù)處理的實(shí)際需求。增加超算資源的簡單做法并不切實(shí)可行，更加可行的途徑是提高軟件執(zhí)行效率——效率從?10%?提高到?20%，可以節(jié)約?50%?的計(jì)算資源以及大幅度降低運(yùn)行成本。天文學(xué)家與計(jì)算機(jī)專家合作優(yōu)化代碼，可以數(shù)倍地提高算法和程序的運(yùn)行速度。當(dāng)務(wù)之急是培養(yǎng)既懂天文又懂計(jì)算的復(fù)合型人才。另一個(gè)現(xiàn)實(shí)的問題，天文數(shù)據(jù)處理的軟件也亟待更新?lián)Q代以滿足未來的需求。目前主要使用的天文軟件大部分在?20?世紀(jì)?70—80?年代研發(fā)，考慮到天文應(yīng)用對高速、實(shí)時(shí)、并行的大數(shù)據(jù)處理需求，天文學(xué)家已經(jīng)開始使用更先進(jìn)、更模塊化、支持并行的開發(fā)語言，如?C++?或者?Python。使用?C++?開發(fā)的?AIPS?軟件的替代版本?CASA?軟件將成為下一代主流射電天文軟件；涉及機(jī)器學(xué)習(xí)、人工智能的程序?qū)⒁?Python?為優(yōu)先選型。天文數(shù)據(jù)處理軟件的研發(fā)與天文研究一樣，已經(jīng)從單打獨(dú)斗模式升級為全球化合作集體作戰(zhàn)，比如發(fā)現(xiàn)引力波的?LIGO?團(tuán)隊(duì)由?1?000?多位科學(xué)家組成，廣泛應(yīng)用于射電天文處理軟件的?CASA?核心庫也有來自全球近百位人員貢獻(xiàn)代碼及算法；航空母艦式的聯(lián)合研究團(tuán)隊(duì)，大兵團(tuán)作戰(zhàn)模式將成為解決重大科學(xué)問題的標(biāo)準(zhǔn)資質(zhì)。

科學(xué)傳播比任何時(shí)候都得到重視，“科技創(chuàng)新、科學(xué)普及是實(shí)現(xiàn)創(chuàng)新發(fā)展的兩翼”。未來?SKA?的天文大數(shù)據(jù)將不僅僅服務(wù)于天文學(xué)家，也將提供面向公眾的接口。以?SKA?為依托，宣傳科研成果、交流學(xué)術(shù)思想、普及科技知識、弘揚(yáng)科學(xué)精神，大力推廣基礎(chǔ)科學(xué)在公眾間的認(rèn)知度，提高科研在公眾的普及度。SKA?區(qū)域中心將通過虛擬天文臺和“云”的方式讓老百姓以更加便捷的方式接觸科學(xué)，在公眾中普及天文學(xué)。