科學(xué)大數(shù)據(jù)智能分析軟件參考方案

筆者所在團(tuán)隊(duì)近年來完成了多個科學(xué)、行業(yè)領(lǐng)域的大數(shù)據(jù)系統(tǒng)研發(fā)，目前正在承擔(dān)中國科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)“地球大數(shù)據(jù)科學(xué)工程”的地球大數(shù)據(jù)挖掘分析系統(tǒng)（Big Earth Data Miner）研發(fā)任務(wù)。通過對多個領(lǐng)域科學(xué)家團(tuán)隊(duì)的大數(shù)據(jù)分析需求進(jìn)行調(diào)研，結(jié)合現(xiàn)狀及趨勢分析，筆者提出下一代科學(xué)大數(shù)據(jù)智能分析軟件的參考方案（圖1）。

該軟件系統(tǒng)基于云平臺部署，采用通用大數(shù)據(jù)系統(tǒng)和機(jī)器學(xué)習(xí)系統(tǒng)作為底層計(jì)算支撐；在此基礎(chǔ)上，提供滿足領(lǐng)域特性需求的科學(xué)大數(shù)據(jù)分布式計(jì)算處理引擎和機(jī)器學(xué)習(xí)引擎，支持科學(xué)大數(shù)據(jù)分析處理的特殊過程。同時，挖掘分析任務(wù)具有數(shù)據(jù)密集型與資源密集型相結(jié)合的特征，也存在即時分析、在線分析以及離線分析等差異明顯的服務(wù)響應(yīng)需求，因此需要探索提供高效的資源管理和任務(wù)調(diào)度機(jī)制，以滿足大規(guī)模并發(fā)用戶的差異化支撐需求。

數(shù)據(jù)資源庫提供公共數(shù)據(jù)資源和個人數(shù)據(jù)資源管理，支持用戶在數(shù)據(jù)資源庫方便快捷地查找、導(dǎo)入個人數(shù)據(jù)資源，并進(jìn)行數(shù)據(jù)共享。算法與模型庫提供通用算法及模型、領(lǐng)域算法及模型管理，支持算法和模型的二次開發(fā)、共享與性能優(yōu)化。其中，針對基于大數(shù)據(jù)訓(xùn)練得到的模型，可探索采用遷移學(xué)習(xí)等技術(shù)實(shí)現(xiàn)跨領(lǐng)域共享。

智能分析環(huán)境提供多種智能分析模式。其中，工作流模式主要面向領(lǐng)域內(nèi)相對固化的分析場景；代碼開發(fā)模式主要面向具有研發(fā)能力和靈活分析需求的科學(xué)家團(tuán)隊(duì)；可視交互式分析模式主要面向依賴可視化觀察分析的應(yīng)用場景。未來還可以擴(kuò)展到虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等更多的分析模式。

該軟件系統(tǒng)通過瀏覽器提供在線的挖掘分析服務(wù)，用戶通過注冊賬戶就可開展一站式的分析工作，在此過程中云服務(wù)需要確保科學(xué)家數(shù)據(jù)安全和用戶分析工作的隔離。此外，需要探索利用微服務(wù)架構(gòu)，實(shí)現(xiàn)面向不同科學(xué)領(lǐng)域需求的領(lǐng)域化定制。

科學(xué)技術(shù)是第一生產(chǎn)力，而科學(xué)大數(shù)據(jù)的智能分析軟件則是科學(xué)研究的重要支撐工具。國內(nèi)科學(xué)家團(tuán)隊(duì)在很多細(xì)分領(lǐng)域都取得了世界矚目的成果，但是并沒有發(fā)布具有世界影響力的開放的智能分析軟件。因此，迫切需要國內(nèi)科學(xué)家團(tuán)隊(duì)與信息技術(shù)研究團(tuán)隊(duì)聯(lián)合起來，瞄準(zhǔn)交叉領(lǐng)域的科學(xué)探索與知識發(fā)現(xiàn)，充分考慮不同領(lǐng)域科學(xué)家團(tuán)隊(duì)的大數(shù)據(jù)分析需求，設(shè)計(jì)研發(fā)出更適用于科學(xué)大數(shù)據(jù)的智能分析軟件系統(tǒng)，為人類科技進(jìn)步貢獻(xiàn)力量。（作者：鐘華 劉杰 王偉 中國科學(xué)院軟件研究所北京?！吨袊茖W(xué)院院刊》供稿）