國(guó)際科技評(píng)價(jià)改革十年評(píng)述
中國(guó)網(wǎng)/中國(guó)發(fā)展門戶網(wǎng)訊 2013年5月,《科研評(píng)價(jià)的舊金山宣言》(以下簡(jiǎn)稱DORA或《舊金山宣言》)正式發(fā)布,旨在解決逐漸興起的“以刊評(píng)文,以文評(píng)人”問(wèn)題。《舊金山宣言》得到國(guó)際科學(xué)共同體廣泛認(rèn)同與反響;以此為旗幟,許多國(guó)際學(xué)術(shù)組織、學(xué)術(shù)年會(huì)、高校與研究機(jī)構(gòu)開(kāi)始討論科技評(píng)價(jià)改革。同時(shí),成立了DORA科技評(píng)價(jià)聯(lián)盟、科技管理國(guó)際聯(lián)盟(INORMS)科技評(píng)價(jià)工作組等新的國(guó)際組織致力于推動(dòng)科技評(píng)價(jià)改革。10年來(lái),國(guó)際科技評(píng)價(jià)改革不斷深入,逐步從理念層面的提倡和討論落實(shí)到眾多科研機(jī)構(gòu)的實(shí)踐探索之中,效果初顯。
筆者曾于2022年發(fā)表過(guò)《科技評(píng)價(jià)改革十年評(píng)述》一文,對(duì)我國(guó)科技評(píng)價(jià)10年改革進(jìn)行過(guò)總結(jié)。認(rèn)為,以“三評(píng)”改革和破“四唯”為代表的我國(guó)科技評(píng)價(jià)改革正處在關(guān)鍵時(shí)刻。雖然目前在清理“四唯”上已取得初步效果,以論文等指標(biāo)進(jìn)行簡(jiǎn)單量化評(píng)價(jià)的現(xiàn)象明顯好轉(zhuǎn)。但是,“立新標(biāo)”還在半路上,特別是科技評(píng)價(jià)改革所要引導(dǎo)的對(duì)卓越的價(jià)值追求還遠(yuǎn)未形成。對(duì)此,如何謀劃下一步科技評(píng)價(jià)改革的目標(biāo)和舉措是迫切需要回答的重要課題。筆者作為國(guó)際科技評(píng)價(jià)組織的任職者和經(jīng)歷者,通過(guò)對(duì)國(guó)際科技評(píng)價(jià)改革10年進(jìn)行系統(tǒng)的梳理、分析和比較,得出相應(yīng)結(jié)論和啟示,以期起到他山之石的效果。
為避免引起歧義,對(duì)文中2個(gè)概念進(jìn)行說(shuō)明:本文中提及的國(guó)內(nèi)、國(guó)際的科技評(píng)價(jià)均指針對(duì)高等學(xué)校、科研機(jī)構(gòu)(含科研資助機(jī)構(gòu))開(kāi)展的以基礎(chǔ)研究為主的科研評(píng)價(jià),包括論文、人才、項(xiàng)目、機(jī)構(gòu)等的評(píng)審評(píng)價(jià),盡管英文一般被稱為“research assessment”或“research evaluation”,但是,為了與國(guó)內(nèi)語(yǔ)境保持一致,本文沿用“科技評(píng)價(jià)”而不是“科研評(píng)價(jià)”。國(guó)際科技評(píng)價(jià)改革主要是指歐洲和北美等地區(qū)的傳統(tǒng)科技強(qiáng)國(guó)主導(dǎo)、目前在國(guó)際上形成較大影響的科技評(píng)價(jià)改革,包括改革目標(biāo)、改革的組織推動(dòng)過(guò)程、改革的基本理念及開(kāi)展的改革實(shí)踐等。
國(guó)際科技評(píng)價(jià)改革要解決什么問(wèn)題?
一般而言,歐洲和北美等傳統(tǒng)科技強(qiáng)國(guó)因?yàn)槠渖詈竦目茖W(xué)文化底蘊(yùn),科學(xué)價(jià)值標(biāo)準(zhǔn)與追求傳統(tǒng)上是不錯(cuò)的。但是,隨著科技自身的發(fā)展及其地位的提升,其科技評(píng)價(jià)也面臨新的問(wèn)題與挑戰(zhàn),必須與時(shí)俱進(jìn)。歸納起來(lái),國(guó)際科技評(píng)價(jià)改革要應(yīng)對(duì)的問(wèn)題或者說(shuō)要達(dá)成的目標(biāo)大致有3個(gè)方面。
避免文獻(xiàn)計(jì)量學(xué)方法在科技評(píng)價(jià)中的不當(dāng)使用。在美國(guó)學(xué)者Garfield提出利用參考文獻(xiàn)追蹤科學(xué)進(jìn)展的引文分析方法后,美國(guó)科學(xué)信息研究所(ISI)于1963年開(kāi)始通過(guò)引文分析篩選期刊,形成科學(xué)引文索引(SCI)數(shù)據(jù)庫(kù),從而為在科研評(píng)價(jià)中應(yīng)用文獻(xiàn)計(jì)量學(xué)方法提供了基礎(chǔ)。文獻(xiàn)計(jì)量學(xué)方法的引入,一方面為科技評(píng)價(jià)提供了證據(jù)支撐;另一方面助推了“以刊評(píng)文”的逐步興起——“發(fā)表在哪兒比發(fā)表什么更重要”,這無(wú)疑對(duì)科研產(chǎn)出的質(zhì)量、完整性和多樣性產(chǎn)生不利影響。如何避免文獻(xiàn)計(jì)量學(xué)方法的不當(dāng)使用,成為國(guó)際科學(xué)共同體面臨的重要挑戰(zhàn)。
重視科學(xué)對(duì)經(jīng)濟(jì)社會(huì)的影響力(impact)評(píng)價(jià)。隨著科技在國(guó)家經(jīng)濟(jì)社會(huì)發(fā)展、國(guó)家安全等方面地位的提升,科技競(jìng)爭(zhēng)愈演愈烈,世界各國(guó)一方面加大科技投入,另一方面也更加關(guān)注科技投入對(duì)本國(guó)創(chuàng)新發(fā)展的效率和效果。原來(lái)科學(xué)投入“只問(wèn)耕耘,不問(wèn)收獲”的線型模型被質(zhì)疑,科學(xué)對(duì)經(jīng)濟(jì)社會(huì)的影響力評(píng)價(jià)逐漸成為科技評(píng)價(jià)的核心內(nèi)容。影響力評(píng)價(jià)的引入帶來(lái)2個(gè)方面的挑戰(zhàn):科學(xué)共同體難以形成共識(shí),很多科研人員不認(rèn)可影響力評(píng)價(jià),認(rèn)為這種邊界模糊、容易自我吹噓的評(píng)價(jià)會(huì)助長(zhǎng)學(xué)術(shù)不端、損害學(xué)術(shù)質(zhì)量。準(zhǔn)確評(píng)價(jià)影響力難度太大,難以找到科學(xué)的指標(biāo)、數(shù)據(jù)來(lái)源與評(píng)價(jià)方法。這2個(gè)問(wèn)題也是國(guó)際科技評(píng)價(jià)界討論的熱點(diǎn)問(wèn)題。
適應(yīng)開(kāi)放科學(xué)、基于人工智能的科學(xué)研究等新范式發(fā)展。以數(shù)據(jù)共享為基礎(chǔ)的開(kāi)放科學(xué)(open science)近年來(lái)在歐美盛行并逐漸影響全球。開(kāi)放科學(xué)運(yùn)動(dòng)興起的同時(shí)要求改革科技評(píng)價(jià)系統(tǒng),以提高公開(kāi)性和透明度。但是,如何將傳統(tǒng)上以個(gè)人創(chuàng)造活動(dòng)為主的科學(xué)研究,轉(zhuǎn)變?yōu)閿?shù)據(jù)共享的、體現(xiàn)大規(guī)模協(xié)作的集體性科研活動(dòng)并非易事,需要各方面共同努力。例如,聯(lián)合國(guó)教育、科學(xué)及文化組織(UNESCO)提出了關(guān)于開(kāi)放科學(xué)的建議,其中包括為其成員開(kāi)發(fā)的“開(kāi)放科學(xué)工具包”,幫助他們審查和改革科研職業(yè)生涯的評(píng)估標(biāo)準(zhǔn)。人工智能的迅猛發(fā)展也將對(duì)科技評(píng)價(jià)產(chǎn)生深遠(yuǎn)影響,“人工智能驅(qū)動(dòng)的科學(xué)研究”(AI for Science,簡(jiǎn)稱AI4S)成為新的科學(xué)范式。各國(guó)都致力于搶占這一范式制高點(diǎn),也需要通過(guò)科技評(píng)價(jià)予以激勵(lì)和引導(dǎo)。同時(shí),AI4S在促進(jìn)科技發(fā)展、減輕科學(xué)家負(fù)擔(dān)的同時(shí),可能強(qiáng)化數(shù)據(jù)預(yù)測(cè)技術(shù)而帶來(lái)風(fēng)險(xiǎn)與偏見(jiàn),也對(duì)改革科技評(píng)價(jià)提出了新挑戰(zhàn)。不過(guò),在這方面目前雖然有較多提及,但目前還沒(méi)有成為10年來(lái)國(guó)際科技評(píng)價(jià)改革的重點(diǎn)。
就以上3個(gè)方面而言,這次國(guó)際科技評(píng)價(jià)改革要解決的緊迫問(wèn)題或者說(shuō)核心目標(biāo)是前2個(gè)方面,即文獻(xiàn)計(jì)量學(xué)方法不當(dāng)使用,以及影響力評(píng)價(jià)。這與我國(guó)是相似的,第1個(gè)問(wèn)題即文獻(xiàn)計(jì)量學(xué)方法不當(dāng)使用方面的挑戰(zhàn)在我國(guó)尤其嚴(yán)峻。這是因?yàn)椋啾扔趥鹘y(tǒng)科技強(qiáng)國(guó),由于科學(xué)文化薄弱、人情因素過(guò)多等原因,我國(guó)的同行評(píng)議系統(tǒng)還不夠健全,這導(dǎo)致科技評(píng)價(jià)中對(duì)論文發(fā)表的刊物的影響因子、論文自身的引用量及論文數(shù)量等量化指標(biāo)更加倚重。第2個(gè)問(wèn)題即如何推動(dòng)影響力評(píng)價(jià)跟我國(guó)正在推動(dòng)的科技成果“五元價(jià)值”評(píng)價(jià)是相似的。但是,我國(guó)破“四唯”中的獎(jiǎng)項(xiàng)、學(xué)歷、職稱、人才“帽子”等,更多是我國(guó)特色,對(duì)于一些傳統(tǒng)科學(xué)強(qiáng)國(guó)而言這些基礎(chǔ)性問(wèn)題并不顯著。
國(guó)際科技評(píng)價(jià)改革采取了什么舉措?
國(guó)際科技評(píng)價(jià)改革的若干重要舉措
從路徑來(lái)看,國(guó)際科技評(píng)價(jià)改革由科學(xué)共同體主導(dǎo),主要采用自下而上方式開(kāi)展。國(guó)際科技評(píng)價(jià)改革啟動(dòng)的標(biāo)志性事件是2013年5月《舊金山宣言》的發(fā)布。該宣言的初稿是相關(guān)學(xué)者和編輯在2012年末舊金山召開(kāi)的美國(guó)細(xì)胞生物學(xué)學(xué)會(huì)(ASCB)年會(huì)期間,針對(duì)期刊影響因子在科技評(píng)價(jià)中不當(dāng)使用的弊端所提出的。《舊金山宣言》發(fā)布后,許多國(guó)際學(xué)術(shù)組織、學(xué)術(shù)年會(huì)、高校與研究機(jī)構(gòu)紛紛跟進(jìn),并成立了DORA科技評(píng)價(jià)聯(lián)盟等新的國(guó)際組織共同致力于推動(dòng)科技評(píng)價(jià)改革。2023年5月,包括中國(guó)在內(nèi)的全球許多國(guó)家分別舉行了《舊金山宣言》發(fā)布10周年紀(jì)念活動(dòng)。
10年來(lái),國(guó)際科學(xué)共同體在推動(dòng)科技評(píng)價(jià)改革上做了大量形式多樣的工作,包括發(fā)布宣言、倡議、聲明;組織學(xué)術(shù)年會(huì)交流、專題研討、項(xiàng)目研究;形成研究專報(bào)、科技評(píng)價(jià)方法框架、好的評(píng)價(jià)案例、科技評(píng)價(jià)試點(diǎn)協(xié)定等。本文梳理了其中14項(xiàng)比較重大的舉措(表1)。
國(guó)際科技評(píng)價(jià)改革的主要效果
在全球范圍內(nèi)形成科技評(píng)價(jià)改革共識(shí)。截至2024年1月4日,已有3078個(gè)組織和21339名個(gè)人簽署了《舊金山宣言》,其中包括來(lái)自中國(guó)的15家機(jī)構(gòu)。2022年,“推進(jìn)科研評(píng)價(jià)聯(lián)盟”(CoARA)正式成立,并發(fā)布了《改革科研評(píng)價(jià)的協(xié)定》,來(lái)自40多個(gè)國(guó)家的350多個(gè)組織簽署了協(xié)定。科技評(píng)價(jià)改革日益在全球范圍內(nèi)形成共識(shí)。
經(jīng)過(guò)科學(xué)共同體各方力量共同努力,科技評(píng)價(jià)改革的“圖譜”逐漸清晰化。比如,《舊金山宣言》提出破除“以刊評(píng)文”;《萊頓宣言》進(jìn)一步提出要糾偏“量化評(píng)價(jià)”;《量化指標(biāo)潮流》報(bào)告進(jìn)一步明確量化評(píng)價(jià)的作用及規(guī)范;SCOPE框架定義負(fù)責(zé)任評(píng)價(jià)的過(guò)程等。不同的學(xué)術(shù)組織針對(duì)不同問(wèn)題提出科技評(píng)革的不同方面,拼湊成一個(gè)比較完整的“圖譜”。最后,這張改革“圖譜”被冠以“負(fù)責(zé)任科研的評(píng)價(jià)”(responsible research assessment)的標(biāo)識(shí),逐步成為科技界的共同用語(yǔ)。
科技評(píng)價(jià)改革正在從理念層面走向?qū)嵺`。目前,簽署《舊金山宣言》的3000個(gè)多組織正在或者已經(jīng)落實(shí)避免“以刊評(píng)文”要求。簽署《改革科研評(píng)價(jià)的協(xié)定》的300多個(gè)組織(包括資助機(jī)構(gòu)、高校和科研機(jī)構(gòu))正在進(jìn)行科技評(píng)價(jià)改革試點(diǎn),并且經(jīng)常組織各種形式的試點(diǎn)經(jīng)驗(yàn)交流。
形成了關(guān)于科技評(píng)價(jià)的一些基本判斷。包括對(duì)科技評(píng)價(jià)正、反兩方面作用,定量評(píng)價(jià)與定性評(píng)價(jià)之間的關(guān)系,啟動(dòng)評(píng)價(jià)的前提條件,以及提升評(píng)價(jià)數(shù)據(jù)質(zhì)量的技術(shù)等。這些理性認(rèn)識(shí)對(duì)我國(guó)有重要啟示意義。
國(guó)際上的“三評(píng)”改革實(shí)踐案例
如前文所述,國(guó)際科技評(píng)價(jià)改革正在從理念層面走向?qū)嵺`,以下進(jìn)行實(shí)踐案例分析。鑒于我國(guó)當(dāng)前科技評(píng)價(jià)源于國(guó)家“三評(píng)”改革文件,在此也分別選擇人才評(píng)價(jià)、項(xiàng)目評(píng)審和機(jī)構(gòu)評(píng)估3個(gè)方面的案例進(jìn)行分析。
比利時(shí)根特大學(xué)人才評(píng)價(jià)改革
比利時(shí)根特大學(xué)(Ghent University)較早注意到基于文獻(xiàn)計(jì)量學(xué)方法的定量評(píng)價(jià)對(duì)研究文化帶來(lái)的系統(tǒng)性損害,認(rèn)為定量評(píng)價(jià)助長(zhǎng)了“發(fā)表在哪兒比發(fā)表什么更重要”的文化。2013年發(fā)布后,根特大學(xué)簽署了《舊金山宣言》。之后,又簽署了《改革科研評(píng)價(jià)的協(xié)定》。隨之著手對(duì)科教人員晉升評(píng)價(jià)等人才評(píng)價(jià)進(jìn)行改革,以維護(hù)根特大學(xué)一貫倡導(dǎo)的多元化文化,同時(shí)消除教師對(duì)量化評(píng)價(jià)越來(lái)越大的不滿,力圖創(chuàng)建一個(gè)強(qiáng)調(diào)追求卓越研究的共同價(jià)值觀、富有挑戰(zhàn)性、高質(zhì)量且具激勵(lì)性的職業(yè)框架。
在學(xué)校管理層和科教人員的共同努力下,2016年11月,根特大學(xué)發(fā)布了《根特大學(xué)評(píng)價(jià)研究愿景聲明》,提出科研評(píng)價(jià)必須遵守8項(xiàng)原則。2017年進(jìn)一步公布了科研評(píng)價(jià)中定量指標(biāo)的使用指南。根據(jù)這2項(xiàng)政策,2018年根特大學(xué)建立了一種全新的教師評(píng)價(jià)和晉升模式,重新將“責(zé)任”和學(xué)術(shù)自由還給教授級(jí)教職員。根據(jù)新的評(píng)價(jià)體系,根特大學(xué)對(duì)教師的評(píng)價(jià)不再只看科研產(chǎn)出,而會(huì)從更加定性、綜合且以人為本的視角進(jìn)行評(píng)價(jià)。評(píng)價(jià)以5年為周期,包括初期的證據(jù)性評(píng)價(jià)、中期反饋訪談和末期的訪談式評(píng)價(jià)。評(píng)價(jià)內(nèi)容包括在研究、教學(xué)、社會(huì)參與度、管理和領(lǐng)導(dǎo)力方面最重要成就的敘述性展示(而非使用可衡量的定量標(biāo)準(zhǔn)),以及未來(lái)5年的意向規(guī)劃。
美國(guó)國(guó)立衛(wèi)生研究院(NIH)項(xiàng)目評(píng)審改革
美國(guó)國(guó)立衛(wèi)生研究院(NIH)是美國(guó)最主要的醫(yī)學(xué)研究和資助機(jī)構(gòu),每年都會(huì)資助大量新項(xiàng)目以推動(dòng)相關(guān)領(lǐng)域的發(fā)展。NIH在簽署了《舊金山宣言》后,著手進(jìn)行項(xiàng)目評(píng)審改革,以消除已有評(píng)審中存在的量化問(wèn)題與偏見(jiàn),同時(shí)適應(yīng)開(kāi)放科學(xué)的發(fā)展。改革主要包括3個(gè)方面。
修改評(píng)審規(guī)則。新規(guī)則要求對(duì)于研究者和研究環(huán)境的評(píng)估必須放在研究項(xiàng)目的背景下來(lái)考慮而不是像之前被單獨(dú)評(píng)分。無(wú)論是人員還是機(jī)構(gòu),評(píng)審標(biāo)準(zhǔn)不再是“越強(qiáng)越好”而是“能勝任即可”;如果評(píng)審專家認(rèn)為人員或機(jī)構(gòu)能力不足,則需要給出具體說(shuō)明。新標(biāo)準(zhǔn)的“夠用”原則試圖盡量解決聲望偏見(jiàn),將關(guān)注點(diǎn)更多地放在研究課題本身上面而非機(jī)構(gòu)聲譽(yù)。
修改項(xiàng)目申請(qǐng)所用的簡(jiǎn)歷格式或“專家介紹”。在專家介紹中添加小段篇幅,由申請(qǐng)人簡(jiǎn)要描述其最重要的科學(xué)成就,以轉(zhuǎn)移項(xiàng)目評(píng)審專家對(duì)以往研究論文發(fā)表期刊的關(guān)注度。
出臺(tái)數(shù)據(jù)管理和共享新政策。自2023年1月起,要求每年受NIH資助的30萬(wàn)名研究人員和2500個(gè)機(jī)構(gòu)中的大多數(shù)在其撥款申請(qǐng)中闡明數(shù)據(jù)管理和共享(DMS)計(jì)劃。DMS計(jì)劃中應(yīng)包括分析數(shù)據(jù)所需的軟件或工具的細(xì)節(jié)、何時(shí)何地公布原始數(shù)據(jù),以及訪問(wèn)或分發(fā)該數(shù)據(jù)的任何特殊考慮,并對(duì)數(shù)據(jù)共享的任何限制或例外情況說(shuō)明理由,以促進(jìn)開(kāi)放科學(xué)發(fā)展。
英國(guó)大學(xué)評(píng)價(jià)改革
2014年,英國(guó)對(duì)原有大學(xué)科研評(píng)估考核(RAE)體系進(jìn)行較大幅度改革,形成新的科研卓越框架(REF)。相較于以往的評(píng)估體系RAE,REF最大的改革亮點(diǎn)在于:引入了文獻(xiàn)計(jì)量學(xué)評(píng)價(jià)指標(biāo),為同行評(píng)議提供參考;探索了影響力評(píng)價(jià)方法,以展示英國(guó)大學(xué)研究對(duì)社會(huì)的真正影響,強(qiáng)調(diào)科學(xué)研究給現(xiàn)實(shí)世界帶來(lái)的利益。由于影響力評(píng)價(jià)難度較大,英國(guó)為此進(jìn)行專門研究,開(kāi)發(fā)了針對(duì)不同類型學(xué)科科研成果的影響力指標(biāo)。
2014實(shí)施的REF(REF 2014),在實(shí)現(xiàn)以評(píng)估結(jié)果對(duì)大學(xué)進(jìn)行資源配置的同時(shí),也不可避免地將競(jìng)爭(zhēng)壓力通過(guò)大學(xué)傳導(dǎo)至基層學(xué)術(shù)組織,特別是定量指標(biāo)的引入加劇了對(duì)教師個(gè)人科研行為的影響。2015年,受英國(guó)高等教育基金委員會(huì)委托,以James Wilsdon教授為首的研究組對(duì)定量指標(biāo)在REF中的作用進(jìn)行了獨(dú)立評(píng)估。為此,研究組啟動(dòng)了負(fù)責(zé)任評(píng)價(jià)指標(biāo)專題論壇,重點(diǎn)關(guān)注與討論在科技評(píng)價(jià)中如何用好定量指標(biāo)的問(wèn)題。最后,研究組發(fā)布了題為《量化指標(biāo)潮流》的研究報(bào)告,對(duì)使用定量指標(biāo)給出了肯定判斷并提出改進(jìn)建議。
2022年,英國(guó)REF的領(lǐng)導(dǎo)機(jī)構(gòu)——英格蘭研究院(Research England)簽署了《改革科研評(píng)價(jià)的協(xié)定》,要對(duì)REF繼續(xù)進(jìn)行改革,旨在整個(gè)高校科研生態(tài)系統(tǒng)重新建立起一種負(fù)責(zé)任、包容、多樣的科研文化。由此,英國(guó)啟動(dòng)了“未來(lái)科研評(píng)價(jià)計(jì)劃”,旨在對(duì)剛實(shí)施完畢不久的REF 2021未來(lái)變革方案進(jìn)行更深入研究。根據(jù)2023年6月發(fā)布的新一輪頂層設(shè)計(jì)方案,REF 2028的政策重心將從“科研績(jī)效激勵(lì)”調(diào)整為“科研文化建設(shè)”,并且全面重塑科研環(huán)境、科研成果和科研影響3個(gè)評(píng)價(jià)維度,以提升高校對(duì)建設(shè)健康科研文化的重視程度。
國(guó)際上“三評(píng)”改革實(shí)踐的主要經(jīng)驗(yàn)
理論與實(shí)踐結(jié)合。試點(diǎn)機(jī)構(gòu)充分利用科技評(píng)價(jià)10年改革期間國(guó)際科學(xué)共同體構(gòu)建的一系列理論和方法體系指導(dǎo)實(shí)踐,理論與實(shí)踐緊密結(jié)合。
保持與其他試點(diǎn)機(jī)構(gòu)的交流共享。試點(diǎn)機(jī)構(gòu)一般會(huì)簽署《舊金山宣言》和《改革科研評(píng)價(jià)的協(xié)定》,置身于試點(diǎn)集體之中,與科技評(píng)價(jià)研究的學(xué)者以及其他試點(diǎn)機(jī)構(gòu)保持互動(dòng)交流。
在評(píng)價(jià)方法上保持不斷創(chuàng)新和完善,而不奢望一蹴而就。例如,REF自2008年提出引入科研影響力評(píng)價(jià),期間花費(fèi)了大量的人力和時(shí)間研究開(kāi)發(fā)影響力的內(nèi)涵、評(píng)價(jià)標(biāo)準(zhǔn)、評(píng)價(jià)方法、專家手冊(cè)等,直至2014年才應(yīng)用于實(shí)際評(píng)價(jià)之中,而且現(xiàn)在依然在研究和完善之中。
試點(diǎn)機(jī)構(gòu)體現(xiàn)了充分的改革自主性。各機(jī)構(gòu)響應(yīng)國(guó)際科學(xué)共同體的倡議啟動(dòng)改革,是出于自身在理念上的認(rèn)同和實(shí)際需求,完全是自主的,而不是源自政府行政要求。
結(jié)論與啟示
結(jié)論
國(guó)際科技評(píng)價(jià)10年改革值得總結(jié)的內(nèi)容很多,本文主要從與我國(guó)科技評(píng)價(jià)改革比較角度,得出3個(gè)方面結(jié)論。
國(guó)際科技評(píng)價(jià)改革目標(biāo)與我國(guó)相似。本次國(guó)際科技評(píng)價(jià)改革的核心目標(biāo)有2個(gè):破“以刊評(píng)文”,這與我國(guó)破“四唯”之中破“唯論文”的導(dǎo)向是一致的;立對(duì)經(jīng)濟(jì)和社會(huì)貢獻(xiàn)的“影響力”評(píng)價(jià),這與我國(guó)強(qiáng)調(diào)科技成果的五元價(jià)值是一致的。但是,我國(guó)破“四唯”中破獎(jiǎng)項(xiàng)、學(xué)歷、職稱、人才“帽子”等,主要是我國(guó)特色。對(duì)于國(guó)際上的傳統(tǒng)科學(xué)強(qiáng)國(guó)而言,科技獎(jiǎng)項(xiàng)、人才“帽子”等基礎(chǔ)性評(píng)價(jià)問(wèn)題并不明顯。
國(guó)際科技評(píng)價(jià)改革路徑與我國(guó)差異較大。國(guó)際科技評(píng)價(jià)改革主要由科學(xué)共同體主導(dǎo),采用自下而上的方法,通過(guò)科學(xué)共同體發(fā)布宣言、倡議、評(píng)價(jià)方法體系、簽署承諾協(xié)議、實(shí)踐案例總結(jié)與分享等方式推動(dòng),政府很少直接介入。相反,我國(guó)更多采用自上而下方法,政府在科技評(píng)價(jià)改革中發(fā)揮主導(dǎo)作用,通過(guò)發(fā)布改革的政策文件和要求推動(dòng)改革,科學(xué)共同體的作用發(fā)揮有限。
國(guó)際科技評(píng)價(jià)10年改革經(jīng)驗(yàn)值得借鑒。與自上而下的我國(guó)科技評(píng)價(jià)改革執(zhí)行力強(qiáng)的特點(diǎn)不同,國(guó)際科技評(píng)價(jià)改革更加關(guān)注對(duì)科技評(píng)價(jià)規(guī)律的認(rèn)識(shí)。由此,國(guó)際科技評(píng)價(jià)改革達(dá)成了比較系統(tǒng)的共識(shí),值得借鑒。當(dāng)然,國(guó)際科技評(píng)價(jià)改革所形成的許多共識(shí)跟我國(guó)在實(shí)踐中秉持的理念是相似的,有些甚至有異曲同工之妙。國(guó)際科技評(píng)價(jià)改革的共識(shí)包括:《舊金山宣言》提出的關(guān)注論文本身而不是期刊的倡議及對(duì)不同主體做法上的建議、《萊頓宣言》提出的關(guān)于合理使用定量評(píng)價(jià)的倡議、INORMS科技評(píng)價(jià)工作組提出的SCOPE方法,以及英國(guó)REF評(píng)估形成的影響力評(píng)價(jià)方法等。其中部分核心觀點(diǎn)值得特別提及:科技評(píng)價(jià)是管理的需要,也是一把“雙刃劍”,沒(méi)有充足理由和充分準(zhǔn)備不要輕易啟動(dòng)科技評(píng)價(jià)。科技評(píng)價(jià)離不開(kāi)同行評(píng)議,難以通過(guò)簡(jiǎn)單量化方法評(píng)價(jià)。但是,量化方法如果使用得當(dāng),能夠有效提升同行評(píng)議質(zhì)量。量化方法有好壞之分,在實(shí)際評(píng)價(jià)中需要辨別與選擇好的量化方法,如學(xué)科規(guī)范化引文影響力(CNCI)指標(biāo);避免使用不好的量化方法,如期刊影響因子。需要關(guān)注支撐定量評(píng)價(jià)的數(shù)據(jù)質(zhì)量及其來(lái)源的可靠性,沒(méi)有數(shù)據(jù)質(zhì)量及其來(lái)源可靠性保障,光是指標(biāo)好看沒(méi)有用。通過(guò)使用唯一標(biāo)識(shí)符(如ORCID),將科研產(chǎn)出、參與的科研活動(dòng)等與科研人員綁定,在保證定量評(píng)價(jià)數(shù)據(jù)質(zhì)量的基礎(chǔ)上方便查尋獲取,已經(jīng)成為國(guó)際科學(xué)共同體越來(lái)越普遍的做法。
啟示
以上通過(guò)中外比較得出的結(jié)論,對(duì)我國(guó)科技評(píng)價(jià)改革有許多啟示,本文重點(diǎn)論述4個(gè)方面的啟示。
分類分步破“唯”。評(píng)價(jià)改革要明確責(zé)任主體和先后次序。目前我國(guó)的“四唯”中,“唯”要分類分步而破。① 嚴(yán)重性不同。“唯論文”“唯獎(jiǎng)項(xiàng)”“唯帽子”比較嚴(yán)重需要重點(diǎn)關(guān)注,“唯學(xué)歷”和“唯職稱”也是問(wèn)題但影響面較小。② 責(zé)任主體不同。“唯論文”的責(zé)任主體主要在科學(xué)共同體,這和國(guó)際科技評(píng)價(jià)改革一致;“唯獎(jiǎng)項(xiàng)”“唯帽子”責(zé)任主體主要在政府,國(guó)際科技評(píng)價(jià)改革沒(méi)有這方面的問(wèn)題。這2個(gè)責(zé)任主體的問(wèn)題是交互作用的,但是,有先后次序。“唯獎(jiǎng)項(xiàng)”“唯帽子”本質(zhì)是獎(jiǎng)項(xiàng)和“帽子”過(guò)多,需要政府做減法,為科學(xué)共同體破“唯論文”、安心產(chǎn)出原創(chuàng)成果提供基礎(chǔ)性管理制度保障。“唯論文”則需要借鑒國(guó)際科技評(píng)價(jià)改革經(jīng)驗(yàn),更好地發(fā)揮科學(xué)共同體自下而上改革的主動(dòng)性,形成先行先試、敢為天下先的局面。
慎重啟動(dòng)評(píng)價(jià)。評(píng)價(jià)是一把“雙刃劍”,國(guó)際科技評(píng)價(jià)改革提倡不要輕易啟動(dòng)科技評(píng)價(jià),這與我國(guó)科技評(píng)價(jià)改革節(jié)奏有相通之處。事實(shí)上,在破“唯”之前,我國(guó)首先開(kāi)展的是“減量”改革,要求各單位清理過(guò)多過(guò)頻、重復(fù)交叉的評(píng)價(jià)。但是,近年來(lái)減量風(fēng)頭過(guò)去后,評(píng)價(jià)沖動(dòng)又有釋放苗頭;加上國(guó)家新出臺(tái)的“全面實(shí)施預(yù)算績(jī)效管理”的要求在落實(shí)中還沒(méi)有和原有科技評(píng)價(jià)協(xié)調(diào)好,評(píng)價(jià)頻次又多起來(lái)了。對(duì)此,需要通過(guò)建立對(duì)評(píng)價(jià)進(jìn)行評(píng)價(jià)的機(jī)制約束評(píng)價(jià)沖動(dòng)、規(guī)范評(píng)價(jià)制度和方法,而不僅僅停留于開(kāi)展減量改革的階段性運(yùn)動(dòng)。
用好量化評(píng)價(jià)。作為同行評(píng)議的輔助方法,量化評(píng)價(jià)在本次國(guó)際科技評(píng)價(jià)改革中得到了重點(diǎn)關(guān)注,形成了較多共識(shí)。鑒于我國(guó)過(guò)去量化評(píng)價(jià)過(guò)于極端,在這次破“四唯”改革中,有一派觀點(diǎn)主張完全放棄定量評(píng)價(jià),回歸同行評(píng)議。結(jié)合我國(guó)國(guó)情,這是不可取的。筆者曾經(jīng)提出定量、定性相結(jié)合的BRIDGE理論,主張通過(guò)表單化方法將數(shù)據(jù)材料和證據(jù)的隱性知識(shí)顯性化,從而對(duì)同行評(píng)議起到支撐和約束作用。這一方面是將我國(guó)已有量化評(píng)價(jià)探索做到物盡其用,另一方面可能在定量定性結(jié)合的評(píng)價(jià)方法上形成改革突破,并為國(guó)際科技評(píng)價(jià)改革作出中國(guó)貢獻(xiàn)。
積極融入國(guó)際科技評(píng)價(jià)改革。目前,我國(guó)簽署《舊金山宣言》的科研機(jī)構(gòu)、高校和科學(xué)家個(gè)人還比較少,與我國(guó)龐大的科學(xué)共體還不相稱。同時(shí),我國(guó)還沒(méi)有科研機(jī)構(gòu)和高校加入國(guó)際《改革科研評(píng)價(jià)的協(xié)定》之中。這種情況與我國(guó)作為后發(fā)國(guó)家還存在一個(gè)逐步融入國(guó)際科學(xué)共同體的過(guò)程有關(guān),也與我國(guó)科技評(píng)價(jià)改革由政府主導(dǎo)的特點(diǎn)有關(guān),甚至近幾年的疫情也有較大影響。作為國(guó)際科學(xué)共同體的一部分,我國(guó)應(yīng)該更加積極地融入國(guó)際科技評(píng)價(jià)改革。通過(guò)與國(guó)際科學(xué)共同體相互借鑒和促進(jìn),一方面可以更好地激發(fā)我國(guó)科學(xué)共同體在科技評(píng)價(jià)改革上的主動(dòng)性,另一方面可以增加科學(xué)共同體之間的理解與信任,從而有利于加強(qiáng)全方位國(guó)際科技合作的紐帶。
(作者:徐芳、李曉軒,中國(guó)科學(xué)院科技戰(zhàn)略咨詢研究院中國(guó)科學(xué)院大學(xué)公共政策與管理學(xué)院 中國(guó)科學(xué)學(xué)與科技政策研究會(huì)科技管理與評(píng)價(jià)專委會(huì)。《中國(guó)科學(xué)院院刊》供稿)