Ushma Neill是紀(jì)念斯隆—凱特琳癌癥中心（MSKCC）科學(xué)教育與培訓(xùn)部門的副主席，她提出，決定頂級科研機構(gòu)做出雇傭和晉升，以及資金支持決議的一個問題是：“候選人是否將會到達其所在領(lǐng)域的最前沿？”她表示，最重要的一點是這些科研組織需要能夠促進科學(xué)向前發(fā)展的成員。她說，一般而言，評估候選人潛力的方法，通常在很大程度上是出于“直覺”，但這種情況正在發(fā)生改變。
對學(xué)科的影響仍然主要是通過發(fā)表作品來衡量。盡管高校不會為雇傭或者晉升設(shè)置發(fā)表作品數(shù)量，因為嚴(yán)格數(shù)量的限制并不能反映出作者的學(xué)術(shù)貢獻，也無法反映出發(fā)表作品是研究綜述還是原創(chuàng)發(fā)現(xiàn)。另外，不同領(lǐng)域因其工作形式不同也無法一概而論。有些領(lǐng)域看重同行評議和會議論文，有些則強調(diào)書籍和專著。非正式研討會議會提出每年目標(biāo)，比如博士后人員發(fā)表幾份，而正式成員要發(fā)表五份或者更多。然而，Neill指出，質(zhì)量遠遠要比數(shù)量更重要。一項綜合的、被廣泛征引的研究比起從一個單獨項目中摘下多篇次要文章更有價值。
丹麥哥本哈根大學(xué)理學(xué)院負(fù)責(zé)科研工作的副院長Morten Pejrup說，學(xué)術(shù)影響力還通過顧問和同行推薦以及研究、指導(dǎo)和教學(xué)獎項來衡量。但他說，這些“老派的方法”可以輔之以新的工具。
超越傳統(tǒng)衡量方法
在對求職者進行評估時，Pejrup會檢查Scopus，這是一個經(jīng)過同行評議的期刊文章、著作和會議記錄組成的訂閱數(shù)據(jù)庫系統(tǒng)。“你可以看到引用、期刊影響因子以及作者的排序，”他說。“但你也可以看到，一個人是否總是與相同的人一起出版，或者是否為不同的群體做出過貢獻”。諸如Scopus或web of Science之類的出版物數(shù)據(jù)庫可以包括“h因子”和“m因子”等文獻統(tǒng)計學(xué)工具，這些工具結(jié)合了出版物和引用數(shù)量的測計方法來表征影響力大小。
哥本哈根大學(xué)理學(xué)院的高級執(zhí)行顧問Trine Buhl Monty指出，衡量學(xué)術(shù)成果的趨勢在一定程度上是由資助者推動的。例如，英國最近制定完成了《2014年科學(xué)研究卓越框架》（REF 2014），該決議旨在推進大學(xué)的研究質(zhì)量及其對經(jīng)濟和社會的影響。除此之外，此項決議還有影響科研資金支持的功能。Buhl Monty說，“地平線2020”（Horizon 2020）是歐盟最大的研究和創(chuàng)新資助項目，它強調(diào)與部門間伙伴合作關(guān)系以及開放科學(xué)相關(guān)的影響，以確保項目結(jié)束后仍會繼續(xù)發(fā)揮影響力。作為回應(yīng)，一些教師現(xiàn)在將產(chǎn)學(xué)研協(xié)作、開放獲取發(fā)表作品和開源軟件歸入“科研成果”。
華盛頓大學(xué)圣路易斯醫(yī)學(xué)院的圖書管理員Cathy Sarli專門從事科研影響力評估工作。除了出版物、引用量以及期刊影響因素（以兩年內(nèi)被引用于某一給定期刊所發(fā)表文章中的平均次數(shù)為計）之外，她的研究涉及多樣化評估。她說，影響因素是在20世紀(jì)中期發(fā)展起來的，用來比較同行評議的期刊，而不是個別的研究者。“相關(guān)組織正在超越傳統(tǒng)的原始數(shù)據(jù)，”她說。“他們正在利用其他指標(biāo)，開發(fā)自己的資源。”
一個例子是相對引文率（RCR），它是由美國國立衛(wèi)生研究院（NIH）最近開發(fā)的，用來衡量一篇文章的影響力。今年，NIH公布了計算這個指標(biāo)的免費工具iCite。相對引文率可作為與同一領(lǐng)域其他論文進行比較的指標(biāo)。這樣就可以在具有不同專業(yè)的科學(xué)家之間進行比較，這種比較在分配內(nèi)部資源、任命主席和領(lǐng)導(dǎo)職位以及提供資金時，往往是必要的。這些決定可能需要比較“蘋果和橘子，有時是蘋果和西葫蘆，”Neill說。
2015年，Neill和紀(jì)念斯隆—凱特琳癌癥中心的兩位同事發(fā)表了他們的方法，利用來自Scopus和其他來源的數(shù)據(jù)，對不同領(lǐng)域和不同階段的研究人員進行考量。她解釋說，“我們希望創(chuàng)造一個公平的競爭環(huán)境，用來比較諸如結(jié)構(gòu)生物學(xué)家和外科醫(yī)生的生產(chǎn)力和影響力。”Neill指出了另一個追蹤學(xué)術(shù)生產(chǎn)力的潮流引導(dǎo)者：紐約大學(xué)Langone醫(yī)學(xué)中心。
研發(fā)儀表板和數(shù)據(jù)集系統(tǒng)
紐約大學(xué)Langone醫(yī)學(xué)中心用以追蹤學(xué)術(shù)及臨床績效的儀表板系統(tǒng)開始于2007年任命Robert Grossman為院長兼CEO。Grossman想要標(biāo)準(zhǔn)化的報告來指導(dǎo)戰(zhàn)略決策。紐約大學(xué)Langone醫(yī)學(xué)中心的信息技術(shù)團隊構(gòu)建了一個系統(tǒng)，該系統(tǒng)可以顯示來自整個組織的數(shù)據(jù)。圖形顯示了臨床評估、科研績效、教學(xué)統(tǒng)計數(shù)據(jù)以及資金支持情況。負(fù)責(zé)科研實體及戰(zhàn)略的副總裁Laura Ahlborn表示，對于衡量基礎(chǔ)研究，儀表板系統(tǒng)提供四個方面的指標(biāo)：資助、出版物、創(chuàng)新(如專利)和效率(例如，每位全職員工的生產(chǎn)率)。管理者使用儀表板來跟蹤各部門的業(yè)績，以及每一位成員。
“我們使用儀表板指標(biāo)來制定戰(zhàn)略決策，確定我們的優(yōu)勢和劣勢，并指導(dǎo)我們把時間和資源投入何處，”紐約大學(xué)Langone醫(yī)學(xué)中心負(fù)責(zé)科學(xué)研究工作的高級副主席兼副院長、該中心的首席科學(xué)官Dafna Bar-Sagi表示。“儀表板顯示出一段時間內(nèi)的表現(xiàn)，所以它對監(jiān)測教師的職業(yè)軌跡也很有用，并可據(jù)此向他們提供建議。”
Ahlborn和Bar-Sagi強調(diào)儀表板系統(tǒng)是與人的判斷力結(jié)合使用的。“學(xué)術(shù)上的努力不能嚴(yán)格地以數(shù)字來衡量，”Bar-Sagi說。“因此，儀表板系統(tǒng)是成員和領(lǐng)導(dǎo)之間進行持續(xù)交流的諸種要素之一。”
兩人都表示，人們對衡量學(xué)術(shù)影響力的工具很感興趣，而且他們經(jīng)常劃定范圍要求提供有關(guān)儀表板系統(tǒng)的信息。毋庸置疑，這需要做大量工作。設(shè)置儀表板系統(tǒng)需要對基礎(chǔ)結(jié)構(gòu)進行初始投資，并就收集哪些數(shù)據(jù)以及系統(tǒng)如何相互通信作出決定。儀表板不斷更新，包括添加“相對引文率”作為衡量指標(biāo)。Ahlborn說，開發(fā)和維護這個資源是可行的，因為紐約大學(xué)Langone醫(yī)學(xué)中心擁有一種量化、精確、數(shù)據(jù)驅(qū)動的決策文化。
追蹤受訓(xùn)人員
從2006年開始，丹麥政府決定增加投入以擴大其大學(xué)博士生的招收。學(xué)校使用了增長數(shù)據(jù)（其中大部分是自生成報告數(shù)據(jù)）來追蹤他們的畢業(yè)生是如何在教育、研究、政府和其他部門找到工作的。鑒于公眾對利用納稅人的資金讓非丹麥人接受教育的關(guān)注，這些大學(xué)還要知道國際學(xué)生去了哪里，以及他們得到了什么工作。
“我們必須透明，向決策者和納稅人展示我們正在生產(chǎn)的產(chǎn)品，”Pejrup說。“理科占了大學(xué)預(yù)算的40%。”Pejrup的部門現(xiàn)在已經(jīng)編制了兩份實質(zhì)性報告，其中載有關(guān)于碩士和博士畢業(yè)生的縱向數(shù)據(jù)：他們從事的工作、他們工作所在國家以及他們的工資。例如，通過說明該國是否正在為國內(nèi)和國際就業(yè)市場培訓(xùn)適當(dāng)數(shù)量的博士人才，來為研究生課程安排、培訓(xùn)戰(zhàn)略和政策制定提供信息。
Buhl Monty說，這些報告還有助于通過展示學(xué)術(shù)界以外的職業(yè)選擇來為博士生提供指導(dǎo)。對于想做教員的學(xué)生來說，這些數(shù)據(jù)可以指明去到另一個國家找到工作的重要性。“它向?qū)W生展示了什么是可能的，”她說，“并以此來調(diào)整他們的預(yù)期。”
Pejrup還在實施一項他評估科學(xué)貢獻的措施，并希望使其得到廣泛傳播。“更多的大財團正在制作出版物，”他說，“例如在物理學(xué)或基因組學(xué)合作方面。除非有人是第一作者，最后作者，或通訊作者，否則很難知道他們貢獻了什么。”在生物信息學(xué)等領(lǐng)域，發(fā)表作品可以有很長的作者名單。需要知道是誰做了最重要的工作，以此來對每一位協(xié)作者進行評估。
Pejrup希望看到對科研貢獻的描述在學(xué)術(shù)報告中變得更加標(biāo)準(zhǔn)化。他一開始就要求博士論文中插入出版文獻作為章節(jié)，并涵括學(xué)生對文獻所作出的綜述。“許多期刊現(xiàn)在需要這種描述，”Pejrup說。“將其作為公開信息，有助于人們對作者的工作進行評價。”
個別科學(xué)家也在開發(fā)自己的績效測量指標(biāo)。在華盛頓大學(xué)水產(chǎn)和漁業(yè)科學(xué)學(xué)院，Trevor Branch副教授創(chuàng)建了一個數(shù)據(jù)庫，其中包含了他所在領(lǐng)域中被引用最多的論文。它包括一個測量標(biāo)準(zhǔn)，用于評估個人對在與多位作者進行合作研究中所作出的貢獻。這個計算并不是自動進行的，但已經(jīng)在2016年的概念驗證論文中進行了測試。Branch說數(shù)據(jù)庫主要是一種愛好，但他認(rèn)為它在戰(zhàn)略上很有用。“我是一個建模師和數(shù)據(jù)分析師，”他說。“這個數(shù)據(jù)庫能幫我了解大局——我在哪里可以發(fā)揮最大的作用，哪些領(lǐng)域是別人感興趣的，我應(yīng)該做什么，我應(yīng)該在哪里發(fā)論文？”
聯(lián)合信息圖像和社交媒體
開羅美國大學(xué)生物信息學(xué)和基因組學(xué)副教授Ahmed Moustaf表示，為你個人的研究系統(tǒng)添加測量指標(biāo)是很簡單的。在他的2013年任期檔案中就包括來自Impactstory的數(shù)據(jù)，這是一個基于網(wǎng)絡(luò)的工具，用于評估科研成果的承擔(dān)份額以及引用情況。在其在線履歷中的發(fā)表作品清單，采用Altmetric這一數(shù)字科學(xué)公司的彩色甜甜圈圖表形式，顯示出他所發(fā)表成果的傳播情況。這些評估舉措反映出了公共傳播與公眾參與，資助者和機構(gòu)現(xiàn)在將這一領(lǐng)域也納入學(xué)術(shù)成果評估體系之中。
Moustafa認(rèn)為，這些信息豐富了他的檔案材料。“這很受歡迎，”他表示。“我的評審委員會在把我的終身教職申請?zhí)峤唤o院系和學(xué)校的時候使用它。報告介紹了我在科學(xué)界的研究情況，并對我的工作做出了全球知名度以及重要性方面的評估。”
Moustafa說，設(shè)置Impactstory和Altmetric這些工具不需要花費太多時間和精力，而且更新是自動的。他還利用這些信息向潛在的合作者做自我介紹。他指出，其所在的生命科學(xué)領(lǐng)域中，資助提議將Altmetrics或Impactstory以及其他創(chuàng)造力評估系統(tǒng)所提供的信息作為衡量標(biāo)準(zhǔn)的情況并不罕見。
Branch已將社交媒體活動納入到其資助申請的參與計劃中，而報告卻反應(yīng)出評審人員意見的毀譽參半。他說，推廣和參與可以通過多種方式進行。一些人可能會傾向于使用社交媒體與社區(qū)互動，但其他人可能更喜歡公共活動、博客或其他方法。“要了解什么類型的科學(xué)推廣方式對你有用，”他說。但是，當(dāng)你有機會推動工作進展時，在適當(dāng)?shù)胤接幸粋�接觸渠道會很有幫助。
當(dāng)Branch的學(xué)生Cole Monnahan在2014年發(fā)表了一份關(guān)于藍鯨的研究報告時，他們知道公眾會感興趣，所以Branch在社交媒體賬號上宣傳了這一報告。“這簡直是一飛沖天，”他說，結(jié)果是獲得了一次BBC專訪，又被其他新聞媒體采用報道。由此實現(xiàn)了面向更多公眾的傳播，但這種方法之所以有效，是因為這個主題是關(guān)于大型海洋哺乳動物。“同一位學(xué)生發(fā)出一份關(guān)于統(tǒng)計方法的論文，可能會對這一領(lǐng)域產(chǎn)生更大的影響，”Branch說，“但它不會有那么大的新聞價值。”
正確使用評估工具：始終將其置于相關(guān)信息之中
隨著學(xué)術(shù)績效評估工具的更新?lián)Q代，專家們強調(diào)，數(shù)量指標(biāo)只是科學(xué)影響真正發(fā)生作用的一部分。“這些測量方法從來不是在真空中使用的，”Neill表示。“它們增加了推薦信、教學(xué)經(jīng)驗、科研經(jīng)費申請成功率以及機構(gòu)服務(wù)情況。”一份真實的發(fā)表成果概況可能會得到候選人面試，Pejrup指出，但是被面試者對研究目標(biāo)進行描述的能力以及談話中的印象才是真正重要的。
Sarli同樣認(rèn)為，數(shù)字和圖表是很有說服力的，但應(yīng)該始終結(jié)合其他相關(guān)情況一起考量。當(dāng)使用文獻計量學(xué)或其他表征指數(shù)時，她建議提供一份關(guān)于評估工具及其局限性的描述。她說，定量指標(biāo)應(yīng)該始終是關(guān)于你的科學(xué)影響力表征的一部分。“對于衡量績效、質(zhì)量或影響力，單獨一項指標(biāo)是不夠的，”她說。“不要單單用數(shù)字來講述你的故事。”■
Chris Tachibana是美國西雅圖和丹麥哥本哈根專題科學(xué)作家。
DOI: 10.1126/science.opms.r1700173
鳴謝：“原文由美國科學(xué)促進會（www.aaas.org）發(fā)布在2017年2月10日《科學(xué)》雜志”。官方英文版請見http://www.sciencemag.org/features/2017/02/new-tools-measuring-academic-performance。