針對(duì)北美研究機(jī)構(gòu)的一項(xiàng)調(diào)查發(fā)現(xiàn),,40% 的研究密集型大學(xué)在其考評(píng)文件中提到了有爭(zhēng)議的指標(biāo)——影響因子。
期刊影響因子指「期刊前兩年發(fā)表的論文被引用總次數(shù)除以該期刊在這兩年內(nèi)發(fā)表的論文總數(shù)」,。影響因子現(xiàn)已成為國(guó)際上通用的期刊評(píng)價(jià)指標(biāo),,但是用影響因子判斷一項(xiàng)研究的重要性,甚至進(jìn)而評(píng)判研究者的科研能力,,是科學(xué)的做法嗎,?
影響因子是期刊所有論文引用量的平均數(shù),它無(wú)法體現(xiàn)每一項(xiàng)研究的引用情況,。因此高影響因子的期刊表示它有很多引用量高的文章,,但無(wú)法表示每項(xiàng)研究都是高引用的。
近年來(lái),,眾多學(xué)者,、科研人員批評(píng)以影響因子來(lái)進(jìn)行學(xué)術(shù)評(píng)估的做法,認(rèn)為這是不公平的,。此外,,很多大學(xué)教師也在思考如何權(quán)衡科研和教學(xué),僅把科研作為員工考核,、晉升等的主要標(biāo)準(zhǔn)也是不公平的,,考核應(yīng)該考慮到研究者在科研之外的貢獻(xiàn)。
然而,,目前眾多研究院所仍把影響因子作為學(xué)術(shù)評(píng)估和職位晉升的重要指標(biāo),。對(duì)北美機(jī)構(gòu)的一項(xiàng)調(diào)查發(fā)現(xiàn),幾乎一半的研究密集型大學(xué)會(huì)在決定人員晉升時(shí)考慮期刊影響因子,。
根據(jù)一項(xiàng)對(duì)美國(guó)和加拿大 129 家機(jī)構(gòu)的 800 多份文件的調(diào)查,,大約 40% 注重科研的機(jī)構(gòu)在考評(píng)、晉升和任期文件(RPT document)中提及影響因子,。
該數(shù)據(jù)表明,,很多大學(xué)使用「影響因子」來(lái)評(píng)估教師表現(xiàn),而這一指標(biāo)被廣泛批判為一種粗魯,、誤導(dǎo)性的科研質(zhì)量評(píng)判標(biāo)準(zhǔn),。
英國(guó)拉夫堡大學(xué)研究策略經(jīng)理 Elizabeth Gadd 說(shuō)道:「這表明這些機(jī)構(gòu)或許并沒(méi)有正確考慮它們想要什么樣的教師」。
用期刊影響因子衡量影響
期刊影響因子用于衡量過(guò)去兩年里發(fā)表在特定期刊的文章平均引用量,。出版商通常會(huì)在投標(biāo)中用這一數(shù)字來(lái)宣傳期刊的質(zhì)量,。但是,很多學(xué)者和審查小組將影響因子作為判斷一項(xiàng)研究的質(zhì)量,、重要性和聲望,,或者評(píng)價(jià)發(fā)布這項(xiàng)研究的科學(xué)家的一種快速方法,。
這種情況使很多學(xué)者頗受困擾,他們稱影響因子傳播了一種不健康且不利于科學(xué)發(fā)展的研究文化,,他們希望大學(xué)在招聘和晉升流程中拋棄這項(xiàng)指標(biāo),。研究表明,影響因子并不太能夠預(yù)測(cè)科學(xué)家的科研能力,,但尚不清楚招聘者以這種方式使用影響因子指標(biāo)的頻率,。
來(lái)源:E. C. McKiernan et al. PeerJ Preprints 7, e27638v2(2019)
為了了解其普遍程度,來(lái)自墨西哥國(guó)立自治大學(xué)的神經(jīng)生理學(xué)家 Erin McKiernan 及其同事收集和分析了來(lái)自北美多家機(jī)構(gòu)的 864 份考評(píng),、晉升和任期文件,,并在 PeerJ Preprints 4 月 9 日刊上發(fā)表了預(yù)印本文章。
他們使用軟件來(lái)處理這些文檔,,利用工具找到文檔中與影響因子相關(guān)的特定詞匯,,他們閱讀文檔子集中的相關(guān)文章,以了解這些機(jī)構(gòu)如何使用以及為何使用該指標(biāo),。
不到 1/4 的機(jī)構(gòu)在此類文檔中提及影響因子時(shí),,會(huì)使用一個(gè)意義相近的詞,比如「高影響力期刊」(high impact journal),。但是在 57 所研究密集型大學(xué)中,,這個(gè)比例上升到了 40%。與之相反,,授予碩士學(xué)位的大學(xué)中僅有 18% 的學(xué)校提到期刊影響因子(詳見(jiàn)上圖),。
在非常注重研究的大學(xué)中,這一比例超過(guò) 80%,,這些文檔中的語(yǔ)言鼓勵(lì)在學(xué)術(shù)評(píng)估中使用影響因子。這些機(jī)構(gòu)中僅有 13% 對(duì)于該指標(biāo)使用了審慎的詞匯,。這類語(yǔ)言還可能表示高影響因子與更好的研究相關(guān):61% 的機(jī)構(gòu)將影響因子作為衡量研究質(zhì)量的標(biāo)準(zhǔn),,35% 的機(jī)構(gòu)表示它能夠反映研究的影響力、重要性或意義,。
舉例來(lái)說(shuō),,中佛羅里達(dá)大學(xué)健康管理和信息學(xué)系的文檔中出現(xiàn)如下句子:
發(fā)表研究的質(zhì)量和數(shù)量很重要。衡量質(zhì)量的一般標(biāo)準(zhǔn)包括論文發(fā)表在高排名期刊和研究的引用量,。
類似地,,佛蒙特大學(xué)文理學(xué)院的相關(guān)文檔中表示:
學(xué)術(shù)研究發(fā)表在核心期刊和學(xué)術(shù)出版社上,通??梢员砻髟撗芯康闹匾?。
冰山一角
「現(xiàn)在我們擁有一些數(shù)據(jù)來(lái)展示學(xué)術(shù)評(píng)估的過(guò)程?!筂cKiernan 表示,。她認(rèn)為在此類文檔中明確使用影響因子的機(jī)構(gòu)比例可能更高,,她表示這項(xiàng)研究的結(jié)果可能只是「冰山一角」。
她補(bǔ)充道,,學(xué)術(shù)評(píng)估過(guò)程中可能存在更多與影響因子間接相關(guān)的詞匯,,比如「核心期刊」(top-tier journal)或「高排名期刊」(high-ranking journal)。
與期刊影響因子相關(guān)的詞匯分類圖,。上圖將 RPT 文件中與期刊影響因子相關(guān)的詞匯分成了三類:最內(nèi)環(huán)是直接表示期刊影響因子的詞匯,;中間是一定程度上表示期刊影響力的詞匯;最外環(huán)是間接但可能表示期刊影響因子的詞匯,。該研究主要給予最內(nèi)環(huán)和中間環(huán)的詞匯進(jìn)行,。
帝國(guó)理工學(xué)院結(jié)構(gòu)生物學(xué)家 Stephen Curry 表示,對(duì)于大學(xué)來(lái)說(shuō),,提出員工評(píng)估的新方法至關(guān)重要,。「應(yīng)該基于研究來(lái)評(píng)判研究者,,而不僅僅是他們?cè)谀睦锇l(fā)表文章,。同時(shí)還需要對(duì)他們?cè)谘芯课恼掳l(fā)表之外的貢獻(xiàn)給予認(rèn)可?!?/p>
如何改進(jìn)學(xué)術(shù)評(píng)估和 RPT 過(guò)程,?
期刊影響因子與質(zhì)量之間缺乏必然的聯(lián)系,以及學(xué)術(shù)社區(qū)普遍把二者聯(lián)系起來(lái)的行為,,使得挑戰(zhàn)期刊影響因子的行為和提議越來(lái)越多,,他們希望學(xué)術(shù)社區(qū)能夠負(fù)責(zé)任地使用評(píng)估指標(biāo),進(jìn)而改善學(xué)術(shù)評(píng)估,。
其中,,最著名的項(xiàng)目莫過(guò)于《舊金山科研評(píng)估宣言》(DORA)。DORA 指出期刊影響因子的諸多局限性,,并建議對(duì)科學(xué)家學(xué)者及其研究進(jìn)行評(píng)估時(shí)不要使用期刊影響因子,,尤其是不要將其作為「衡量單個(gè)研究文章質(zhì)量的替代性指標(biāo)」。DORA 建議機(jī)構(gòu)
「明確員工招聘,、任期和晉升決策的標(biāo)準(zhǔn),,強(qiáng)調(diào)論文的內(nèi)容要比發(fā)表指標(biāo)或期刊地位重要得多,尤其是對(duì)早期研究者來(lái)說(shuō),?!?/p>
目前,全世界已有 1200 多家組織和接近 14000 個(gè)人簽署了 DORA,。
此外,,高校圖書(shū)館也是促進(jìn)負(fù)責(zé)任評(píng)估指標(biāo)的主力軍。一些高校圖書(shū)館制作在線指南,幫助學(xué)校教師了解如何正確使用不同的指標(biāo)(包括期刊影響因子),,這些學(xué)校包括杜克大學(xué)醫(yī)學(xué)中心圖書(shū)館和檔案館(Medical Center Library & Archives),、伊利諾伊大學(xué)香檳分校圖書(shū)館、薩里大學(xué)圖書(shū)館,、約克大學(xué)圖書(shū)館,。圖書(shū)館還為教師提供文章發(fā)表和文獻(xiàn)計(jì)量學(xué)方面的個(gè)人咨詢和訓(xùn)練。
一些圖書(shū)館還領(lǐng)導(dǎo)了相關(guān)的大型活動(dòng),。大學(xué)和研究圖書(shū)館協(xié)會(huì)(Association of College & Research Libraries,,ACRL)開(kāi)發(fā)了一個(gè)用于評(píng)估期刊的學(xué)術(shù)通訊工具包(Scholarly Communication Toolkit),提出多種方式來(lái)評(píng)估期刊質(zhì)量,。歐洲研究型圖書(shū)館協(xié)會(huì)(LIBER)建立了 Working Group on Metrics,。MyRI 項(xiàng)目(Measuring your Research Impact)由三所愛(ài)爾蘭高校圖書(shū)館聯(lián)合成立,旨在提供關(guān)于文獻(xiàn)計(jì)量學(xué)的開(kāi)放教育資源,。
學(xué)術(shù)生活艱苦,,得到公平合理的評(píng)價(jià)是極大的慰藉。期待學(xué)術(shù)評(píng)估和機(jī)構(gòu) RPT 過(guò)程更加客觀科學(xué),,重視研究本身和研究者本人的貢獻(xiàn),。