Hate journal impact factors? New study gives you one more reason (討厭IMPACT FACTOR嗎? 新研究讓你多一個藉口)

這是發表在SCIENCE網站的報導,簡單的翻譯一下.

討厭IMPACT FACTOR嗎? 新研究讓你多一個藉口
作者 John Bohanon 20160706 4:30PM



科學家對期刊的 impact factor (JIF) 是又愛又恨, 它是拿來對期刊的聲望作排名的. 他們不只用這個來決定投稿的期刊,也用這個來評價其他同儕,影響包括聘用,升等和計畫通過與否. 所有的事情只用一個簡單的數字來評定.

然而很多期刊的 impact factor 已經因無用或是有害而被學界忽視. 基於試著找出亮光下的陰暗面, 一群研究人員和期刊編輯釋出計算這個魔術數字的資料庫, 以及對文章的引用數分析. 而其結論讓批評這個評價標準的人感到欣喜.

計算 impact factor 看起來很直觀, 只是把兩年來這個期刊的文章被引用的次數平均, 例如 Nature 目前的 JIF 是41.456, 也就是指 Nature 的文章近兩年來每篇平均被引用 41.456 次.

然而這個數字也是很容易被誤用. 就像是在計算人類的平均身高, 只寫出所有人的平均數. 我們說, 男人平均身高高於女人, 實際上, 你可以做更仔細的分析, 而不是僅止於針對性別做分析. 但是在不同期刊中的文章, 其引用數的分布卻是被大幅度的扭曲. 一小部分的有影響力的論文佔掉大部分的引用次數, 而大部分的文章只有少量, 或是從未被引用過. 所以這個平均數常被嚴重誤解.

特別的是, 西班牙細胞生物學家 Lucas Carey 表示 JIF "有兩個問題", 一是 "如果要用它來預測, 是完全無意義的". 意思就是, 在高IMPACT的期刊上發表, 不代表你會有較高的引用數. 其次,他說 "計算 JIF 的方式是不公開的."

這個不透明是由於計算 JIF 的公司 Thomson Reuters 是一家私人公司.他們賺錢的方法是販賣可以取得 Web of Science 這個期刊資料庫的閱覽權, 而他們規劃內的引用數據則是不公開的. 取得這個引用數字要花很大的工夫, 從論文的參考資料中去收集. 期刊用的格式並不相同, 有些非常的簡略, 很難去辨識被引用的論文為何, 打字錯誤或是離譜的錯誤都會是收集上的挑戰.

所以,為什麼出版商不合作起來用 Thomson Reuters 的資料庫去算他們自己的 impact factor ? 英國的細胞生物學家 Stephen Curry 說, 這個意見在去年英國皇家學會的會議上被提出來了. 他說,"要說服別人真的很難, 但核心團隊在幾個月後機動性的形成了" 十一個期刊,包括 Science, eLife, The EMBO Journal, the Journal of Informetrics, the Proceedings of the Royal Society B, 三個由 Public Library of Science (PLoS) 出版的期刊, 和 Nature 本身及其兩個子期刊同意釋出引用資料. 在 2013 和 2014 年, 這些期刊發表了 366,000 篇研究論文和 13,000 回顧論文, 這個團隊整理了 Thomson Reuters 的資料庫丨015 年所有的引用次數. 加拿大期刊引用的專家 Vincent Larivière 主持該數據的分析.

分析結果提供了 JIF 批評者更多的彈藥. 引用分布相當扭曲, 期刊內有 75% 的論文, 引用數少於平均引用數. 所以, 試圖用期刊 JIF 來預測任何特定文章的影響力根本就是瞎猜. 這個分析也揭開了 Thomson Reuters 資料庫大量的漏洞, 很多引用和已知的文章是不相符的. 研究團隊的結論是 "我們期待這個分析可以有助於曝露 JIF 誇張的數據型態, 並且強化它並不是一個適合的指標用來評斷一個研究或是研究人員."

該團隊也向 Thomson Reuters 送出手上的分析結果, 共同作者之一的 The EMBO Journal 主編, 德國的 Bernd Pulverer 說, "這個討論相當有建設性, Thomson Reuters 也願意持續對話." 他告訴本文記者, "即使他們同意我們所提出來的關鍵問題, 但
是他們卻並不希望造成期刊排名的崩解, 因為這是他們生財的工具."

Thomson Reuters 的研發主管 James Pringle 說, "這些作者正確地指出, JIF 只能協助你了解期刊影響力." "JIF 反應的是期刊整體引用表現, 並不是所有個別文章的組合." 而對於資料庫的錯誤, "Thomson Reuters 會持續和出版商合作, 找出增進符合程度的方法, 提供作者一個簡單的程序來修正他們的紀錄. 提出跨產業的倡議和鼓勵使用標準認証."

開放數據會是一個革命的起點嗎? 很不幸的, 英國學術出版界的專家 David Smith 表示: "這是個從有限的熱門期刊中所得到的結果, 可以進行進一步的大量調查", 但是引用資料必需從更大量的期刊來做. "一個問題是, 是否高 impact factor 的期刊基本上有不同的引用型式?" 但即使現今開放資料在整個學界已經很具代表性, Smith 仍然認為,沒有一個單一數字可以表現一個科學家的工作. "JIF 並不是問題", 他說 "而是我們如何考慮學術進展所需要的工作成果."