编者按

破除论文“SCI至上”、规范SCI论文相关指标使用，需要对科技期刊进行公正、科学的评价，探索建立科学的评价体系。在2019年度中国科协试点高质量科技期刊分级目录发布工作的背景下，今年8月，《FMS管理科学高质量期刊推荐列表》发布，推荐出管理科学高质量国际期刊1135种。本文约请参与列表研制的专家介绍高质量期刊推荐列表相关过程和模型方法，以资借鉴。

科技期刊是科研成果发表的重要载体，对科技期刊进行评价，提供公正、科学的评价依据，有助于科研人员、科研机构客观地了解科技期刊的学术影响力情况，辅助其在论文投稿、学术评价等科研过程中做出合理的决策，是科技评价中的一个重要内容。

围绕期刊评价问题，已有大量的研究成果从定性评价与定量评价两个维度展开。期刊定性评价方法主要是依据领域专家意见进行评判，是期刊评价的重要方面，但是面临专家意见不统一、评价过程费时费力等问题。期刊定量评价方法主要是依据期刊刊登论文构建的相关量化指标，因其具有客观、高效等特点，在科技评价实践中经常被使用，但也容易使得评价结果陷入“量化指标陷阱”中。

为了更好地引导我国科技期刊评价实践，中国科协从2019年度开始试点高质量科技期刊分级目录发布工作，希望发挥行业学会同行评议功能，在学术共同体内形成期刊评价的共识。2020年教育部、科技部发文要求破除论文“SCI至上”，规范SCI论文相关指标使用、探索建立科学的评价体系。在此背景下，2020年8月，中国优选法统筹法与经济数学研究会、管理科学与工程学会、中国系统工程学会三家学会组织研究力量，在可靠的大数据、科学的计量方法和广泛的学界调研基础上，联合研制了《FMS管理科学高质量期刊推荐列表》。

研制中国视角下的高质量期刊推荐列表，既要充分借鉴国际主流期刊列表评价结果，与国际接轨，又要充分调研国内专家意见，反映中国特色。此外，研制过程中还需要考虑量化指标和专家意见权衡、期刊学科领域优化等问题。本文以《FMS管理科学高质量期刊推荐列表》研制过程为例，介绍构建的高质量期刊推荐列表研制模型方法。

一、改进的加权平均百分位方法集成不同国际期刊列表评价结果

充分调研和吸收国际主流期刊列表的评价结果，是期刊列表与国际接轨的关键步骤。在研制《FMS管理科学高质量期刊推荐列表》过程中，参考了多个国际主流管理科学重要期刊列表，如美国UT 24、英国ABS和FT 50、澳大利亚ABDC、法国CNRS和德国VHB等期刊列表。

不同期刊列表的期刊评价等级，因受到编制机构评价目的、评价方法、评价偏好的影响，难以直接进行横向比较和运算，而传统的综合集成方法不能有效刻画期刊等级的真实情况，给不同列表期刊评价结果的集成带来了困扰。Templeton和Lewis提出了加权平均百分位（Weighted Average Percentile，简称WAP）来集成这种不同等级划分的期刊评价结果。WAP方法的基本思路是将期刊列表中期刊等级文字描述（如A+、4*等），转化为相对应的占位百分比。一方面WAP方法能客观、全面反映期刊在一个列表中的相对重要性，另一方面这种定性定量的转化便于后续集成不同期刊列表的结果。

我们对原始WAP方法进行了改进，综合考虑了期刊在列表中的等级以及出现的次数，将单个期刊在不同期刊列表中的占位百分比进行加权平均，作为集成不同列表评价结果的依据。

二、基于构建的领域论文、项目数据库遴选期刊推荐列表评审专家

为了使得高质量期刊列表得到学术共同体的认同，开展广泛的领域专家调研是必不可少的。在开展《FMS管理科学高质量期刊推荐列表》专家调研过程中，为了保证遴选出的评审专家具有广泛的代表性，我们构建了管理科学领域的论文、项目数据库，基于论文发表数据和承担项目数据，最终遴选出期刊推荐列表评审专家。我们收集了期刊列表蓝本近五年发表的42万篇英文论文数据，根据论文的作者地址信息，从中提取出所有中国学者参与的论文，进一步识别中国学者的姓名、机构、邮箱等基本信息，分学科领域汇总每位学者的论文发表数量及其论文期刊分布情况。

同时我们还分领域采集了近五年国家自然科学基金委员会等重要科学基金管理机构资助的项目数据。在具体的遴选过程中，考虑了专家发表论文的期刊多样性。此外，每个学科领域同一机构原则上只选择一位专家，以保障专家来源的多样性和广泛性。

三、构建定量定性评价指标体系对期刊进行多维评价

高质量期刊推荐列表研制过程中，最为重要的一点是要反映学界的共识。除了直接调研领域专家意见外，还有多个渠道的结果可以体现出学界对期刊的认识。在研制《FMS管理科学高质量期刊推荐列表》过程中，构建了重要数据库收录情况、经管学院认可度、领域影响因子、领域专家意见、期刊获奖情况五个评价指标，对备选期刊进行多维评价，并在多个评价指标结果综合集成的基础上对期刊等级进行分析。

重要数据库收录情况反映的是科学计量学领域专家对期刊的认识。经管学院认可度具体细分为期刊在32家经管学院部门期刊列表中出现的频次和平均等级，反映的是学科建设单位对期刊的认识。领域影响因子是基于影响因子计量方法，在领域样本期刊内统计引用情况，计算得到的衡量期刊学术影响力的定量指标，反映的是论文作者对期刊的认识。期刊获奖情况反映的是期刊主管部门对期刊的认识。通过对上述多个指标的综合集成，以期尽可能地反映出学界对期刊列表范畴和等级的共识。

四、基于论文文本大数据对期刊所属学科领域进行优化

由于不同学科领域的研究范式差异较大，致使不同领域期刊在各个量化指标上呈现的特点也不尽相同，所以需要对不同领域期刊进行分类评价。随着学科之间的交叉融合程度越来越深，期刊所属学科领域也逐渐模糊。传统的期刊列表研制过程中，通常是基于专家意见对期刊领域进行划分。科学计量学领域学者也提出了基于论文直接引用、引文耦合等方法来分析不同期刊之间的领域划分情况，但是这些方法需要基于已经构建的引文数据库才能开展。

在研制《FMS管理科学高质量期刊推荐列表》过程中，由于样本期刊中有相当一部分期刊没有被现有引文数据库收录，传统方法难以直接进行应用。我们构建了一种基于期刊主题相似度的期刊聚类模型进行学科领域优化，基本思想是从期刊所载论文出发，识别出学科领域的研究主题，通过论文之间的主题关联关系，计算不同期刊之间的相似度，进一步进行聚类得到不同的期刊类簇，从而揭示期刊所属的学科领域。

我们使用期刊列表蓝本近两年发表的近20万篇论文的标题、关键字、摘要等文本数据，基于LDA（Latent Dirichlet Allocation）模型识别出论文集合的共享主题和每篇论文的主题概率分布矩阵，再汇聚到期刊层面计算出每个期刊的主题概率分布。由于该分布具有高维、稀疏特性，直接聚类难以得到有效聚类结果，提出利用t-SNE（t-distributed Stochastic Neighbor Embedding）算法对期刊主题概率分布矩阵进行降维处理，最后运用分层聚类模型得到聚类结果。基于期刊聚类结果，并结合领域专家意见，依据最大隶属原则对FMS高质量国际期刊列表征求意见稿中期刊所属领域进行调整，学科数量从原先的34个调整到32个。

（作者单位分别为中国科学院科技战略咨询研究院和中国科学院大学经济与管理学院）