时间：2022-10-08 11:26:05
开篇：写作不仅是一种记录，更是一种创造，它让我们能够捕捉那些稍纵即逝的灵感，将它们永久地定格在纸上。下面是小编精心整理的12篇评价指标论文，希望这些内容能成为您创作过程中的良师益友，陪伴您不断探索和进步。
论文摘要：从项目管理成熟度模型定义出发，介绍了当前项目管理成熟度模型在我国的发展概况。并在分析各种模型构建方法的基础上，提出了对综合指标评价法的改进方案，包括进一步完善评价指标体系和改进蛛网模型。
论文关键词：项目管理成熟度模型；综合指标评价法；蛛网模型
1项目管理成熟度模型的概念
面对市场需求的变化和日益激烈的竞争，企业在推进项目管理的同时需要了解自己的能力，给自己进行定位，因此需要有一个测定和改进能力的标尺。项目管理成熟度模型的运用正是要建立这样一个标准，来指导企业培育和提高项目管理能力。
项目管理成熟度模型是一种项目管理评价方法，用以衡量组织按照预定目标和现有的条件成功地、可靠地实施项目的能力。它不是一个数学解析式或一个图标，而是一整套科学的体系和方法，也是表征一个组织项目管理能力从低级向高级发展、项目实施的成功率不断提高的过程——“它是评估组织通过管理单个项目和组合项目来实施自己战略目标的能力的一种方法，它还是帮助组织提高市场竞争力的工具。”
项目管理成熟度模型通过建立不同级别的成熟度等级来表征项目管理的成熟度水平，一般分为五个等级，由低到高依次是：混乱级，简单级，规范级，精益级和战略级。
2项目管理成熟度模型在国内发展概况
2．1关键过程域法
项目管理成熟度模型中的每个等级都由几个关键过程域组成，关键过程域是指为达到该成熟度级别，企业应该完成的一些关键活动，关键过程域具体表现为一组目标，这几个关键过程域共同形成一种项目管理等级水平。通过测定关键过程域的完成水平来判别成熟度的等级。
该方法的关键是恰当地选取关键过程域。这种方法简洁明了，操作简便。但定性的描述多而缺乏定量分析，主观判断多而客观分析少。因此关键过程域是一种比较模糊和笼统的项目管理成熟度的测定方法，精确性比较差，往往与其他方法结合使用。
2．2层次分析法
针对项目管理中的每一个等级，通过专家问答的方式获得评估值，再根据砰估值的大小来判断是否达到本等级；如果达到了这一等级的要求，再进行下一等级的测定；当评估值不能达到下一等级的要求时，则本等级就是该项目管理的成熟度等级。其中，每一个等级提问的问题都有所不同，而且评估的重点涉及项目管理不同的知识领域。测定评估值时按照高级管理者、中级管理者和内部员工代表三个层次设立不同的权重以期做到真实性、操作性和普遍性三者的结合。
评估值的测定在一定程度上实现了项目管理的成熟度模型的定量化。但是评估体系的建立是通过对一系列的选择题的提问完成的，因此测定的准确性对选择题的数量以及质量具有较高的依赖性。而且每一个等级都要设立一定数量的选择题，既使得测定工作十分繁琐，又很难保证评估的质量。
评估时需要由低到高地逐级测定才能最终确定成熟度的等级，因此评估过程不得不在多个等级中进行．测定工作重复并且效率不高。
2．3综合指标评价法
该方法的显著特点是它将评估体系建立在系统的评价指标体系上。参照项目管理的过程能力指标，建立起两个层级的项目管理成熟度模型的成熟度评价指标体系。通过对相应一级和二级指标的评估得出该项目管理的成熟度等级。并通过绘制蛛网模型将成熟度等级中各能力指标的情况表示出来。
该评价方法具有很多优点：
(1)系统性强。该模型的评价指标体系按照项目管理的过程能力指标建立，包括了项目管理的五个基本的管理过程：启动过程、计划过程、执行过程、控制过程和收尾过程。该指标体系为项目管理成熟度模型的建立奠定了系统和恰当的理论基础。
(2)定量化在确定了二级指标的评价标准的基础上，用专家评分的方法具体测量每一个二级指标，并进而计算一级指标的评价指标值，得出该指标所处的等级。通过对二级指标值的测量和一级指标值的计算实现了对项目管理成熟度模型的定量计算。
(3)直观性强。该方法通过蛛网模型将整个项目管理成熟度状况比较直观地呈现出来，而且可以清晰地看到一级指标的成熟度等级状况。
(4)通用性好。项目管理成熟度评价指标体系的构建主要结合中国项目管理知识体系，按照项目管理的五大过程来进行。适用于不同行业以及不同规模的各种企业，具有较好的通用性。
3对综合指标评价法(蛛网模型)的改进
3．1现有模型存在的不足之处
从上述分析可知，用综合指标定量分析的方法是一种通用性较好，应用较为广泛的项目管理成熟度模型的测量方法，但现有的模型也存在许多不足之处：
(1)评价指标中侧重于项目管理的过程能力指标，而缺乏像项目团队文化和项目管理人员这样的软指标。项目管理过程的成熟度并不完全等同于项目管理的成熟度。由于没有任何过程是孤立存在的，组织方式、支持该过程的系统、组织的主流文化等都会对每一个过程的推进情况产生影响。可见。过程能力并不能代表项目管理能力的全部。项目团队文化反映了管理成熟度“软”的方面，项目要求有所倡导的团队文化、现代项目管理核心理念以及价值观与行为准则；项目管理人员反映了项目管理成熟度“人”的能力方面，须符合专业资质要求。这些软指标在表征项目管理成熟度时是必不可少的，随着成熟度等级的提高，项目团队文化等软指标必然会相应提高，同时项目团队文化的改善必然促进企业成熟度的提高。
(2)重叠性问题。①蛛网模型虽然可以表征成熟度的等级，但还存在一些问题。项目的过程能力处在一个不断发展变化的动态过程之中，企业在到达过程的某一等级后还会继续往前发展。因此，它们中的许多指标可能已经超越了本等级，而有的指标则还未达到本等级，人们只能加权平均估算出成熟度状况。②这样一种项目管理成熟度模型只是模糊地表达了项目管理成熟度，对于项目管理能力中的不足和优势却视而不见，不利于发现项目管理过程中的不足，不利于确定进一步改进的重点和突破口。③项目管理成熟度从一个等级到更高等级要经过很长一段时间的过渡，实际上大部分情况下企业不是处在某一个等级上而是处在过渡过程中，因此，仅以某一个等级来反映成熟度指标往往不能反映其真实的情况。
3．2对模型的改进
一、对21所高校人文社会科学硕士学位论文评价体系进行调查分析
（一）调查方法
研究采用的方法主要包括文献资料法、综合分析法、层次结构分析法、文献计量法、个别访谈法和专家评审等方法。理论研究部分，充分利用图书资料和网络文献数据库，搜集21所高校人文社会科学硕士学位论文评价体系的相关资料，深入理解和综合分析文献内容，一方面详尽地了解目前人文社会科学硕士学位论文评价体系的特点，另一方面明确国内外人文科学成果评价已取得的成果和不足。实证研究部分，主要运用层次结构分析法、个别访谈法和问卷调查法确立评价指标及其权重，形成相应的论文类成果和应用对策类成果的评价指标体系。通过获取实证研究样本相关数据，对数据进行相关的统计分析，以验证指标体系的信度、效度和不足，以明确该评价指标体系的改进方向。另外，在整个研究过程中，加强与论文指导老师和学生的沟通和交流，及时发现和解决研究过程中出现的问题，积极创新，将理论研究提高到一个新的高度，以弥补认识上的不足。
（二）样本收集
确定研究对象：具备研究生培养的石油类院校、理工类院校、国内顶级院校、地域差异的院校、省内有代表性的院校。收集数据方法：通过电话访谈，相关大学网站收集相关资料以及通过相关的期刊或研究报告等资料获取相关数据。除此之外，我们重点选取了二十余位学术评价领域的理论学者和科研管理部门的实践专家，以面访、邮件、电话方式进行了访谈和书面反馈。
（三）21所高校人文社会科学硕士学位论文评价体系统计分析
通过选取，最终有21所高校被列为研究的对象。一方面研究这些高校研究生学位评价体系的细化分类，另一方面探析各类高校研究生学位论文评价体系内部的权重分配，各个指标之间相互关系，从而发现研究生学位论文评价体系分配的规律。
以中国石油大学、西安石油大学、西南石油大学三所石油院校的硕士研究生论文评价体系为蓝本，结合其他18所高校的硕士研究生论文评价体系的分类方法，将21所高校的人文社会科学硕士研究生论文评价体系进行系统的统计分析得出以下统计结果：一级评价指标的论文选题主要包括三个二级指标：要求学术价值与应用价值的学校统计数量21个；要求选题前沿性的学校统计数量13个；要求选题新颖性的学校统计数量3个。一级指标论文水平主要包括七个二级指标：要求研究方法的学校统计数量19个；要求理论基础与专业知识水平的学校统计数量16个，要求文献综述的客观性与全面性的学校统计数量15个，要求写作的逻辑性的学校统计数量12个，要求论文研究难度与工作量的学校统计数量8个，要求材料的充分性与可靠性的学校统计数量7个，要求观点鲜明、立论正确的学校统计数量2个。一级指标研究成果主要包括三个二级指标：要求新观点与新见解的学校统计数量19个；要求潜在的社会效益的学校统计数量9个；要求获奖或的学校统计数量4个。一级指标写作能力主要包括五个二级指标：要求文字表达能力的学校统计数量16个；要求书写的规范化的学校统计数量10个；要求设计图形、图表的规范化与标准化的学校统计数量9个；要求学风严谨性的学校统计数量5个；要求摘要表述简洁规范反应核心内容的学校统计数量2个。一级指标答辩情况主要包括三个二级指标：要求回答问题水平的学校统计数量9个，要求报告重点及阐述情的学校统计数量7个，要求着装及态度情况的学校统计数量3个。
（四）制定人文社会科学硕士学位论文评价的原则
从评价需求、评价过程、评价结果和评价持续等维度看，应关注以下六项原则：可操作性原则，即分类方案在评价过程中要具有可操作性。分类不能过于复杂，分类颗粒度切分要恰当，以保证分类框架清晰简明，并在最大程度上能够与评价主体的常识判断保持基本一致，使评价主体较容易把握，从而提高评价操作的效率和评价结果的准确性。可比性原则，即分类方案的评价结果要具有可比性。只有同类比较才可以实现同一指标下的度量，评价结果也才具可比性、可信度，这就要求分类标准明确和界线清晰。可扩展性原则，即分类方案要具有一定的扩展张力。随着经济、社会、文化等诸方面的日益交融和加速推进，专业学科也随之细分、交叉、融合。因此，保持评价分类体系具有较广的范围适应性和较强的功能扩展性，有利于评价结果的持续性比较和评价工作的一致性开展。可靠性原则。评价指标的设计不仅要考虑评估对象的特征，同时也要考虑指标的实际可操作性，指标的内容应明确，数量需适当，同时，同一参评项目中不同研究成果的各项指标间应具有一定的内在一致性，相互之间不会产生矛盾。客观性原则。保证评价指标的客观性，使评价指标及其评价结果符合研究成果的实际质量和水平，所设计的评价指标才具有现实意义。独立性原则。当评价指标体系中的某一指标被修改或调整时，其他指标应具有适当的独立性，不会因某一指标的修改和调整而使评价指标或评价结果之间相互矛盾。
二、确立人文社会科学（法学类）硕士学位论文评价指标体系
着重选取了人文社科领域的专家学者、学生代表和科研管理者开展问卷调查，共形成有效问卷200份。为保证问卷调查结果能够较好地反映人文社科各学科领域的实际情况，发放问卷时还对受访对象进行了学科比例控制。
重新选取了人文社科领域的专家学者、学生代表和科研管理者开展问卷调查，共形成有效问卷200份。为保证问卷调查结果能够较好地反映人文社科各学科领域的实际情况，发放问卷时还对受访对象进行了学科比例控制。
人文社会科学（法学类）硕士学位论文评价指标（答辩用）
三、评价体系的应用及结果分析
该评价体系针对科研管理者、专家和2013年毕业的人文社会科学硕士研究生进行了实际应用，该硕士学位论文评价体系一经使用即得到了学生、相关科研管理人员及指导教师的一致好评，一致认为该评价体系的主要优势表现在三个方面：客观科学：在全面探析各研究生学位论文质量评价指标之间的内在关系基础上，能够客观科学地反映研究生学位论文质量的实际水平。严密可靠：该评价体系所采用的评价项目和权重比例之间的关系是严密的，选择的应用对象具有代表性，评价结论具有可比性，因而能够对研究生学位论文水平进行可靠评价。操作简单：与其他评价体系相比，该操作步骤简单明确。答辩之前学生可以通过该体系判断是否符合答辩标准，指导教师可以通过该评价体系衡量学生对毕业设计的完成情况并督促学生。答辩时各答辩评委可以准确科学的评定学生学位论文的综合水平。
【摘要】经营者业绩评价是现代公司制企業中一项重要的管理会计活动，是企业对经营者激励和约束机制中的基础环节和重要内容。本文从我国企业的客观状况出发，对经营者业绩评价系统中最为关键的要素——评价指标的选择做出探讨，得出应采用综合评价指标体系，并对如何构建综合指标体系进行了阐述。
随着现代企业制度在我国企业中的建立，经营者业绩评价日益成为企业管理中一项重要的管理会计活动。经营者业绩评价是企业对经营者进行激励和约束的基础环节和重要内容，有效的业绩评价将有助于协调所有者和经营者之间的利益关系。然而在整个业绩评价系统中最为关键的构成要素则是评价指标，指标选择的是否合适将直接关系到评价系统的目标能否实现以及在此基础上对经营者进行的激励和约束是否有效。业绩评价的备选指标可以说是多如浩瀚大海，西方国家业绩评价指标体系也经历了很长的发展阶段，因此本文拟就我国企业经营者业绩评价指标的现实选择做出探讨。
一、企业经营者业绩评价指标的质量要求
我们在选择经营者业绩评价指标前，首先要明确什么样的指标才是合适的，即合格的业绩评价指标应具备怎样的质量要求。通常经营者业绩评价指标的作用包括两方面，其一是作为企业经营目标的具体化，为经营者的决策优化提供标杆；其二是反映经营者的努力对于企业目标实现的贡献并据以决定奖惩，以沟通经营者利益和企业所有者的利益，激发经营者为企业目标而努力的积极性。要发挥这样的作用，选择的经营者业绩评价指标必须具备以下的质量要求：
1、经营者业绩评价指标要反映企业战略关注点。当今，我国企业面临的内外部环境都发生着巨大的变化，这使得企业仅靠原本简单的推断式的管理难以保证自身的生存和发展，而必须在对新的环境进行深入分析的基础上，做出新的响应，因此推行战略管理是我国企业的一种必然选择。在战略管理中，作为企业的经营者首先需要确立企业的长期目标，在综合分析所有内外部相关因素的基础上，制定达到目标的战略，并且执行和控制整个战略的实施过程。经营者在战略管理中的重要地位决定了企业对于经营者的业绩评价理应与战略管理紧密结合，作为经营者业绩评价重要要素的评价指标理应反映企业战略关注点，这样才能将满足利益相关者利益要求的企业战略传达给经营者，并且使经营者和利益相关者以战略目标的实现来获取各自所期望的利益。
2、经营者业绩评价指标要能客观公正地反映经营者业绩。业绩评价指标是否客观公正地反映经营者业绩问题便是我们通常所说的业绩评价指标是否存在“噪音”问题，如果指标不能客观公正地反映业绩，则称这些指标存在“噪音”。一般情况下，指标的噪音来源于两个方面：一方面是由于所有者与经营者之间存在着信息上的不对称，评价指标完成值的高低易受经营者主观操纵，不能如实反映经营者的努力程度；另一方面是由于企业经营成果往往受企业内外因素影响，评价指标完成值的高低可能也会受到一些经营者不可控因素的影响，并不能如实反映经营者的努力对于企业目标实现的贡献。这两方面的噪音来源存在着此消彼长的趋势，如选择经营者可控能力强的指标，相应克服了第二种“噪音”，但与此同时被经营者操纵的可能性会增大，即第一种“噪音”增大，反之亦然。因此，想要绝对消除指标的噪音是很难做到的，现实的选择应是根据经营者对企业的控制程度、经营者的风险嗜好，考虑企业内外环境约束的力度来权衡尽可能地消除噪音、优化指标系统。
3、经营者业绩评价指标要具有可操作性。可操作性一方面要求评价指标要具有可理解性，即只有当指标能被执行者恰当地解释时才是有用的，难以理解的指标会导致错误的评价结论。另一方面要求指标项目有关数据的收集以及指标体系本身具有可行性，如过于详细则会导致繁琐等。可操作性应是选择经营者业绩评价指标时必须考虑的一项重要因素，离开了可操作性，再科学、合理、系统、全面的业绩评价指标也是枉然。
二、我国企业经营者业绩评价指标是选择单一指标还是综合指标
对经营者的业绩评价可以采用单一指标，由于经营者具有较大的经营管理权，对于企业生产经营活动的可控程度较高，其责任往往是企业的整体生产经营活动，因此可以采用具有综合性的关键的单一指标来衡量经营者业绩，如利润、股价、经济增加值等指标都具有这样的综合性。采用单一指标作为评价经营者业绩评价的指标优点在于简单明了、易于操作，但由于无论何种指标本身都存在着或多或少的缺陷，这使得采用单一指标的缺点也不言而喻，即在消除指标的“噪音”以及所有者和经营者的利益沟通方面不能利用指标间的相互补充作用。因此，采用单一评价指标对于应用环境有着十分严格的要求，它需要企业所处的外部市场较完善和健全以及企业内部对经营者的约束也较为有效。而从我国企业的客观状况来看，企业并不适宜采用单一指标来评价经营者业绩。
首先从股价这一市场指标来看，股价作为业绩评价指标所具有的一切优势都是以资本市场的有效为前提的，因为只有资本市场有效，一个企业的股价才能基本反映企业的经营成果。而在我国，资本市场仍是一个弱效市场，股票市场上投机炒作风盛，股票价格往往会受到很多企业不可控因素的影响，与企业实际经营业绩的关系甚弱，因此很难客观公正地评价经营者业绩和引导经营者行为，即加大了由经营者不可控所带来的“噪音”。
其次从利润这一会计指标来看，它作为单一业绩评价指标必须建立在企业外部市场完善和内部约束有力的基础上，原因在于：（1）只有完全竞争的产品市场才能使企业的利润指标能够真正反映经营者的业绩，这时以企业的经营成果来衡量经营者的业绩才是客观公正的；（2）只有企业内部约束有力，才能相对降低经营者人为操纵利润指标的影响，减少由于所有者和经营者之间的信息不对称而带来的指标“噪音”。而我国目前的实际情况是产品市场的竞争并不完备，企业内部约束机制以及外部审计在保证利润指标客观公正方面的作用也有待于进一步加强，因而采用利润这一单一指标对经营者进行评价易导致经营者的短期行为，加大由信息不对称所带来的指标“噪音”。
最后从近些年来得到普遍重视的经济增加值即EVA指标来看，它是以企业市场价值的增值为衡量标准的指标。其计算公式为：EVAt=Pt-KAt-1，其中Pt是经过调整后的净利润，At-1是公司期初投入资本总额，K为企业的加权平均资本成本。引进财务经济学所开发出来的资产定价模型，K的计算公式又为：K=[DM/（DM＋EM）]×KD×（1－T）＋EM/（DM＋EM）×KE，其中DM为公司负债总额的市场价值，EM为公司所有者权益的市场价值，KD为负债的税前成本，T为公司的边际税率，KE为所有者权益的成本。尽管EVA指标综合了会计指标和市场指标的一些优点，但它的计算依赖于对公司所有者权益市场价值及其权益成本的计算，而在我国，上市公司的股票往往分为流通股和非流通股，两者的价值和成本均是不同的，且流通股中的一级市场原始股和二级市场流通股的回报要求也不尽相同，这就使得难于计算真正的权益资本成本及其市场价值，此外资本市场发展的不健全也使得依据其市场价值计算出来的EVA指标的准确性大打折扣。
综上所述，从我国企业目前所处的实际环境和自身的实际情况出发，笔者认为无论采用何种单一指标均不能满足经营者业绩评价的要求，相反，采用综合指标即通过一系列指标的组合采用，利用指标间的相互影响来减弱指标“噪音”应是我国企业的现实选择。
三、我国企业经营者业绩评价综合指标体系的构建
综合指标体系是一种突破了单一财务指标、采用财务指标与非财务指标相结合的多元化指标体系，近年来引进的平衡计分卡（TheBalancedScorecard）正是这样一种系统考虑业绩驱动因素、多维度平衡评价的业绩评价系统。笔者以为我国企业在构建经营者业绩评价综合指标体系时应积极借鉴平衡计分卡法，关键解决核心财务指标的选择和财务指标与非财务指标间相互配合的问题。
1、核心财务指标的选择
在采用多个财务指标对经营者进行业绩评价时，企业往往会选择某个指标作为核心指标，其它财务指标相配合。最常用的核心财务指标有净收益类指标和股价类指标两种。不同的企业，其战略目标、对风险的规避程度、成长发展的阶段等往往是不同的，因此在对经营者进行业绩评价时应根据实际情况对核心财务指标的选择做出自己的决策。为了使得差异比较明显且易理解笔者在下文中只是将企业简单地划分为传统产业和高新技术产业以及按企业的生命周期对核心财务指标的选择问题进行讨论。
（1）传统产业与高新技术产业。反映企业净收益的指标通常属于会计指标，采用会计指标的缺陷是带来企业经营者对短期净利润的过分关注，使得经营者更倾向于进行对企业短期净利润有直接影响的活动，不喜欢采取对企业发展有长期影响的活动，如研究开发活动、广告及资本性支出等，因为这些活动都会减少当期净收益，但对企业的未来发展却是有利的。而这些对企业有长期影响的活动常常能够从市场指标——股价中得到体现。对于高新技术产业来讲，其最大的特点便是高成长性及大量的研究开发费用的支出，若采用净收益类会计指标作为核心财务指标，势必会造成对经营者业绩评价的不公正性、不准确性，相反应选择股价类市场指标为核心的财务指标。而对于传统产业来讲，若采用股价作为核心指标，除了存在前面所分析的由于经营者不可控而带来的“噪音”外还可能产生新的道德风险，如操纵股价或经营者选择风险过高的经营活动，以期获得个人的高收益，结果极有可能损害股东利益，因此笔者认为传统产业对经营者的业绩评价宜采用净收益类会计指标作为核心财务指标。
（2）处于不同生命周期的企业。企业的生命周期一般分为创业、成长、成熟和衰退四大阶段，处于不同阶段的企业其盈利能力、股价水平、对现金的需求及产生现金的能力等方面都有所差别。其中创业阶段和成长阶段、成熟阶段和衰退阶段在一定程度上有共性，因此笔者只想对成长阶段和成熟阶段进行分析。对于处于成长阶段的企业来说，企业经营者对于长短期目标的选择及对企业发展战略的定位都非常关键。如果经营者的决策视野过于狭窄，选择的经营活动过于注重短期效益，或者规避风险较高的项目，都将影响企业的成长速度，而且企业在成长阶段更多的支出是用于诸如研究开发、扩大生产能力及市场占有率等各种形式的资本性支出，企业价值的增长在短期内不能从净收益类会计指标中得到反映，因此处于发展阶段的企业对经营者进行评价时应选择股价类指标作为核心财务指标。对于处于成熟阶段的企业而言，经营活动相对稳定，战略目标及竞争优势已呈现出来，在行业中的地位也基本确定，这时净收益类指标的优势可以得到体现，并且成熟阶段企业的股价与经营者的努力程度间的相关性也越来越弱，因此处于成熟阶段的企业对经营者业绩评价适合将净收益类会计指标作为核心财务指标。
因此，处于成熟阶段的传统企业，应选择净收益类指标作为核心财务指标对经营者进行业绩评价，处于发展阶段的高新技术企业，则应采用股价类指标作为核心财务指标。但处于发展阶段的传统企业或者处于成熟阶段的高新技术企业，若按上述原则进行核心财务指标的选择便会出现一定的矛盾，笔者以为应采用生命周期优先考虑原则，前者宜采用股价作为核心财务指标，后者宜采用净收益类指标为核心财务指标。
2、非财务指标的配合使用
目前我国企业在对经营者进行业绩评价时仍然普遍以财务指标作为主要手段，财务指标所具有的种种局限性导致对经营者的业绩评价往往只重视结果而轻视过程，只重视短期而轻视长期业绩评价，只重视过去财务成果而轻视未来价值创造。长期受到这种业绩评价指标指导的企业经营者易产生短视行为，这对企业长期竞争优势的形成会产生严重影响，因此我国企业经营者业绩评价综合指标体系的构建需要非财务指标的配合。企业在选择非财务指标时，应从平衡计分卡系统的客户、内部经营过程以及学习和增长三个非财务层面中寻找真正对实现企业战略与实现企业最终财务成果起到关键作用的、能为经营者所控制的非财务指标，并且使这些指标尽可能量化，因为指标只有可计量，才能保证评价标准、评价过程和评价结果的客观性。不同类型的企业、处于不同生命周期的企业对经营者进行业绩评价时同样应对非财务指标的采用作出自己的选择。比如：高新技术产业以及处于发展阶段的企业对经营者业绩评价时应较多地将内部经营过程层面中的创新指标作为核心非财务指标，而传统企业或处于成熟阶段的企业则应根据自身情况从其他层面中或内部经营过程层面的生产经营和售后服务两过程中选取需要的非财务指标与财务指标配合使用。
参考文献:
[1]李苹莉：《经营者业绩评价——利益相关者模式》，浙江人民出版社，2001年版。
[2]张蕊：《企业战略经营业绩评价指标体系研究》，中国财政经济出版社，2002年版。
【关键词】教育硕士专业学位论文；模糊综合评判；指标体系
0.引言
教育硕士是具有特定教育职业背景的专业性学位，主要培养面向基础教育教学和管理工作的高层次人才。教育硕士学位论文的质量评价不仅反映了学位申请者本人的科研能力和学术水平，也是学位与研究生教育质量的集中体现。学位论文标准论文质量的评定是个复杂性的评价与决策问题。模糊综合评判是一种基于模糊数学的综合评判方法。该方法不同于经典的综合评判；而是模糊技术同经典的综合评判理论相结合。使用模糊数学的隶属度理论把定性评价转化为定量评价，即用模糊数学对受到多种因素制约的事物或对象做出一个总体的评价。本文采用模糊评判方法进行评价。首先采用文献调研法确定评价的指标体系，其次通过模糊数学的方法建立评判模型，然后设计开发设计网上论文评价系统，来解决论文评价问题。
1.建立评价体系
1.1确定指标体系
教育硕士专业学位不是学术型学位，也不同于其他专业学位，它是专门为从事基础教育职业的人设置的一种专业性学位，其授予对象主要是在基础教育战线工作的教师和管理人员，因而，在评价标准上，区别于学术性硕士，通过使用文献调研法，查阅大量教育硕士及相关专业的专业硕士的培养文件、论文评价标准和学科论文评价指标体系等方面内容，并综合天津师范大学教育硕士导师和学生的意见，初拟指标项：一级指标4项，二级指标10项（见表1）。
表1天津师范大学教育硕士学位论文评价标准
1.2模糊综合评判方法
在实际工作中，对一个事物的评价常常涉及多个因素或多个指标，这时要求根据多个因素对事物做出综合评价。模糊综合评判是对受多种因素影响的事物做出全面评价的一种有效的多因素、多指标的决策方法。它根据模糊数学的隶属度理论把定性评价转化为定量评价，是模糊数学中应用的比较广泛的一种方法，能较好地解决模糊的、非确定性、模糊性问题的解决。具体原理如下：
（1）确定与评估有关的各参数集：评价因素集U=
，...，r 表示因素ui的评判结果，rij=1 。结合表1，可得U={论文选题，知识能力，论文水平，答辩表现}，V={好，较好，一般，较差，差}。
（2）因素集中诸因素对事物的影响各有不同，所以需对每个因素设置相应的权重，表示成U上的模糊集A=（a.a，...a） ，其中a=μ （u）表示因素 u对评判对象的重要程度。一级权重A=（0.2，0.3，0.3，0.2）。
（3）评判结果为：=。=（b，b，...b），其中b=μ（v）表示评语uj 在评判结果中占的权重。
（4）归一化 ，使bj=1 。
最终结果的处理根据上述算法，可按照最大隶属度原则，取中最大隶属度对应的评价结果作为最终评价结果也可以根据评价集中各一级影响因素的标准值及其权重，计算其加权平均值。
2.教育硕士学位上评价系统的设计
2.1设计思想
本系统的总体目标是运用模糊综合评判理论，构建教育硕士专业学位论文的动态评价体系，提高论文评价决策的科学化、智能化水平。设立通用的数据处理功能，并允许用户根据需要对评价指标体系作及时调整，实现层次变化、评价指标重定义、权重重新分配等功能。针对用户使用的特点及分布情况，在网络结构和应用软件功能设计过程中，计算机处理透明化，处理过程自动化，具有较强的通用性。
2.2系统结构
教育硕士学位上评价系统采用层次结构，包含系统管理、指标管理、网上评价、评价对象管理几个部分，可进行用户、评价对象、指标数据的维护和管理，数据的采集和报表打印等操作，系统有较好的完善性维护功能。当发现数据处理方法不够理想时能按用户的某些要求进行处理直到较理想为止。
（1）系统管理模块。该模块分为密码与权限管理、用户管理、登录管理等几个部分。用户管理主要用于密码修改、学生基本信息录入；登录管理对不同用户划分不同的权限，用户分为系统管理员、评审专家、一般用户几种角色，系统管理员负责指标数据的维护，评审专家针对评价对象按照指标进行论文评价。
（2）指标管理模块。维护评价体系的各类指标及权重，包括了增加、修改、删除指标及权重，并允许用户根据需要对评价指标体系作及时调整，评价指标重定义、权重重新分配等功能，保证（下转第31页）（上接第14页）指标体系的导向性、科学性、合理性。
（3）网上评价模块。网上评价是该系统的主要功能。模块完成模糊综合评价的过程包括数据的采集、处理、统计查看结果及打印报表等功能。采集专家对某论文的评判，通过对系统自动采集到得模糊评判记过的量化，可得到评判结果集{U1，U2，……Un}，模糊变换后得到模糊集{R1，R2，R3，……Rn}，从而得出模糊评判矩阵R，最后按照模糊评判算法计算。评价的最终结果可存储在数据库中，也可进行报表打印输出。
（4）评价对象管理模块，主要完成对被评价对象即学位论文的管理，包括对评价对象的增加、删除、查看管理，对已评价对象进行数据输出和评价结果分析功能。
3.结束语
教育硕士专业学位论文是一个复杂性评价问题，网上论文评价系统采用模糊数学模型综合评价教育硕士专业学位论文的质量水平，针对各评价指标之间的内在关系和评价系统的模糊性，利用模糊数学方法对教育硕士专业学位论文进行建模，所得到的量化值在一定程度上能反映论文水平的实际情况，可根据系统需求，调整指标内容和权重，具有很强的可操作性和推广价值。
【参考文献】
[1]龚艳丽，梁纯生，周珊珊，孙娜.研究生学位论文评价指标体系的改革与实践[J].科技成果纵横，2007，（1）.
[2]欧阳明，饶钦焕，杨维.教育技术学专业硕士学位论文评价系统研究[J].电化教育研究.
目前还未有较为完善的学术期刊国际影响力评价体系，《中国学术期刊国际引证报告（2012版）》的推出对于定量评估中国学术期刊的国际影响力有开创意义，在此基础上遴选出的《2012中国最具国际影响力学术期刊》及《2012中国国际影响力优秀学术期刊》对学术期刊走向国际有促进作用。本文分析探讨了该评价体系的意义及完善方向，并从办好中文期刊、重视计量评价工作、客观对待评价指标、提高学术论文质量、重视编辑力的提升等方面探讨了如何办好学术期刊，使其走向国际。
关键词：
国际影响力 学术期刊 CAJ-IJCR 定量评估 引文数据 编辑力
一、国际影响力学术期刊评选的意义
我国学术论文的产量已排到世界第2位，而具有国际影响力的论文数量仅排第9位，国际影响力较低。如何提升中国学术论文的国际影响力是目前急需解决的问题。作为学术论文的载体，学术期刊的国际影响力对学术论文国际影响力的提升有积极影响。如何衡量学术期刊国际影响力？如何使我国学术期刊走向世界，进而走国际化发展路线？这些问题随着中国最具国际影响力学术期刊评选的开启带给我们新的思考。我国学术期刊从关注国际影响力、提升国际影响力已走过十余年历程。[1]而大家所做工作以及关注点，还停留在定性评估，或者是个别期刊在做定量工作，没有上升到对整个中国学术期刊界进行定量评估。清华大学图书馆、中国学术期刊（光盘版）电子杂志社以及中国科学文献计量评价研究中心联合编制的《中国学术期刊国际引证报告（2012版）》（简称2012年CAJ-IJCR），通过定量的方式让期刊界清晰地认识到各自期刊在国际上的传播情况，有利于了解国际读者和用户需求，准确把握国际化发展方向和出版定位，全面提高国际化办刊能力，更好地走科技强国之路。在其基础上又评选出了《2012中国最具国际影响力学术期刊》及《2012中国国际影响力优秀学术期刊》。本次CAJ-IJCR对5000余种学术期刊的国家影响力进行了定量评价，这一工作具有开创意义和实际价值，对我国整个学术期刊界来说是非常有意义的大事、实事、要事，有助于定量化深入了解国际读者和用户的需求，准确把握国际化发展方向和出版定位，进一步加快我国学术期刊“走出去”步伐。
二、国际影响力学术期刊评选体系进一步完善方向
1. 扩大引文数据库来源
2012年CAJ-IJCR引文统计源仅采用SCI（科技类）、SSCI和A&H（人文社科类）收录期刊，EI、SA、CA、JICST、ISTP、ISR等其他世界重要检索系统收录期刊则未被纳入统计源，而这些检索系统收录论文的状况是评价国家、单位和科研人员的成绩、水平以及进行奖励的重要依据之一。显然，目前CAJ-IJCR 引文统计源仅采用SCI影响了统计结果的真实性。因此，其他几家重要检索系统收录期刊应当列入引文数据库来源。
2. 增加计量评价指标
2012年CAJ-IJCR以载文量、可被引文献量、总被引频次、影响因子、即年指标等作为计量评价指标，而北大图书馆推出的《中文核心期刊要目总览》的评价指标是被索量、被摘量、被引量、他引量、影响因子、被摘率、获奖或被重要检索工具收录、基金论文比、web下载量等，[2]中国科学技术信息研究所推出的《中国科技期刊引证报告（核心版）》则采用了多达22项评价指标。[3]尽管评价指标的多少不能说明评价体系的客观及科学，但在分析研究影响力的时候，选择的评价指标尽可能囊括对影响力有关的指标进行考量则是必要的。2012年CAJ-IJCR评价体系对“引文”过于偏重，如5个计量评价指标中的可被引文献量、总被引频次、影响因子、即年指标等4项内容直接关联“引文”，显然这种情况很难客观反映学术期刊的影响力。其他计量指标如被索量、被摘量、被重要检索工具收录、web下载量等也能很好地反映学术期刊的影响力。
3. 合理划分学科
2012年CAJ-IJCR总共设置了50个学科分类，而《要目总览》（2011版）则设置了74个，[4]《中国科技期刊引证报告》（2012版）为61个，[5]可见三者之间对学科分类的划分标准尚存在争议，而2012年CAJ-IJCR设置50个学科类别确实不能准确描述个别学科交叉期刊的类别，如《体育学报》《管理工程学报》等。而学科划分不明确，直接影响该学科领域内的学术期刊的定量评价工作，毕竟最具国际影响力学术期刊的评选是按照学科分类来分别遴选的。
三、提升影响力办刊思考
1. 办好中文期刊也可以提升国际影响力
2012年CAJ-IJCR评选出的 “2012中国最具国际影响力学术期刊”“2012中国国际影响力优秀学术期刊”中中文科技期刊占70.6%，中文人文社科期刊占95.6%，说明中文期刊已经具有相当大的国际影响力。给我们的启示就是，国际影响力的大小并非由期刊语种决定的，英文可以，中文也可以，走向国际并非一定走英文化路线，关键还是要看期刊论文内涵。好的论文反映了所在领域的研究水平、技术水平。只有整个行业的科学技术水平提升了，研究成果才有参考引用价值，影响力才会得到提升。但也应清醒地看到，做好局部内容英文的处理工作非常重要，如文章标题、摘要、参考文献的英文处理等等，这些是一个窗口，是提升影响力的便捷途径之一。
2. 重视计量评价工作
2012年CAJ-IJCR给出了5025家中国学术期刊国家影响力引证报告，而我国学术期刊数量远不止这些，如此庞大数量的学术期刊要想全部获得高影响力是不现实的。根据“二八”定律，20%的学术期刊将占80%的影响力份额，而这次CAJ-IJCR给出的影响力评价数据也基本验证了这一认识。显然，学术期刊的影响力不会平均到每家期刊。面对这一客观存在的事实，如何在激烈的市场竞争中获得优势地位，如何提升自身期刊的影响力，计量评价工作显得尤为重要。提升国际影响力应先稳固国内市场地位，再进军国际市场，其中，计量评价指标和评价方法的选取非常重要。立足国内应从被索量、被摘量、被引量、他引量、影响因子、被摘率、获奖或被重要检索工具收录、基金论文比、web下载量等计量指标入手，提升内涵质量；面向国际应从影响因子、被引频次等指标入手，提升影响扩散力。评价方法最好采用归一化方法，并且能够根据各项指标影响力的大小赋予不一样的权重，尽量做到客观、准确、合理。
3. 客观对待评价指标
影响因子是期刊前两年在统计当年被引用的总次数与该刊前两年总数的比，它是一个相对统计量，可以评价各种期刊，同一学科下，影响因子越大该刊的影响力和作用也越大。目前期刊评选的主要评价指标就是影响因子，如中文核心期刊的遴选，这也导致了目前各数据文献情报系统、读者，以及期刊本身过于强调影响因子的作用。很多期刊把精力放到影响因子的提高上，滥引、错引、自引现象日益严重。如某石油天然气工业类老牌杂志，1992年至2004年一直是北大图书馆评选的《中文核心期刊要目总览》入选，但该刊把提高影响因子的措施用到加大自引上，自2009年至今他引率低于0.5，于2012年跌出中国科技核心期刊，教训深刻。中国知网的研发者对影响因子指标做了大量工作，提出了影响因子指标体系，分别从复合类、综合类、基础研究类、技术研究类等方面计算影响因子，客观上促进了业内对影响因子的认识。其他计量评价指标如被索量、被摘量、被引量、他引量、被摘率、获奖或被重要检索工具收录、基金论文比、web下载量等也应辩证对待。学术期刊应当正视各评价指标不同带来的差距，认真分析总结，寻求解决办法，把论文质量放到第一位。
4. 提高学术论文质量
计量指标都是外界对学术期刊的评价，而真正影响期刊学术影响力的内在因素是学术论文质量。当然，二者也是对立统一的关系。论文质量高，会促进计量指标的提升；而计量指标的提升，会吸引高质量论文。如何提高学术论文质量？首先吸引、培养一批优秀科技工作者，吸引优秀稿源。一方面加强与研究院所的教授专家沟通联系，保持约稿；另外一方面挖掘培养有潜力的年轻人，在论文写作上给予指导，并提供适合成长的平台。其次，完善论文评议制度。无规矩不成方圆。没有完善的制度保障，不能保证期刊的正常运转。通过同行评议，借助同行外脑作用，可以加强对论文质量的监督，并能够提高论文质量。在同行评议过程中，注意回避原则、匿名原则。第三，借助网络信息资源。杜绝学术不端行为已为业内人士所认同，在学术不端检索方面也出现了很多资源，期刊杂志社应用好这些资源，杜绝学术不端行为，一方面净化学术论文环境，另一方面提升期刊品位，在传播过程中占据主动。
目前业内对编辑力提升方面的研究探讨较多，取得了较多成果，[6-8]在此不再赘述。需要强调的是，编辑力的提升对影响力的加强起到正相关作用。排版精美、策划精细的期刊更利于传播。
在2012年“中国百种杰出学术期刊”的名单中，《西安交通大学学报》再次入选，这是其继2008年来连续3年与“百杰”无缘后的首次入选，与该学报一贯坚持的办刊理念密不可分。该学报强调编辑力对期刊质量提升所发挥的举足轻重作用，具体做法是：[9]从初级产品的编辑加工入手，提高期刊论文的层次；通过组织同行评议和编辑的编修指导，将一般性的文章提升为较高水平的论文；努力提高编辑人员的专业素质，借助编辑出版特长来帮助青年学生和教师，将比较粗糙、幼稚的文章提升为严谨的学术论文。可见，编辑在科学技术传播过程中起着枢纽作用，编辑的劳动创造对技术论文的传播起到增值作用，反映编辑处理能力的编辑力的重要程度毋庸置疑。因此，科技期刊在重视专家作者群的同时，不能忽视编辑队伍的培养，在“内外兼修”的情况下期刊才会有长足发展。
结 语
事实上，期刊的发展与否取决于期刊本身的质量，期刊的影响力也取决于期刊本身质量，做精品论文、精品期刊，是期刊的责任。在立足国内影响力提升的基础上，加强国际影响力的提升还有一段较为漫长的路走。当然，我们也希望有一个公平、公正、合理的发展环境，这些需要大家共同努力。
参考文献：
[1] 徐晔.提高我国医学科技期刊质量，努力增强国际影响力[J].中国现代医学杂志，2002，12（5）：109-111.
[2] [4] 北京大学图书馆.中文核心期刊要目总览（2011版）[M].北京：北京大学出版社，2012.
[3] [5] 中国科学技术信息研究所.中国科技期刊引证报告（核心版）[M].北京：科学技术文献出版社，2012.
[6] 李军领.编辑力“五力模型”试探[J].编辑之友，2011（4）：71-73.
[7] 糜倩，万山.编文与做人――对提高编辑力的思考[J].编辑之友，2010（7）：82-84.
[8] 贺圣遂.编辑的信仰、能力与服务精神――从《编辑力》看如何做一名优秀的现代编辑[J].编辑之友，2007（5）：13-16.
关键词：学位论文；问题导向；定量化；评审教师
中图分类号：G642.0 文献标志码：A 文章编号：1674-9324（2017）20-0143-02
近几年，我校教学改革不断深入，为了加强和完善大学生学位论文质量评审标准体系，在综合分析所在学院本科毕业论文质量评审过程中存在的各种问题及其影响因素的基础上，结合一系列学位论文指导和评审的实践经验，依次从明确论文评审目的、建立以问题为导向的论文质量评审内容分类与评价指标定量化以及明确评审教师的资格与职责等方面，探索构建了一套完整的、可执行的学位论文质量评审标准体系，有效地提高了我院大学生的学位论文质量水平和毕业论文教学质量水平。
一、学位论文质量评审目的
学位论文是我国高等人才教育培养计划中占用学时最长、层次最高、综合性最强、最能衡量学生综合素质能力水平的一项科研学术型实践教学环节[1]。根据国家学位条例实施办法的规定，学生要提交毕业论文并通过答辩后，才能取得相应的专业学位。然而，近些年来的大学生学位论文质量在受到因大众化教育扩招带来的学生文化素质和教育需求的层次化和多样化、不断变化的就业形势以及学校在毕业论文教学管理机制等方面的影响，普遍存在研究水平低、选题陈旧不当、内容抄袭拼凑、写作表达水平低、文本格式不规范等各种问题[2，3]。
论文质量评审标准对于教学管理者、指导教师、评审教师和学生都具有非常重要的方向指导和约束作用。因此，制定大学生学位论文质量评审标准目的，应从与论文质量相关的各责任主体进行统一规定和规范，实现全面论文质量教学管理目的和目标。（1）教学管理者：评价检验高等院校教学管理者在学位论文质量监控体系的系统性、有效性、执行性和满意度等方面的教学管理能力水平。（2）指导教师：评价检验导师的论文教学能力水平和责任心，确保严格按照学位论文质量评审标准要求进行正确、准确地教授和指导，调动和激励导师的工作热情和高度责任心。（3）评审教师：评价检验论文评审教师在执行论文质量评审标准的能力水平和责任心，确保评审教师严格依照论文质量评审标准及其指标要求进行客观、公正的评价打分，杜绝评审过程中的因人主观偏向性、学术能力偏差、评审流于形式等问题而在学生及其导师中带来不良影响和消极作用。（4）学生：评价检验学生在综合运用多学科理论知识和技能的综合素质能力以及初步掌握基本科研程序和方法的学术科研能力水平，这应该通过纸质版的学位论文质量和学生答辩质量两个方面进行综合评定。
二、基于问题导向的论文质量评审指标体系
当前我国大学生学位论文质量评审标准仍普遍存在着评审目的不清、定位不明、指标分类不当、评价指标过于笼统单一、指标权重分配不当、评审过于主观化和简单化等一系列的问题，这也是导致大学生学位论文质量不断下滑问题的根源性因素。
基于问题导向的论文质量评审指标体系在改善解决当前大学生学位论文中存在的各种问题及其影响因素上具有针对性、目的性和更好的实践效果。在本科生学位论文质量的指导评审过程中，本文总结本校学位论文中存在的各种不同类型特点质量问题，并结合我国国内教育工作者已发表阐述的相关论文质量问题，提出了如表1所示的学位论文质量评审指标体系及其重要性排序，其中非常重要的评价指标是论文关键内容解答、论文仿真实验解答、论文方案技术路线解答、论文内容率、论文写作表达质量、论文文本格式规范共6项。
论文质量评审指标权重的确定应该以大学生学位论文质量评审目的为导向，尤其应重点关注学生的论文答辩质量和书面论文质量两个层面的教育教学目标。其中，论文答辩质量可以通过“论文关键内容解答、论文仿真实验解答和论文方案技术路线解答”三个评价指标来体现学生在论文研究深度、技术难度、内容理解掌握程度等方面的基本科研素质能力，而书面论文质量则可以通过“论文内容率、论文写作表达质量、论文文本格式规范性、文献格式规范性、答辩报告完备度”等6项评价指标来体现学生的综合文化素质水平和对待论文的认真态度。因此，表1列出的12项评价指标体系的权重是在综合了本校学位论文教学管理目标和论文质量评审目的的基础上，采用主观赋权法而确定，其具体的指标体系权重确定的运算过程就不在此详细介绍了，因为主观赋权法已是广泛普及的一种通用性方法。
三、论文评审教师的资格与职责
评审教师是大学生学位论文质量评审标准体系中的一个重要因素，也是学位论文质量评审标准能否得以正确和准确地进行论文评价的关键环节。在现实中，学位论文评审结果有时会引起学生和指导教师的质疑和不认同问题，甚至还会发生学生申诉的特殊情况。究其根源，评审教师在学术水平和责任态度等方面出现了一定程度上的偏差，这种不良的论文评审行为和结果会在学校师生中造成非常不好的消极影响和不健康的教学氛围。为了彻底解决和避免此类不公正的论文评审问题，应明确制定以下有效措施：（1）论文评审组的人数原则上为5人，人数过少不利于评审结果的全面性和客观性。（2）论文评审教师应具有思想态度端正、责任心强、良好的科研教学水平或博士学历以上等基本资格条件，但评审组长的资格应在具备基本资格条件的基础上，还应具有副教授以上的职称，且近3年内在学位论文评审中无重大过错等问题的关键条件。（3）评审教师职责要求应正确、准确的理解和掌握大学生学位论文质量评审标准要求与评价指标，做到有理有据、客观公正地给出学生及其导师都能接受或满意的论文评审结果。一旦出现论文评审结果有争议的情况，评审组长担负相应的解答或解释工作，且对错误评审结果应该负较大的教学事故责任。
四、结语
学位论文质量评审标准是有效评价我国高等院校大学生毕业论文质量水平的重要技术依据。针对当前学位论文质量评审中常见的评审内容分类简单、评价指标定性化和主观化等问题，文中在结合重庆邮电大学自动化学院的本科生学位论文质量评审经验的基础上，通过明确论文评审目的和评审教师资格与职责，改革建立一种以问题为导向的论文质量评审体系分类内容和评价指标定量化，为指导教师和评审教师的教学评审工作提供了有效的方向指导，并切实有效地改善了大学生学位论文的质量水平。
参考文献：
[1]教育部办公厅.关于加强普通高等学校毕业设计（论文）工作的通知[Z].教高厅12004214号.
【摘要】 本研究采用专家咨询、层次分析等多种方法，在参照发达国家常用的科技评估基础上，结合我国实际情况，建立了一套自然科学基金生命科学重点项目结题评价指标体系，旨在对重点项目完成质量做出较为科学、全面的客观评价。
【关键词】 自然科学基金 重点项目 指标体系
.
【Abstract】 In this article，the means of Delphi method，AHP method，and so on were applied.Considering the native practical circumstances， based on the main index of evaluation of subject generally used in developed countries， this study builds a set of evaluation index system of summarized key subjects in the life and science of natural science foundation. The aim is bringing out a kind of scientific and large objective evaluation of quality of the key subjects.
【Key words】 natural science foundation key subject index system
随着国家对科技投入的逐年增加，项目资助的数量和强度也将随之增加。如何加强对项目的管理就显得特别重要。要解决好这一问题，最重要的就是要建立科学的项目完成质量评价方法，但是迄今为止，国外对科研项目的定量评价研究尚未见报道，我国对科研项目完成质量的评估研究还较为零散，缺少一个公认的、系统权威的评估方法。本研究采用专家咨询、层次分析等多种方法，在参照发达国家常用的主要项目评估指标的基础上，结合我国实际情况，建立了一套国家自然科学基金生命科学重点项目结题评价指标体系，旨在对重点项目完成质量做出较为科学的、全面的客观评价［1］。 实证结果表明，本评价指标体系在结题质量评价中具有客观可靠、简单明了、科学性强、可行性大等特点。
1 材料与方法
1.1 材料来源 本研究材料来源于国家自然科学基金生命科学部“八五”、“九五”资助的重点项目，共评估已结题项目68个。
1.2 拟建基础评价指标体系 自然科学基金重点项目结题评价是对已结题项目完成质量进行评价与分析。根据评价的性质和目的，围绕构成自然科学基金重点项目结题评价课题的各级要素，结合我国生命科学科研课题的规律和特点，构成国家自然科学基金重点项目结题评价初步指标体系框架，见图1。
图1 指标体系初步框架的构建
1.3 确立评价指标体系 首先，采用Delphi 法［2］对上述基础评价指标体系进行专家咨询。按照专家的专业分布、单位分布确定专家(见表1)，选邀40名军内外专家、教授，共组织两轮专家咨询，经过两轮咨询，专家们的意见趋于一致。根据专家们的咨询结果，对基础评价指标体系进行修改，确定国家自然科学基金重点项目结题评价指标体系框架，见图2。
表1 专家的人数、单位分部
图2 指标体系框架的确定
1.4 确定指标权重 根据指标体系特点，选用两种方法确定指标权重。对只有2个指标构成的一组指标，其各指标权重的确定采用Delphi法；对3个或3个以上指标构成的一组指标，其指标权重的分配采用AHP法［3］。通过采取以上方法，各指标的权重就确定了。至此，一个完整的自然科学基金重点项目结题评价指标体系及权重就基本建立，见图3。
图3 确定指标权重
1.5 终末指标的分值确定 各终末指标分值的确定是建立评价指标体系的重要内容，是关系到评价结果准确、可靠、合理与否的重要因素之一。不同评价指标体系的指标有不同的赋分方法，如：“1”分制、“5”分制、“10”分制和“100”分制等。本指标体系的一个显著特点就是指标的层次参差不齐，有的指标只有一个层次，如：“论文”、“专利”、“效益”；有的指标有两个层次，如一级指标“专著”、“学术交流”、“人才培养”下设二级指标；有的指标有三个层次，如一级指标“成果奖”下设二级指标，二级指标下设三级指标。根据以上特点，为使评价结果客观可靠、公正合理，在终末指标赋分时做了以下考虑：(1)“论文”的赋分与所在期刊的影响因子挂钩，即：把期刊的影响因子之和作为“论文”指标的分值；(2)“论文”以外的一、二级终末指标赋10分；(3)三级终末指标赋100分；并将上述赋分的几点考虑制成专家咨询表，向专家进行咨询。经过两轮专家咨询意见达成一致，专家对上述的终末指标赋分的几点考虑表示赞同。
转贴于
专家的权威性对咨询结果的可靠性有相当大的影响。因此，在对某一问题进行咨询时，应考虑专家对该问题的权威程度。专家的权威程度一般由两个因素决定：一是专家对问题做出判断的依据，用Ci表示；二是专家对问题的熟悉程度，用Cs表示。权威程度为判断系数和熟悉程度系数的算术平均值，用Ca表示，即：Ca=(Ci+Cs)/2 。Ca越大，专家意见越有价值，结果越可靠。
本研究在向专家咨询的同时，要求专家依据项目做出自我评价，见表2、表3，按等级分值及公式计算专家权威系数，结果见表4。
表2 专家对各类指标的熟悉程度
表3 判断依据对专家判断的影响程度
表4 专家权威系数的频数分布
由表4可见，80%以上专家的权威系数均集中在0.80分以上，说明咨询专家的权威程度高，能有效地保证本研究结果的可靠性。
2 指标体系的应用与验证
根据已确立的指标体系，对国家自然科学基金委生命科学部“八五”、“九五”资助的部分重点项目进行评估。本次共评估68个项目，分别算出每个项目的综合得分，见图4。
图4 68个重点项目综合得分
根据被评项目综合得分的分布情况，将综合评分划分为4个等级：>8分为优，8～5分为良，5～2分为中，
表5 两种方法对68个项目的评价结果比较
两种方法评估为优的符合率为81.2%，良的符合率为55.56%，总符合率为67.6%，结果表明，用建立的评价指标体系对项目进行评价结果与自然科学基金委组织的专家验收评议有较高的一致性，这在一定程度上说明，整个课题的设计是严密的，采用的方法是正确的，建立的项目结题评价指标体系是科学合理的，对国家自然科学基金重点项目具有较好的评价功能，因此评价项目的完成质量能得到较为客观可靠的结果。当然，本研究只是对项目结题的定量评估做了初步探索，更深入细致的工作还有待在今后工作中不断完善。
3 讨论与建议
3.1 评价指标体系思路的创新 (1)本研究首次建立了国家自然科学基金重点项目结题评价指标体系；(2)对结题项目完成质量进行完全定量性的评价，这在一定程度上克服了定性评价的不足；(3)如对本评价指标体系中部分指标和权重进行修改适用于不同层次、不同类型课题的中期评价的结题验收。
3.2 指标体系、权重及终末指标分值设置的特色 (1)对3个或3个以上指标构成的一组指标权重的设置采用层次分析法；(2)对只含2个指标构成的一级指标的权重采用特尔斐法；(3)终末指标的分值设定采用专家咨询法，这样使量化结果更为准确、合理、可靠。
3.3 评价指标体系的功能 (1)导向功能：本评价指标体系中设立的指标皆为科技产出的主要指标，引导人们评价基金项目的完成质量，主要是评价项目的科研产出情况。从本指标体系中各指标的权重和赋分来看，充分体现了基础研究项目发表高水平论文的重要性，这在一定程度上引导科技人员积极外投学术论文；(2)督促、激励与自律功能：应用本评价指标体系进行中期评审，可以在课题进展过程中期，对课题的各项指标予以评定，以肯定现有成绩，及时发现问题，督促进展较差的单位和个人尽快调整计划、采取措施、改进不足；并依据评价结果及时调整课题，对水平较差的课题停止经费资助，滚动并加入一批水平较高的项目，提高科研课题整体水平。
3.4 评价指标体系的可靠性 在评价指标及评价内容的选择以及权重的确定上，注重体现评价主体的价值观念和价值标准，反映评价主题的要求。对数据、资料及统计结果用正态分析等统计学方法进行分析、处理，保证结论的科学性与可靠性。本研究为保证所得数据的真实性，制定与本指标体系相匹配的课题情况调查表，组织专家进行认真咨询，通过国家自然科学基金委取得课题相关资料和数据，因此认为，调查所获得的数据、资料及研究结果是真实、可靠的。
3.5 评价结果的分析 (1)本指标体系的评价结果与通常采用的专家验收结果相比，两者也存在着一定的差异；(2)在指标体系评价的68个项目中，分析各指标的得分情况以及对综合评分的贡献率，不少项目的论文、成果奖、专利等指标得分及对综合评分的贡献率均不高，说明项目在结题时产出的高等级成果少。
4 建议
(1)建议运用评价指标体系对项目完成质量进行评价，以便客观评价项目完成质量；(2)建议成立专门项目评价机构，以确保评价的规范和公平、公正、合理；(3)建议加强课题结题后的跟踪管理。
【参考文献】
1 赵履芳.人事管理学概要.北京：劳动人事出版社，1988，12-18.
关键词：高校教师；科研生产力；测量指标：对比研究
随着知识经济时代的到来，科学技术和创新能力已成为国家间竞争的核心要素。高校作为国家科技创新体系的重要组成部分，扮演着越来越重要的角色。作为科研生产活动的主体，高校教师的科研生产力在很大程度上影响着高校整体的科研产出水平和创新能力。
因为科研产出具有不确定性（即较多的投入并不一定能够获得相应的产出结果，在自然科学研究中表现得尤为明显）、多样性、连续性（即本期的研究成果可能会影响下一期的项目申请）、直接传播性、社会影响深远性等，所以，教育界对于高校教师科研生产力的测量指标莫衷一是。
一、概念界定
科学研究是科学工作者生产知识、应用知识的活动，这种活动属于高度社会化的一般劳动，使人类拥有认识和改造自然的巨大力量，反映了人与自然的关系，应该归属于生产力的范畴。学者赵红州认为，社会的科学能力应该属于特殊的生产力，也就是科学领域的生产力或科研生产力。谢彩霞等人指出，科研生产力由科研生产要素构成，整个科学研究过程离不开科研生产要素。姚东瑞进一步指出，科研生产力作为科学研究活动的一种产出能力，既包括通过发现、创造而实现创新理论、生产知识与发展科学的能力，又包括通过整合和应用而实现技术创新、知识运用和转化的能力。叶钟灵就美国对科研生产力的评价指标进行了综述，按研究开发工作的成果进行统计，常见的指标有专利发明数、论文出版数、成果得奖数、论文引述数等。科研生产力是科学劳动社会化的必然结果，结合已有研究，本文中的科研生产力是指科学研究活动的产出能力，具体表现在产出的数量和质量上。
二、文献综述
（一）数量测量
从国家层面上看，国外对高校教师科研生产力的评价非常重视，尤其是美国和英国。美国主要是从教学、科研以及服务三个方面对高校教师进行评价，其中科研评价包括学术研究和科研项目。学术研究包括举行学术报告、展览，发表学术论文、专著，申请专利等；科研项目包括开展各级政府部门的纵向基金项目研究，为社会上的公司、企业进行人员培训，提供技术服务等。英国对高校教师的科研评价也比较系统，设有英国大学科研评价体系，由专家组按照统一的标准，依据达到国内或国际先进水平的成果数量，将评价结果分为七个等级同。澳大利亚科研评价体系则包括文献计量指标和非文献计量指标。文献计量指标包括出版物（赋有权重）、引用、展现科研特色的结构指标（包括出版物的领域分布、合作级别、科研类别）。非文献计量指标包括常用非文献计量指标（科研人员数量、科研时间、外部资金、研究生数据、荣誉和奖励、演讲、国际访问），适用于人文社会科学的非文献计量指标（与校外机构的研究合作产生的方案以及合作发表的出版物、参与大学管理、为社会提供学术服务等），以及适用于创造性艺术学科的非文献计量指标（舞蹈家、演员、音乐家、剧作家在公开场合的表演，建筑师和设计师的建筑或者创造等）三个方面。
国外研究者认为，虽然用出版物的数量来衡量高校教师的科研产出有诸多局限性，但是从数据的可得性以及可靠性出发，出版物的数量是一个很好的评价高校教师科研产出的指标。出版物主要指发表的论文和所著专著两个方面。
国内学者在测量高校教师科研生产力时，也倾向于采用出版物的数量作为重要指标，但是，考虑到学科性质的不同以及科研产出的多样性，在借鉴国外经验的同时，国内学者对高校教师科研产出的测量指标做了进一步整理，主要从指标分类、指标筛选两个方面进行。他们认为，科研产出主要表现为学术专著、、专利授权、成果鉴定、技术转让等方面。
1.指标分类
有学者根据科技绩效评价产出指标性质，将指标分为源生指标、追加指标和派生指标三类。源生指标包括论文、专著、专利授权、成果鉴定、技术转让、人才培养等；追加指标建立在源生指标的基础之上，包括科技奖励、论著引证、文章被索引及摘录情况等；派生指标是建立在优秀的源生指标和优秀的追加指标基础之上的，包括学会、研究会、专业期刊的兼职、获得荣誉称号等。学者刘丹平、周建方等人采用层次分析法将高校教师科研能力评价指标体系分为目标层、准则层和指标层。目标层即高校教师科研能力评价，准则层包括科研项目、科技成果、论文、论著、专利与著作权、科研综合能力6个方面，指标层包括国家级科研项目、省部级科研成果、三大检索论文、学术专著、发明专利、专业创新能力、学科建设和团队合作精神等24项。
2.指标筛选
在各类指标中可能存在一些次要的评价指标，因此，需要对这些指标进行筛选，分清主次。通常使用的筛选方法主要有系统分析法、文献资料分析优选法以及应用数理统计法等。靳希、张火春和姚力等人在总结国内外有关业绩考核工作经验的基础上，根据专业技术人员业绩考核的目的，高校教师从事科研工作的特点以及模型设计的基本原则，建立了教师业绩考核的指标体系。这个体系包括研究任务、科研专著、科技论文、鉴定科技成果、获奖科技成果、专利成果以及研究效益7项指标。在这7项指标的基础上，根据科研绩效定量评价体系的设计原则，贺天伟和张景林增加了培养人才这一指标。郑秀才从承担的科研任务和取得的科研成果两个方面综合设定了高校教师科研绩效评价指标：科研项目及经费、科研论著（期刊和专著）、科技成果（专利等）、科技成果应用、科技成果获奖。胡金秀、周国强等人从纵向科研立项、科研经费、成果鉴定、科技奖励、学术论文、专利及计算机软件、著作、对合作完成科研业绩的分配这几个方面来考察科研绩效。胡俊在分析了国内外教师科研业绩以及高校教师科研特点的基础上，建构了包括学术论文、著作、鉴定成果、技术转让等在内的新的指标体系。
为使对高校教师科研生产力的评价科学、合理、全面、有效，在已有研究的基础上，学者们进一步完善了科研生产力的评价指标体系。刘仁义选定以下指标作为科研产出指标：学术论文，学术著作，专利申请与授权，科技成果鉴定，研发成果应用和其他科技服务，人才培养，科技奖励，论著被引、被索及被摘，学术兼职，纵向项目，纵向科技经费，排名与贡献率，这些指标下又分二级指标，以计算教师的科研产出。吴小妹通过专家访谈和问卷调查的方式，对高校教师科研能力指标框架进行了修正，其中，科研产出指标又分为、发表专著、获取专利、获得奖项、研究报告、项目资助6个二级指标，这6个二级指标下又分论文级别、作者排名、出版社等级、专著字数等15个三级指标。张宏琴在对当前国内许多高校正在使用的评价体系进行考察的基础上，提出了科学研究指标、成果指标、学术论文指标、人才培养情况、社会工作情况（指学术讲座、党政职务）等适用于教学研究型大学的高校教师科研绩效评价指标体系。
（二）质量测量
国外学者考虑到出版物之间存在着质量差异，高校教师在一本引用率很高的期刊上发表文章和在一本几乎没有人引用的期刊上发表文章所付出的努力和时间是不同的，因此，仅以出版物的数量来衡量高校教师的科研产出是片面的。于是，不少学者在计算出版物数量的基础上增加了期刊质量权重以及文章引用率，英国学者杰兰特·琼斯和吉尔·琼斯为了区分文章的质量，将出版物分为学术期刊上的论文、学术期刊上的书信、专业期刊上的文章、流行杂志上的文章、专著、书籍、官方报告、对编辑工作的贡献8类。还有学者认为，不同的学科面临着不同的文章发表的竞争压力，因此，不同学科学者的发表文章数量应该用竞争压力进行修正。而竞争压力可以用与该学科相关的期刊提供的空间和教师的发表需求之间的比值计算。
国内学者也意识到了这个问题，在对高校教师科研生产力测量的指标进行层层筛选后，国内学者考虑到各个指标对科研生产力评价结果的贡献大小不同，设计了各个指标的权重。确定权重系数的方法通常有三种：主观赋权法，如德尔菲法、同行评议法、强制打分法等；客观赋权法，如熵值法、层次分析法等；主客观结合赋权法，如高太光、陈培友采用的群决策特征根法（专家评后进行量化评价）计算教师科研产出评价指标权重。
大学排名是对高等教育发展水平和质量进行的重要测量和评价，大学排名的使命是让大学或者利益相关者了解学校存在优势与不足，从而改进教育教学，产生与其办学宗旨相对应的社会影响和价值。而教育评价机构就是对教育进行估价的机构，所谓的第三方高等教育评价机构则是能满足“公正”、“公平”、“公信”的要求，担负着“裁判员”角色的高等教育评价机构。第三方教育评价机构应该是与高等教育的主办者和承办者没有直接的利益关系方，避免既是“教练员”、又是“裁判员”、还是“运动员”的现象发生，这是确保大学排名“公正”、“公平”、“公信”的基本前提[1]。显然，政府的科研部门、高等院校不宜进行大学排名，而应该由如民间机构、新闻媒体和社会大众等担负着“裁判员”角色的第三方教育评价机构来承担[2]。
一、第三方评价机构下的大学排名
对高校办学水平、效益和质量的评估，历来是一个难题。要搞好高校评估，一方面需要专业化的人士进行专业化评估，另一方面需要一个专业化的机构来实施。而当前我国在这方面还严重缺乏专业化的第三方评估机构，而且他们的重要工作还是放在大学排行榜上[3]。
1987年，中央教育科学研究所的蒋国华教授等在《科技日报》发表了中国第1个大学排行榜。1987年至今的近30年来，大学排名得到社会的高度关注，也是高教领域近年来的一个研究热点。总体来看，目前国内近20个曾经进行过大学排名研究的高等教育评价机构中，有稳定的评价指标体系、能够连续发表大学排名的评价机构只有中国管理科学研究院、网大（中国）有限公司、中国校友会网、武汉大学的中国科学评价研究中心、上海交通大学高等教育研究院世界一流大学研究中心、浙江大学教育学院、中国人民大学高等教育研究中心等7家，其中担负着“裁判员”角色的所谓第三方高等教育评价机构，只有中国管理科学研究院、中国校友会网、网大（中国）有限公司3家。作为从理论上所谓能满足“公正”、“公平”、“公信”的第三方教育评价机构，以上三大排名虽然产生了广泛的社会影响，但也经常受到各方面的质疑，无论是其指标体系的选择、权重的确定，还是其评价的原则和倾向性等，都无法满足人们的各类需要。因此，在大数据时代，如何把握各项信息，以更客观地对大学的基本情况进行描述，是我们在未来需要迫切解决的问题[4]。
二、三大大学排名评估体系的特色分析
（一）中国管理科学研究院的大学排名倾向于评价大学近期的数值总量
中国管理科学研究院的大学排行榜重点强调评价大学数值总量，强调外延发展和数量取胜。因此，这种大学排名对合并成功、持续扩招的大学的名次提升很有益处，变相地支持了政府的合并、扩招政策；鼓励迎合了创办世界一流大学、一流学科的需要，是与高教政策互相呼应的（蔡言厚，2013）。该排行榜自诞生以来，获得了社会较大的关注，也得到了不少肯定和支持。在评价过程中，该排行榜发现目前国内所有的数据库都不能满足评价的需要，因此，中国管理科学研究院《中国大学评价》课题组研制出了专门用于评价大学和科研机构的科学引文数据库（SCD），这是很有特色和优势的一个方面[5]。
（二）中国校友会网的大学排名倾向于评价大学近期的数值质量
中国校友会网的大学评价指标体系有三个特点：一是在科学研究的三级评价指标中，不采用一般论文指标，而是采用国家级奖励成果，特别是“国家重大奖励成果”指标；二是在人才培养的三级评价指标中采用了“毕业生质量”这一指标；三是为了改变目前重理轻文的现象，平衡自然科学中的两院院士，在社会科学的评价指标中引入了“中国杰出社会科学家”。该排行榜的三级指标与时俱进，凡是能够反映高等教育质量水平的新信息都可以随时纳入三级评价指标参数中，有鲜明的时代特色。但是，该排行榜的三级指标数据受到政府信息公开程度的限制，很多好的设想由于政府信息不公开而无法实现[5，6]。
（三）网大（中国）有限公司的大学排名倾向于评价榜单前一年大学的数值均量
网大（中国）有限公司的评价思想很重要的一点是强调评价大学数值均量，鼓励大学走内涵发展的道路。这种评价思想得到了不少没有进行过大规模合并的高校的支持，也为广大高考学生提供了另一个选择大学的参考角度，使该排行榜具有相当的市场。网大排名坚持精英教育思想，在论文等评价指标上，理工学科选择两个国际数据库的数据，而人文学科选择一个国际数据库和一个国内数据库的数据（蔡言厚，2013）。由于国内外数据的差异，有关指标有利于以人文学科为主体的学校，不利于以理工学科为主体的学校，因此，评价的公正性受到挑战[5]。
三、趋势与展望
（一）相互交融，你中有我，我中有你
在我国第三方高等教育评价机构的大学排名指标体系中，2010年以前中国校友会网和网大（中国）有限公司都采用各类投入指标，相互交叉的数量较多。在产出指标中，中国管理科学研究院和网大（中国）有限公司都采用科研论文指标，反映学生变化的产出指标仅在中国校友会网的“中国大学排行榜”中出现。从2010年起，中??管理科学研究院开始使用投入指标，引入全国百篇博士学位优秀论文、各类国际性全国性竞赛获奖数等。中国校友会网从2008年开始，为了平衡以工学为主的学校与以理学为主学校的评价指标，增加《自然》、《科学》等顶级论文指标，在不久的将来可能增加ESI的论文指标。这些都是三个大学排名评价指标相互交融、你中有我、我中有你的体现[5]。
（二）多样性发展，既排综合，也列单项
第三方高等教育评估机构的评价内容，正在从综合排名向学科门类、学科、专业和核心竞争力单项指标排名发展。比如，中国管理科学研究院的学科、专业排名，中国校友会网的高校杰出校友排行榜和高校科学贡献力排行榜，网大（中国）有限公司的录取新生质量排名。中国管理科学研究院和中国校友会网对高等教育的评价内容和评价产品是与时俱进的，而网大（中国）有限公司的评价内容和评价产品基本是不变的。这种变与不变各有利弊。评价内容和评价产品与时俱进的好处是使评价更符合实际和有利于大学的特色发展，但一所大学在排行榜中名次升降的真实原因不容易辨别；而评价内容和评价产品不变，则容易搞清一所大学在排行榜中名次升降的真实原因，但评价很难符合实际，不利于一所大学的特色发展[5]。
（三）各有特色，与时俱进，突出重点方向
中国管理科学研究院综合排名的特点是以数量取胜，其实质是毕业生和论文排名，而国内论文是靠自己研制的数据库。因此，中国管理科学研究院评价的最佳前景是学科、专业的评价。而中国校友会网由于其指导思想的开放性，指标体系弹性很大，这种评价是动态的，是与时俱进的，是能够客观反映一个大学发展状况的，特别是中国校友会网的杰出校友榜和科学贡献力榜是有生命力的。这两个排行榜无论是为国家进行教育资源配置，还是为大、中学生选择专业、报考大学，亦或是为各个学校选择发展特色方向，都可以提供依据[5]。对于网大（中国）有限公司来讲，由于其指导思想是“拿来主义”，其评价指标体系的模式完全是按照《美国新闻与世界报道》的评价指标体系来设计的，忽视中国的国情，而且由于其评价指标体系从2000年起基本不变，在实施过程中，声誉调查样本太少，信誉度不高，因而，网大排名将会遇到不少挑战，其重点会在录取新生质量排名、有关内涵发展指标排名上具有发展前景（蔡言厚，2013）。
根据蔡言厚教授的预测，未来国内第三方高等教育评价机构有可能产生一个综合上述3家评价指标的中国大学排行榜。这个评价机构可能是一个新的评价机构，也可能是现有3家评价机构的联合体[5]。
通过对WRWU的由来及评价理念，特别是其评价指标体系构成及发展演变等的全面考察，分析基于网络计量的世界大学评价及排名活动的研究进展，并对其存在的问题进行简要说明和论述。
【关键词】
WRWU 网络计量 大学排名 评价指标
引言
20世纪末21世纪初，网络化浪潮席卷全球，并日益深刻地影响、渗透到了人类社会生活的方方面面，高等教育领域也不例外。随着e-Science和e-Learning时代的来临，作为高等教育主阵地的大学，正不断经历着从自身职能、组织结构到管理方式、教学方式等的全方位变革，并进而影响到大学评价及排名工作的开展。大学评价及基于不同评价理念和指标体系的大学排行榜的，历来广受关注，且争议不断。在这其中，2004年由西班牙“网络计量实验室”（Cybermetrics Lab）率先研制、的基于网络计量的世界大学排名――“Webometrics Ranking of World Universities”（下文统一简称为WRWU）可谓独树一帜，成功开辟了网络化时代大学排名研究的一片新天地[1]。
WRWU最初名为“World Universities’ Ranking on the Web”，现又改称为“Ranking Web of Universities”。自2004年至今，这项活动已持续近10年时间， 2006年以来每年1月和7月两次WRWU最新排名结果的公布，使得它在世界各国高等教育及学术领域的影响力日益扩大。
本文旨在通过对WRWU的评价理念、评价指标体系构成及发展演变的深入考察和分析，探讨基于网络计量方法的世界大学排名活动的研究进展及存在的问题，以期为网络化时代大学排名研究工作的深入开展提供有价值的参考和启迪。
WRWU的由来及其评价理念
早在20世纪90年代中期，西班牙“网络计量实验室”即在既有科学计量学研究工作的基础上，开始从事网络学术活动的定量评价研究；1997年，它们创办了一本与实验室同名的纯电子期刊――Cybermetrics（经同行评议，可开放获取），致力于发表网络计量方面的学术论文[2]；1999年，在欧盟资助项目EICSTES中，它们完成了对欧洲大学的网络数据的收集工作；2003年，受到国内上海交通大学高等教育研究所的世界大学学术排行榜（Academic Ranking of World Universities，简称ARWU）的影响，它们启动了对WRWU的研制；2004年，第一个WRWU排名榜单公布；2006年以后，WRWU逐渐固定在每年1月和7月两次；自2008年以来，WRWU的排名对象除世界各大洲的大学外，还进一步扩充至研究中心、医院、知识库和商学院等，排名规模已从最初的2 000多所大学发展到超过21 000多家的各类高等教育机构（Higher Education Institutions，HEIs）[3]。
作为西班牙“网络计量实验室”历经多年潜心研究而形成的一项应用性成果，WRWU准确捕捉到了当今世界的网络化发展大势及其对高等教育的全面渗透和影响，对众多传统的、非网络计量视角下的大学评价和排名工作，起到了非常有益的补充和拓展作用。
基于对网络环境下学术研究活动的全面考察和分析，WRWU认为，网络的开放性，不仅能全面地反映研究人员的活动和成果，也提供了更多非正式学术交流的可能性，且这种可能性在传统纸质出版物中是无法获得的；学术论文的网络出版，不仅保持了同行评议的高质量标准，而且成本更低，潜在的读者群也更大；新兴的“开放获取运动”（Open Access Initiatives，简称OAI）更是加快了学术研究成果向全社会及广大发展中国家扩散、传播及利用的速度和效率；[4]……有鉴于此，WRWU将其大学评价及排名工作进行了明确定位，强调它们的排名目标及研究初衷主要是以大学网站域名为分析对象，致力于对大学的网络学术表现进行评价，以促进学术研究成果在网络环境中的公开、分享和自由获取。一旦大学的网络表现评价低于其学术成就的期望水平，大学当局应当重新考虑自身的网络政策，并增加、提高学校网络出版物的数量和质量。
因此，在具体排名实践中，WRWU并不关心大学网站自身的各种物理设计、可用性或者在访问者中的流行度等，而是主要侧重于其在网络学术活动中的表现和影响力。WRWU这一简明、单纯的评价理念，决定了目前它既不是一个综合性的大学排行榜，也不是一个供学生和家长对大学进行比较和挑选的排行榜，甚至也不是一个能够全面衡量大学各种网络表现的排行榜。
WRWU评价指标体系的构成及其演变
任何评价活动的开展都需要设计一套评价指标，而指标（体系）的设计则通常会严格秉承并遵循其评价理念，并确保为实现评价目标而服务。WRWU的评价指标体系非常简单实用，一直由3-4个具体的评价指标构成，与其评价理念的简明风格保持了非常良好的一致性。
具体来说，WRWU评价指标体系的构建，主要来自于对1998年丹麦学者P. Ingwersen提出的网络影响因子（Web Impact Factor ，简称WIF）[5]的“Links/Webpages（L/W）ratio”计算模式的一种转换处理，即由“（L/W）”调整为“aL+bW”[6]。这里，“L”表示网络的链接数量（质量因素），“W”表示网页数量（数量因素），两者在指标计算前需进行必要的归一化处理（考虑到指标数据的幂律分布特性，主要实施“log-normalized”处理）；而“a”和“b”表示“L”和“W”各自分配得到的权重值，且a+b=1。
自2004年以来，WRWU一直使用“aL+bW”这种指标综合加权评价模式，其在不同时间段具体使用的评价指标的构成情况及各指标含义说明如表1所示：
通过对表1的分析解读，不难形成以下几点基本判断（或结论）：①WRWU使用的评价指标均是客观的定量指标，并在保持基本稳定的基础上，适时作出了少量的修改和优化，试图更准确地描绘出全球高等教育机构的网络学术表现；②在指标权重分配上，多年来也保持着相对的稳定，并基本维持着“质量”和“数量”并重（各占约50%）的平衡局面；③一些新指标的创设，例如“Google Scholar”和“Excellence”等，进一步突出并强化了大学的学术活动及研究成果在网络评价中的地位和作用；④在评价指标数据的获取方面，逐渐减少了对搜索引擎的依赖性。
相关问题分析及讨论
WRWU评价指标体系的构成及近10年来的发展演变通过表1得到了较为清晰的展示和说明。目前，WRWU已成为继中国上海交通大学的ARWU（Academic Ranking of World Universities）和英国Times Higher Education Supplement的“World Universities Ranking”之后的第三个有较大影响的全球性大学排行榜[7]。综合分析表1内容及WRWU在当前大学评价领域所产生的影响力，本文认为，WRWU还存在着以下问题值得关注和思考：
WRWU的评价理念是否需要调整。目前，WRWU主要致力于对大学学术活动（成果）的网络发表及出版进行评价和排名，但随着网络化进程的日益加快，Web平台对于未来大学肩负的全部使命的重要性无疑将更加凸显。不难预见，在21世纪的第二个10年里，（大学）网站会成为一个值得信赖的（实体）大学的镜像（trustworthy mirror of the university）[6]，它除了是一个十分重要的学术交流平台之外，还会成为网络教育（off-campus distance learning）的重要渠道以及吸引各类研究人才、科研资金和信息资源的集成化展示窗口。如此情形之下，WRWU的评价理念如果不进行调整或扩展的话，评价工作的局限性将越来越大。因此，如何突破当前的网络学术表现评价，将评价活动拓展到包括网络教育、网络课程、大学数字图书馆及研究成果的社会化利用等在内的更广阔的评价对象上，已成为WRWU面临的一个无法回避且极具挑战性的研究课题。
如何平衡评价指标数据获取的质量与效率。2010年以前，WRWU对搜索引擎的依赖性非常强，几乎所有的指标数据的获取都来自于搜索引擎。虽然搜索引擎可以自由使用，数据获取简便公开，透明度高，但搜索引擎收录范围的不全面及存在的地域倾向性，以及各种搜索作弊及商业化行为的泛滥，导致数据获取的质量始终难以保证。
近年来，WRWU在指标数据获取上逐步减少了对搜索引擎的依赖，通过和Majestic SEO、ahrefs 和Scimago Group等商业公司的合作，数据质量可以得到基本保证，不过这可能又导致了评价工作对商业公司的依赖，并相应地影响到数据获取的效率及成本付出。另外，由Scimago Group提供的“Excellence”指标数据目前还只覆盖5 200多所大学，只占全部排名机构的约1/4，这对WRWU排名数据的完整性也会造成一定影响。因此，随着评价工作的持续进行，如何平衡、兼顾好指标数据获取质量与效率之间的关系，也是未来值得WRWU慎重对待的问题之一。
非网络评价指标的引入意图及效果值得关注。在新版WRWU评价指标体系中，我们注意到新增的“Excellence”是一项与网络表现无关的学术研究评价指标，其指标数据主要由Scimago Group公司基于世界顶级学术期刊出版商Elsevier提供的Scopus全文数据库派生而来[8]。“Excellence”的引入与WRWU所倡导的基于网络计量的大学排名策略似存在一定程度上的“名不副实”。在传统的各类中外大学排名活动中，与“Excellence”用途相似的科研评价指标曾被大量使用，例如“高被引论文数”、“ESI论文数”、“ESI引文数”、“被SCI-E和SSCI收录的论文数”、“Science和Nature论文数”等[9]。因此，“Excellence”的引入是否意味着未来WRWU的大学评价将不再单纯局限于网络计量分析？或者，它是否会引起WRWU排名理念的进一步变化，并与传统大学排名理念实现某种程度上的融合？对此也需要予以密切跟踪和观察。
此外，作为一项主要基于网络计量的大学排名活动，WRWU还面临着一系列颇具网络特色的困扰。例如，网络链接中的大量噪音数据、“Size”和“Rich files”等指标数据的学术品质含量以及常见的域名问题（包括一个大学多个域名、与其他机构共享一个域名、大学合并或更名引起的域名变化、对国际性内容（英文）使用替代域名等），所有这些都会严重影响到WRWU的排名结果。这里不再赘述。
结语
作为一个新兴的规模最大的全球性大学排行榜，WRWU至今已走过近10年的发展历程。WRWU首创的基于网络计量的大学排名策略，紧密契合了网络化时代对世界高等教育变革产生的现实需求，为大学评价及排名工作的深入开展开辟了新的研究视角。当今社会刚刚踏上网络化征程的漫漫长路，未来WRWU如何不断修正、完善其评价理念及评价指标体系，并将排名结果持续下去，值得学界关注。
[参考文献]
[1] Webometrics sanking of world universities [EB/OL]. [2010-05-20].http：//webometrics.info/en.
[2] Cybermetrics[EB/OL]. [2013-06-10]. http：//cybermetrics.cindoc.csic.es/.
[3] Ranking web of universities [EB/OL].[2013-06-10]. http：//webometrics.info/en.
[4] Aguillo I F， Granadino B， Ortega J L， et al. Scientific research activity and communication measured with cybermetric indicators[J]. Journal of the American Society for the Information Science and Technology，2006，57（10）：1296-1302.
[5] Ingwersen P. Web impact factors [J]. Journal of Documentation，1998，54（2）：236-243.
[6] Ranking web of universities[EB/OL]. [2013-06-10].http：//webometrics.info/en/Methodology.
[7] 周源. 全球大学网络计量排名实证分析[J].中国制造业信息化，2009，38（23）：53-57.
关键词:差异度;TOPSIS法;城乡统筹;指标系统
中图分类号:F12 文献标识码:A
统筹城乡发展是推进城乡一体化,打破城乡二元结构,完善社会主义市场经济体制的必然趋势,也是构建社会主义和谐社会,推进社会主义新农村建设的一项重要内容。从“十六大”全面建设小康社会和完善社会主义市场经济体制的决议中提出统筹城乡发展的思想以来,对于城乡统筹的研究已经成为国内研究的一个热点领域。大量专家学者在理论方面进行了深入的探讨研究,但是针对城乡统筹发展过程中城乡之间差异度的研究还比较少见,并且在评价指标复权上要么采取主观复权,要么采用AHP法,致使评价结果很容易受到人为主观因素的影响,还有待于进一步完善。本文在指标体系的构建上充分借鉴前人的研究成果,在评价方法上采用改进的TOPSIS法规避人为主观因素的影响,希望能为以后的研究提供一定的借鉴意义。
一、城乡差异度评价指标体系构建
(一)评价指标体系构建的原则
1、科学性原则。评价指标体系的设计必须是建立在科学的基础上,客观真实地反映城乡之间在城乡经济发展、城乡居民、城乡社会发展水平方面的差距,通过差距的计算以求真实、客观、准确地反映城乡发展中的差异性。
2、系统性原则。城乡统筹发展中城乡差异度指标体系是一个复杂的系统,体现一定的层次性,各个指标之间既相互独立,又相互联系,构成一个有机整体。本指标体系分为四个层次:第一层为总目标层,即城乡发展差异度;第二层为子目标层,即城乡经济发展差异、城乡社会发展差异、城乡居民之间的差异;第三层是在第二层基础上的进一步细化;第四层是具体指标层。(表1)
3、可操作性原则。评价指标体系的构建必须充分考虑相关资料数据的可获得性及便捷程度,使所有数据具有方便可靠的数据来源,对于难以获取的用相关的指标代替或者尽量舍弃。
(二)评价指标的量化方法。城乡统筹发展城乡差异度评价指标体系中具体指标层指标值的确定:首先计算城乡之间相应指标的差异系数,然后转化为具体指标层的相对应指标的指标数值。其计算公式如下:
式中,Xi代表城乡之间i指标的发展差异值,ai代表农村的i指标值,bi代表城市的i指标值,ai/bi(或者bi/ai)代表城乡之间的差异系数,所以Xi值越大代表针对i指标的城乡之间的差异越小,反之,则城乡之间的差距越大。
二、TOPSIS法的基本原理及步骤
(一)TOPSIS法的基本原理。TOPSIS法是一种距离综合评价法,通过测度各指标评价值向量与评价的理想解和负理想解的相对距离对评价对象进行评价排序。它的的优点在于利用标准化后的原始数据矩阵,找出评价对象的理想解和负理想解,并且测度与理想解和负理想解的相对距离。在相当长的一段时间内,要实现完全意义上的城乡统筹协调发展是比较困难的,所以我们可以假定这个理想解,即以2020年城乡统筹发展的目标作为理想解,通过测度各年份指标值与理想解的距离,从而确定与完全意义上的城乡统筹协调发展的距离。
(二)TOPSIS法的基本步骤。假设有N个评价对象,每个评价对象有P个评价指标,P个评价指标对应的权重向量W=(w1,w2,…,wp),Xij表示第i个评价对象的第j个评价指标值。
STEP1:列出对N个评价对象的P个指标的数据矩阵A:
STEP2:指标数据的规范化处理。本文涉及的指标都属于效益化指标,即指标的数值越大,越靠近理想解,城乡差异越小。对A矩阵中数据进行规范化:
三、改进的TOPSIS法在重庆市城乡差异度评价中的应用
(一)子系统差异度的计算。城乡统筹发展的最理想的状况不是消灭农村,而是实现城乡一体化,本文以重庆市1999～2007年的数据资料为研究对象,以2020年城乡发展需要达到的目标为理想目标值,即引入指标评价的最理想解Z+=(0.9,0.995,0.95,…,0.99)。应用TOPSIS分别求取城乡经济差异、居民差异、社会差异三个子系统的各年份差异度,(各子系统的指标权重见表1)。
Di+(经济)=(0.681,0.691,0.699,
0.742,0.722,0.557,0.655,0.676,0.619)
Di+(社会)=(0.417,0.428,0.568,
0.531,0.483,0.489,0.574,0.633,0.673)
Di+(居民)=(0.768,0.782,0.789,
0.815,0.842,0.848,0.845,0.859,0.878)
(二)城乡总体差异度计算。在城乡经济差异、居民差异、社会差异三个子系统的差异度基础上,差异度的最理想解为:(0,0,0),应用TOPSIS法计算城乡总体差异度:
Di+=(0.591,0.602,0.660,0.666,
0.600,0.648,0.663,0.698,0.705)
(三)数据结果分析
1、重庆城乡总体差异度比较大,并且总体呈现上升趋势,在重庆市确立为城乡改革试验区之后,上升的趋势明显减缓,这与重庆市大城市带动大农村的背景条件下进行改革是相吻合。在2004年差异度出现了一个低谷,主要原因是由图1所示的经济差异度和社会发展差异度的降低造成的。同时,城乡居民的消费水平、恩格尔系数以及收入差距的减小也验证了这一点。(图1)
2、重庆市城乡居民的差异度总体一直处于较高水平,并且处于上升趋势。重庆市城镇居民尤其是主城区居民与农村居民在生活水平、贫富差距、人口素质等发面存在很大的差异。这些差异如果得不到很好的解决,城乡居民之间的综合差异度会一直处于较高的水平,进而促使城乡综合差异度处于较高水平。
3、重庆市城乡经济差异度处于较高水平,但是总体上处于下降趋势。随着经济的不断向前发展,城市带动农村,工业反哺农业,以及城乡三次产业之间的合理转化,这种较高的差距水平将会逐渐减小。
4、城乡的社会发展水平在波动中上升,总体差异度仍然较高。虽然社会保障、养老、医疗等保险向农村发展,但是相对于城市的发展速度还是相当缓慢。
(作者单位:重庆大学建设管理与房地产学院)
主要参考文献:
[1]秦寿康.TOPSIS价值函数模型[J].系统工程学报,2003.
[2]张颖超,卢艳.基于改进的AHP―TOPSIS法的和谐社会综合评价研究[J].商业现代化,2008.
[3]陈鸿彬.城乡统筹发展定量评价指标体系的构建[J].地域研究与开发,2007.
[4]李岳云,陈勇,孙林.城乡统筹及其评价方法[J].农业技术经济,2004.1.
[5]顾益康,许勇军.城乡一体化评估指标体系研究[J].浙江社会科学,2004.6.
[6]Hwang C L.Yoon K Multiple attribute decision making:methods and applications[M].1981.
[7]郭翔宇,颜华.城乡统筹发展―理论、机制、对策[M].中国农业出版社,2007.
[8]杨建涛.河南省城乡统筹发展测度研究[D].河南大学硕士学位论文,2008.
[9]王丽娟.城乡统筹发展的系统思考[D].西南交通大学硕士学位论文,2005.
基金项目：山东省软科学研究计划项目“山东省农业科技期刊学术影响力评价及对科研创新提升作用研究”（2013RKC02006）
作者简介：王丽丽（1978-），女，助理研究员，硕士研究生，主要从事科技期刊编辑工作。E-mail：；
郭凤丹（1987-），女，硕士研究生，主要从事科技期刊编辑工作。E-mail：。*王丽丽、郭凤丹同为第一作者。
**通讯作者：赵文祥（1966-），男，研究员，主要从事科技期刊编辑工作。E-mail：
摘要：依据《中国科技期刊引证报告（扩刊版）》的统计数据，对《山东农业科学》2008～2012年的影响因子、年载文量、基金论文比、总被引频次及其它引用指标的变化动态进行了分析。结果显示，2008～2012年，《山东农业科学》的影响因子和总被引频次上升明显，分别由2008年的0.480和938上升至2012年的0.796和2231；引用刊数、学科扩散指标、机构分布数、地区分布数和H指数总体也呈增长趋势，即年指标、被引半衰期和引用半衰期变化幅度较小，年载文量保持在452～487篇；学科影响指标和基金论文比分别为0.42～0.52和0.504～0.711，平均引文数8.26～10.79，均相对偏低。
关键词：《山东农业科学》；期刊评价指标；动态分析
中图分类号：Q250.252文献标识号：A文章编号：1001-4942（2013）12-0095-04
《山东农业科学》创刊于1963年，由山东省农业科学院、山东农学会、山东农业大学共同主办，创刊初期为季刊，16开本，56页，国内外公开发行。1966年由于历史原因改为内部发行，1979年正式复刊并公开发行。随着形势和科技发展的需要，信息量不断扩大，1986年改为双月刊，2000年改为大16开本，2008年改为月刊，至2013年，已发展成为办刊质量较高、社会影响力较大的综合性农业科技期刊。
创刊50年来，《山东农业科学》始终坚持“普及与提高相结合，以提高为主”的办刊方针，及时报道农业科研的新成果、新进展、新方法、新技术，期刊质量及影响因子逐年提高，2013年版《中国科技期刊引证报告（扩刊版）》最新数据显示，其影响因子达到0.796，被收录为中国科技核心期刊，并在国家和省期刊主管部门组织的期刊质量评比中多次获奖，为第二届和第三届中国期刊奖百种重点期刊、中国期刊方阵双百期刊、全国农业优秀期刊、华东地区优秀期刊、山东省优秀期刊。
为了揭示《山东农业科学》各种期刊评价指标的变化动态，选用《中国科技期刊引证报告（扩刊版）》[1～5]2008～2012年的统计数据，对《山东农业科学》的主要被引指标和来源指标进行动态分析。
1数据来源及评价指标
以2009～2013年版《中国科技期刊引证报告（扩刊版）》[1～5]统计数据为依据，对《山东农业科学》主要被引指标和来源指标2008～2012年的变化动态进行分析。
选用的指标包括影响因子、总被引频次、年载文量、基金论文比、引用刊数、学科影响指标、学科扩散指标、被引半衰期、引用半衰期、即年指标、H指数、地区分布数、机构分布数、平均引文数。
2结果与分析
2.1影响因子的年际变化动态
某种期刊的影响因子为该刊前两年发表的论文在统计当年被引用的总次数与该刊前两年发表的论文总数之比。通常，期刊的影响因子越大，它的学术影响力和作用也越大[5]。 《山东农业科学》2008～2012年的影响因子逐年增加，由0.480增加到0.796（见图1），说明《山东农业科学》的学术影响力正逐年提升。
2.2年载文量与基金论文比的年际变化动态
年载文量是指来源期刊统计当年发表的全部论文数，常被用作学术期刊吸收和传递信息能力的主要指标[5]。2008年下半年，《山东农业科学》由双月刊改为月刊，全年仅出版9期，虽页码有所增加，但年载文量仍明显少于其余4年； 2009～2011年，年载文量逐年减少，2012年又明显上升，明显多于前3年（见图2）。在全年期数相同、页码相同的情况下，年载文量的多少受作者来稿篇幅的影响较大，篇幅长的来稿较多，则载文量相对较少。
基金论文比是指来源期刊中，各类基金资助的论文占全部论文的比例[5]。基金资助课题立足科学发展的前沿，瞄准科学发展过程中有待解决的重大理论难题，具有理论创新性和深度推进的特点，这类论文的学术水平多比较高[6]。由图3可见，《山东农业科学》2008年的基金论文比最低，仅0.504；2011年的最高，达0.711；其余3年变化较小，围绕0.650上下浮动，相对偏低。
2.3总被引频次、引用刊数的年际变化动态
总被引频次是指某种期刊自创刊以来所刊登的全部论文在统计当年被引用的总次数，可以显示所评期刊被使用和受重视的程度以及在科学交流中的作用和地位[5]。由图4可以看出，《山东农业科学》的总被引频次逐年大幅上升，由2008年的938跃升至2012年的2231。
引用刊数是指引用被评价期刊的期刊数，反映被评期刊被使用的范围[5]。2008～2012年，《山东农业科学》的引用刊数逐年增加，由2008年的295上升至2012年的439（见图4）。
上述结果表明，近年来《山东农业科学》越来越受到作者的重视，被使用范围越来越广。
2.4学科影响指标和学科扩散指标的年际变化动态
学科影响指标是指期刊所在学科内，引用该刊的期刊数占全部期刊数量的比例；学科扩散指标是指在统计源期刊范围内，引用该刊的期刊数量与其所在学科全部期刊数量之比[5]。由图5可以看出，《山东农业科学》近5年的学科影响指标呈波动变化，2009和2012年较高，为0.52，其余年份均低于0.50；学科扩散指标则持续增长。表明，《山东农业科学》在本学科内的影响基本处于中等水平，而在学科间的影响范围正逐渐扩大。
2.5地区分布数、机构分布数的年际变化动态
地区分布数是指来源期刊发表的论文所涉及的地区数，按全国31个省市计数（不包括港、澳、台），是衡量期刊论文覆盖面和全国影响力大小的指标。机构分布数是指来源期刊论文的作者所涉及的机构数[5]。由图6可以看出，《山东农业科学》的地区分布数呈增加趋势，2008年仅为16，2011、2012年则达到23；机构分布数呈先增后减的趋势，以2010年最高，达186，2011、2012年分别为162和159，2008和2009年较低。表明，《山东农业科学》在地区间及从事不同工作人员间的影响正逐渐扩大。
2.6其他被引和引用指标的年际变化动态
即年指标为某期刊当年在当年被引用的总次数与该期刊当年总数之比，表征的是期刊的即时反应速率，主要描述期刊当年发表的论文在当年被引用的情况[5]。《山东农业科学》的即年指标除2008年明显较低外，2009～2012年的即年指标基本都在0.100左右波动（见表1），说明《山东农业科学》能够较快地被作者利用。
H指数是指被评期刊在统计当年被引的论文中，至少有h篇论文的被引频次不低于h次。《山东农业科学》的H指数呈缓慢增长趋势，由6逐渐增加至8，表明其高频被引论文数正在增多（见表1）。
被引半衰期是指被评期刊在统计当年被引用的全部次数中，较新一半是在多长一段时间内发表的，反映的是期刊的老化速度。由表1可见，《山东农业科学》2008～2012年的被引半衰期变化范围为3.78～4.70，说明《山东农业科学》被引的文献较新一半多是在3～5年内发表的，时效性比较高。
引用半衰期是指被评期刊引用的全部参考文献中，较新一半是在多长一段时间内发表的，反映的是作者利用文献的新颖度[5]。《山东农业科学》2008～2012年的引用半衰期集中在7～8之间，说明来稿中引用的参考文献较新部分均在最近七八年内发表。
平均引文数是指被评期刊每篇论文平均引用的参考文献数，可用来衡量该期刊的科学交流和吸收外部信息的能力[5]。《山东农业科学》2008～2012年的平均引文数在8.26～10.79之间（见表1），与同类其他期刊相比偏少。
3讨论与结论
影响因子和总被引频次是两个最常用的国际通用的期刊评价指标。影响因子是由E·加菲尔德于1972年提出的[5]，是期刊评估、核心期刊评定及SCI、EI等检索工具选刊的重要参数[7]。《山东农业科学》2008～2012年的影响因子逐年提升，2012年达到0.796，与其他省的同级别农业科学期刊相比，仅低于《河南农业科学》（0.947）和《山西农业科学》（0.845），位居第三。
总被引频次是一个非常客观实际的评价指标，期刊被引用的频次高，说明该刊的利用价值高，同时体现出该刊的学术水平也较高[7]。2008年以来，《山东农业科学》的总被引频次大幅增长，另外，引用刊数和地区分布数也逐年增多，都在一定程度上说明《山东农业科学》越来越受到科研工作者的重视，影响范围越来越广。
年载文量也是鉴定核心期刊的基本指标之一，能够显示专题文献的发文密集程度，载文量大，说明期刊的信息量大[8]。因2008年涉及到《山东农业科学》改为月刊，年载文量无法与其他年份进行比较，所以仅对2009～2012年的年载文量进行分析，结果显示，《山东农业科学》的年载文量有一定的波动，2011年最少，为452，2012年最多，为487。说明2011年发表的大篇幅论文较多，而2012年相对较少。
基金论文比是衡量期刊学术质量的重要指标。基金论文是受国家政府部门或各级基金组织提供科研经费开展科学研究的项目所取得的阶段性成果以科研论文形式表达出来的论文，能在一定程度上体现其所代表领域的科研进展情况[9]。《山东农业科学》2008～2012年的基金论文比为0.504～0.711，相对偏低。
另外，《山东农业科学》2008～2012年的学科扩散指标、H指数、平均引文数也基本呈增长趋势，而学科影响指标、即年指标、被引半衰期、引用半衰期则变幅较小。
综合分析表明，《山东农业科学》通过改月刊、适度增加页数、去除广告、选用学术水平较高的论文等措施使得自身的学术水平逐步提升，在科研人员中的影响力越来越高，影响范围越来越广。但同时也看出，《山东农业科学》的基金论文比仍不高，还需加大改进力度，通过与课题组经常联系并定期约稿，加快期刊的数字化建设等措施，更好地打造刊物的学术氛围，进一步提升期刊的学术影响力，才能受到更多科研人员的青睐，吸引更多的优秀基金论文。
参考文献：
[1]中国科学技术信息研究所，北京万方数据股份有限公司. 中国科技期刊引证报告（扩刊版2009年版）[M].北京：科学技术文献出版社，2009-09.
[2]中国科学技术信息研究所，北京万方数据股份有限公司. 中国科技期刊引证报告（扩刊版2010年版）[M].北京：科学技术文献出版社，2010-09.
[3]中国科学技术信息研究所，北京万方数据股份有限公司. 中国科技期刊引证报告（扩刊版2011年版）[M].北京：科学技术文献出版社，2011-09.
[4]北京万方数据股份有限公司. 中国科技期刊引证报告（扩刊版，2012年版）[M].北京：科学技术文献出版社，2012-12.
[5]北京万方数据股份有限公司. 中国科技期刊引证报告（扩刊版，2013年版）[M].北京：科学技术文献出版社，2013-09.
[6]陈新平，王志强，王珂，等. 《果树学报》2001-2006年主要文献评价指标分析[J]. 果树学报，2008，25（1）：89-92.
[7]李晓萍，姜瑾秋，邢宝山，等.影响因子和总被引频次在期刊评价中的作用[J].深圳中西医结合杂志，2006，16（4）：270-272.
