2017年
财会月刊(36期)
工作研究
基于AHP和熵权法的我国高等职业教育绩效评价

作  者
金荣学(博士生导师),毛琼枝,张 说

作者单位
中南财经政法大学财政税务学院,武汉430073

摘  要

     【摘要】针对高等职业教育特点,运用AHP—熵权法从教育经费、基础设施、师资水平和学生质量四个维度设计高等职业教育绩效评价指标体系,并以湖北省高职高专院校为例,评价分析了湖北省高等职业教育绩效状况。实证结果表明,双师比例、校内外实训基地和师均建设经费等指标是影响高等职业教育绩效的重要因素。为提高我国高职高专院校的绩效水平,应完善实训基地建设体系,积极推进“三对接”,多渠道筹集经费,并积极探索,促进高等职业教育绩效评价工作实施。
【关键词】高等职业教育;AHP;熵权法;绩效评价
【中图分类号】F812.45      【文献标识码】A      【文章编号】1004-0994(2017)36-0059-8一、引言
当前我国正处于经济转型和产业升级换代时期,存在人才供给和需求结构性矛盾的问题,现代农业、先进制造和服务业等技术技能人才短缺较为严重。为加快调整人才培养结构,迫切需要一个更具质量和效率的现代职业教育体系予以支撑。高等职业教育作为职业教育的重要组成部分,是高等教育发展中的新类型,它为适龄青年提供了进入高校学习的机会,并能使他们掌握更多的就业技能,对高等教育的大众化发挥了决定性作用(马树超、郭扬,2014)。我国高等职业教育近些年得到了快速发展,截至2014年,全国范围内的高职高专学校数量为1327所,占全国高校总量的52%,是2000年的三倍。但随着规模的扩大以及产业转型升级和经济结构调整,也产生了许多问题,如质量不高、师资不足、投入不够、急功近利以及布局不合理等,其中主要问题是质量不高。如何保证和提高高等职业教育质量,各国的选择会有所不同,但科学地建立绩效评价体系和实施绩效评价是基本共识(袁晓玲、封纪琴,2014)。
指标体系作为整个评价方案的核心,是评价行为的基本依据。我国高等职业教育绩效评价指标体系构建主要有两种方式:一是满足高等教育的职业性需求,根据职业性高等教育的要求和特点,在现有普通高等院校绩效评价标准体系的基础上对其中某些指标和标准进行改进和调整,形成高等职业教育绩效评价标准体系,评价标准体系的逻辑基础是专业教育。二是满足职业教育的高等性需求,借鉴国外以职业资格证书体系为依据制定高等职业教育绩效评价体系的做法和经验,通过职业资格证书教育外延发展,以职业资格证书等级制度为依据,重构以职业能力为核心的高等职业教育绩效评价标准体系,评价标准体系的逻辑基础是职业资格证书教育(孙毅颖,2013)。“高等性”和“职业性”是高等职业教育的两种基本属性,构建高等职业教育绩效评价指标体系要同时考虑这两种属性,缺一不可。本文依据第一种方式,从高等职业教育特点出发,结合相关高等教育绩效评价研究成果,从学生质量、师资水平、基础设施和教育经费四个维度设计高等职业教育绩效评价指标体系。
高等职业教育绩效评价指标体系建立后,用何种方法对高等职业教育进行评价决定着绩效评价结果的客观性、公正性。高等职业教育绩效评价的方法有很多,主要有因子分析法、数据包络分析法、层次分析法、熵权法、综合分析判断法、专家打分法等。其中因子分析法、数据包络分析法、熵权法属于定量评价方法,层次分析法、综合分析判断法、专家打分法效影响因素的方法,实质是一种主观赋权法,判断矩阵主要依赖经验和直觉,导致指标权重往往会有部分主观干扰(申志东,2013)。在实际应用中,由于客观因素的复杂性、不确定性,不容易精确地判断出因素的相对重要性程度,并且由于没有充分考虑各指标提供的信息量,人为给出的权重难免缺乏客观的科学依据。而熵权法(The Entropy Weight Method)确定的指标权重独立于人的主观经验及偏好,能够充分挖掘原始数据本身的信息,避免指标权重的人为因素干扰,弥补了主观赋权法的不足,使评价结果更符合实际(章穗等,2010)。熵权法评价结果比较客观,但不能反映决策者的意见及专家的经验和知识,而层次分析法能体现决策者的偏好以及专家的经验和知识,但无法克服主观因素的影响,将二者结合起来能够弥补各自的缺陷(贾县民等,2017;尚天成等,2009)。基于此,本文选择层次分析法与熵权法集成的方法来确定指标权重。
二、指标体系设计及评价方法
实施高校绩效评价的重点和难点在于指标体系的设计,即如何将高校战略目标分解成具体目标,如何设计定量、定性指标,如何确定定量指标权重,如何对定性指标进行打分等。为了确保绩效评价指标的适用性、科学性和合理性,本文运用数理统计等技术与方法,尽可能避免设计过程中的偏差和主观偏好的不当影响(柏广才、李晶,2014)。
1. 高等职业教育绩效评价指标体系。高等职业教育绩效评价的核心任务是确定所考核的高校绩效的度量指标,并构建一个完善的绩效评价指标体系。考虑到高等职业教育的特殊性和数据的可得性(陈烽、刘玲,2014;陈婉琳,2016),本文主要从教育经费、师资水平、学生质量和基础设施等四个维度设计高等职业教育绩效评价指标体系,具体见表1。
2. 评价方法。本文选取熵权法和层次分析法作为高等职业教育绩效评价方法,首先根据层次分析法得到评价指标及其权重,然后用熵权法对权重进行改进,确定组合权重。
(1)层次分析法。层次分析法(AHP)是由美国运筹学家T. L. Saaty在20世纪70年代初提出的对复杂问题作出决策的一种简单、实用的方法。层次分析法是将与决策相关联的元素分解为目标、准则、方案等层次,并以此为基础进行定性和定量分析的决策方法。运用层次分析法解决问题,大体可分为以下三个步骤:
一是建立递阶层次结构。层次分析法是高等职业教育绩效评价中典型的主观赋权法,本文将高等职业教育绩效评价指标体系划分为两层,即4个一级指标和16个二级指标。
二是构造比较判断矩阵。层次结构建立后,同层次指标两两相互比较得出其重要性之比,通常引用数字1 ~ 9和其倒数作为标度来定义判断矩阵,具体以1 ~ 9标度法表示,见表2。

 

 

 

 

 

 


三是层次单排序和一致性检验。用一致性指标CI=(λmax-n)/(n-1)作为衡量不一致程度的数量指标,其中λmax为判断矩阵的最大特征值。RI为n阶比较判断矩阵的平均一致性指标,称为平均随机一致性指标,RI的值见表3。

 


当CI与RI之比较小时,可以认为不一致性程度很低,达到了所谓的“满意的一致性”。 CR=CI/RI称为一致性比例。当CR<0.1时,判断矩阵的一致性可以接受,否则应对其适当调整。
(2)熵权法。熵原本是热力学概念,它最先由C. E. Shannon引入信息论,被称为信息熵,现已在社会经济领域得到了广泛应用。在具体使用过程中,熵权法根据各指标的变异程度,利用信息熵计算出各指标的熵权,再通过熵权对各指标的权重进行修正,从而得出较为客观的指标权重。
现有m个待评项目,n个评价指标,设归一化后的原始数据矩阵为R=(rij)m×n,则第j个指标的熵值用式(1)计算:
[ej=-ki=1mpij×lnpij] (1)
其中:i=1,2,…,m;j=1,2,…,n;   ;
k=1/lnm。当pij=0时,令pij×lnpij=0。定义了熵之后,第j个指标的熵权表示为式(2):
 (2)
由熵的定义可以看出,某项指标的值变异程度越大,熵就越小,则该指标提供的信息量就大,熵权也就越大;反之,某项指标的值变异程度越小,熵权就越小。熵权的大小可以反映不同指标在评价时所起作用的大小。当各备选项目在指标j上的值完全相同时,该指标的熵达到最大值1,其熵权为零。这说明该指标未能向决策者提供有用的信息,即在该指标下,所有的备选项目对决策者来说是无差异的,可考虑去掉该指标。因此,熵权本身并不是表示指标的重要性系数,而是表示在该指标下对评价对象的区分度。
将层次分析法与熵权法相结合,假设评估者根据自己的目的和要求将指标重要性的权重确定为αi(i=1,2,…,n),结合指标的熵权就可以得到指标βi的组合权重:
 (3)
三、实证分析
本文选取湖北省53所高职高专院校作为对象,运用以上方法进行研究,数据来源于湖北省2013年教育支出绩效评价内部资料。由于各指标的量纲存在差异,为了消除量纲的影响,把指标统一起来,应对指标进行标准化处理,正向指标和负向指标分别用式(4)和式(5)进行标准化:

 

其中,  为评价指标j的评价指标值。对于正向指标,  越大越好,最大值记为       ;对于负向指标,则   越小越好,最小值记为      。由此得到标准化的评价矩阵Y=(xij)33×16。
1. 用层次分析法确定的权重。本文依据前面所述的1 ~ 9标度原则,邀请领域专家为指标体系中各指标间的相对重要程度打分,然后通过专家打分建立各指标层的判断矩阵,再运用yaahp软件对判断矩阵进行处理,得到用特征向量法计算而来的各指标权重及一致性比例,层次分析法得到的权重及一致性比例见表4。
从表4可以看出,层次分析法(AHP)下教育经费、师资水平、学生质量和基础设施的权重分别为0.0505、0.4158、0.3757和0.1580,同时判断矩阵都满足CR<0.1的标准,表明判断矩阵具有满意的一致性。具体来看,具有双师素质专任教师/专任教师数、毕业生用人单位满意或基本满意比例、毕业生对口就业率、生师比、校内实训基地学年使用频率/在校生数指标所占权重较大,分别为0.2834、0.1996、0.1024、0.0897、0.0583,累积权重达到了0.7。高等职业教育主要为社会培养高技能专业性人才,双师型教师、校内外实习基地为其提供了重要的保证,高等职业教育作为高等教育的一部分,生师比、毕业生用人单位满意或基本满意比例、毕业生对口就业率是学生质量的重要体现。由此可以看出层次分析法最后计算出来的权重符合理论常识,不仅体现了高等职业教育是高等教育的一部分,也体现了高等职业教育的特殊性。然而层次分析法下的权重仅依靠专家的知识、经验构造判断矩阵得出,权重的主观性太强,即使没有各指标客观数据也可计算出指标权重,缺乏对各指标数据的分析,看不出各指标数据间的规律和差异。2. 熵权法调整的指标权重。为有效弥补主观因素形成的偏差,使评价结果更具客观性,本文根据信息熵评价所获信息的有序度及其效用计算评价指标的熵权,进而对层次分析法(AHP)确定的主观权重进行调整。运用公式(1) ~ 公式(3)得到调整的权重,见表5。
由表5熵权结果列可以看出,师资建设经费支出/日常教学经费、校内实训基地学年使用频率/在校生数和校外实习实训基地接待学生量/在校生人数等指标权重很大,分别为0.30、0.12和0.15,累积权重达到了0.57。由熵权法计算权重的原理可以看到,各个高职高专院校对这几个指标的重视程度不同,差异很大,学费总收入/在校生数、生师比、毕业生用人单位满意或基本满意比例和毕业生对口就业率等指标权重较小,均为0.01,累积权重才0.04,说明各高职高专院校对这些指标的重视程度基本相同。需要说明的是,熵权法是依据指标数据计算权重的,如果指标数据较为统一,则指标权重较小;如果指标数据较为分散、参差不齐,则指标权重较大,而不会考虑理论常识/专家的知识和经验。因此,仅仅依靠熵权法得到的权重也是缺乏合理性的,如表5中的毕业生用人单位满意或基本满意比例和毕业生对口就业率的权重都仅为0.01,这是不合理的。
在表5组合权重列中,具有双师素质专任教师/专任教师数、师资建设经费支出/日常教学经费、校内实训基地学年使用频率/在校生数和校外实习实基地接待学生量/在校生数等指标权重较大,累积权重达到了0.76,说明这些指标是影响高职高专院校绩效最重要的因素。从表5中还可看出,层次分析法所得权重与熵权法所得权重差异较大。如在具有双师素质专任教师指标/专任教师数和毕业生用人单位满意或基本满意比例等指标上,层次分析法所得权重分别为0.2834和0.1996,而熵权法所得的权重仅为0.03和0.01。在师资建设经费支出/日常教学经费和校外实习实训基地接待学生量/在校生数等指标上,层次分析法所得权重仅为0.0426和0.0551,而熵权法得到的权重达到了0.3和0.15。所以,需要对单独运用层次分析法或熵权法得到的权重进行调节。本文采用层次分析法与熵权法集成的方法得到组合权重,既考虑了专家的知识和经验,又保证了客观性,得到的权重较为科学合理。
3. 各高职院校得分。运用公式[F总=i=116Wi×Xi]可得高职高专院校各指标得分及总分,由于得分数值过小,为方便分析,可同乘以100,得出的高等职业院校各指标得分见表6。
由表5可知,具有双师素质专任教师/专任教师数(X5)、师资建设经费支出/日常教学经费(X6)、校内实训基地学年使用频率/在校生数(X15)、校外实习实训基地接待学生量/在校生人数(X16)指标所占权重累积超过了0.7,所以X5、X6、X15、X16等指标是影响高等职业院校绩效的关键,以下将结合表6对这些指标进行比较。
从院校间的对比来看:在具有双师素质专任教师/专任教师数维度,武汉船舶职业技术学院得分为18.02,远高于其他学校,说明在湖北地区高等职业院校中,武汉船舶职业技术学院较注重引进双师型教师,其次为仙桃职业学院、鄂州职业大学,得分分别为17.79、17.24。在师资建设经费支出/日常教学经费维度,江汉艺术职业学院得分最高,为26.76,说明江汉艺术职业学院对师资建设投入较多,其次是武汉信息传播职业技术学院、武汉电力职业技术学院,得分分别为19.35、15.45。在校内实训基地学年使用频率/在校生数维度,武汉软件工程职业学院排名第一,得分为23.55,说明武汉软件工程职业学院校内实训培养能力较高。其次是三峡电力职业学院、湖北职业技术学院,得分分别为14.64、6.38。在校外实习实训基地接待学生量/在校生数维度,荆州理工职业学院最注重学生的校外实训,得分为17.29,其次是仙桃职业学院和湖北生态工程职业技术学院,得分分别为16.31和8.73。
从院校内部各指标对比来看,以各指标得分的平均数衡量高等职业院校各指标是否平衡、全面发展。在X5、X6、X15、X16四个指标中,如果有不少于三个指标的得分大于平均数,则视为相关指标是全面发展的。X5、X6、X15、X16平均得分分别为9.34、1.92、2.77、2.63,由此可以得出,荆州理工职业学院、湖北职业技术学院、武汉电力职业技术学院、恩施职业技术学院等9所高等职业院校是全面发展的,这9所院校均是3个指标得分大于平均数,1个指标得分小于平均数,其他44所高等职业院校或是单向发展(如襄阳职业技术学院、武汉信息传播职业技术学院),或是绩效状况较差。通过高等职业院校各指标得分与指标平均得分的对比,学校不但能够了解自身的强项,也能找出制约其发展的弱项,为其进一步发展指明方向,最终实现全面、平衡发展。
从53所所高等职业院校整体绩效来看,江汉艺术职业学院、仙桃职业学院和武汉软件工程职业学院得分较高,分别为52.21、51.17、48.00,而武汉外语外事职业学院、武汉工贸职业学院和湖北开放职业学院得分较低,分别为15.70、14.84、13.08。从53所高等职业院校绩效评价得分可发现,要想提高总体绩效,必须提高各指标的得分,尤其是要重视上述四个权重累积超过0.7的指标。
四、总结及建议
高等职业教育以培养高等技术应用型人才为根本任务,以适应社会需要为目标,其培养的毕业生不仅具有适度基础理论知识,而且具有较强的技术应用能力。本文在建立了包含教育经费、师资水平、学生质量和基础设施四个维度指标体系的基础上,使用16个二级指标,以湖北省高职高专院校为例,结合AHP和熵权法对湖北省高等职业教育绩效进行了综合评价。研究结果表明,双师型师资队伍建设、实训基地建设水平等指标是影响院校绩效水平的重要因素。为了更好地发展高等职业教育、突出职业教育特色、保证实践教学重于理论教学的地位,加强双师型师资队伍建设、提高实训基地建设水平就显得尤为重要。为此,各地政府应统筹当地人力物力财力,设置专项经费,建立实习培训基地,加大对双师型教师引进与培养等方面的投入。结合研究结论,本文提出以下建议。
1. 完善实训基地建设体系,提高实训绩效水平。加强校内外实训基地建设是提高高等职业教育质量的关键措施,也是促进高等职业院校办出特色、提高绩效水平的重要手段。高等职业院校要改变依附理论教学的状况,就要加强校内实训基地建设,根据自身办学特色,不断更新仪器设备,提高科技含量,形成“产学研”相结合的多功能校内实训基地,同时也要建立相对稳定的校外实训基地。高等职业院校要通过政府、企业、行业的大力配合和协助,形成由校内到校外的实训体系。校内实训基地是基础,其仪器设备的配置要与企业的生产水平相适应,重点解决好工位短缺等问题,为学生提供高质量的实践机会。校外实训基地是支撑,高等职业院校要主动与行业、企业建立长期的合作关系,院校为企业提供实习生,企业为学生提供实习场所和设备,企业可以相应收取实习费,以增加其经济效益,学生在实训中掌握实用的技能、技术,从而较早地接触企业工作环境,缩短实际与理论的差距。除保证实习基地的规模和质量之外,还需要形成一套适应高等职业教育特点的实践教学质量监督和评估体系,促使学生充分参与到实训和实习活动中,使实践教学质量达到预期效果。
2. 积极推进“三对接”,全面提高人才培养质量。当前高等职业教育迈入了高水平发展的新阶段,加快发展现代职业教育,扩大我国人才资源优势,对于提升我国实体经济竞争水平意义重大。作为高等职业院校,培养高质量的职业技能人才不仅要有合适的理论教育,更重要的是要有校企一体化的专业化实践教育。因此,提高职业教育人才培养质量的关键就是要大力推进专业设置与产业需求、课程内容与职业标准、教学内容与生产过程“三对接”。在专业置方面,根据市场需求开设专业,提供市场需要的人才,面向我国各地区支柱产业,找准工学结合点,实现专业对接企业。高职院校还要避免专业设置小而全的现象,防止各院校在专业设置时出现一哄而散、一哄而上的局面。在课程设置方面,应以培养能力的课程为主,强调知识的针对性、实用性,应以特定的职业标准为目标,按照职业必备的能力特点及结构来设计课程。此外,还要合理设计相应的实训任务,实现课程与生产相对接。在教学内容方面,应当始终面向生产过程,坚持理论与生产过程相结合,以生产实际需要为主,课堂教学与实际应用相结合,以实际应用为主,深化教学改革,形成对接紧密、内容丰富、调整灵活的职业教育课程体系。
3. 多渠道筹集经费,着力建设精干高效的师资队伍。师资队伍建设是高校生存与发展的关键,一流的高职院校和一流的职业教育始终离不开一流的教学团队。近年来,高等职业院校在师资建设方面的投入经费与过去相比虽有较大幅度的提升,但是如果扣除各种费用上涨等因素,师资建设经费实际增长速度较慢。大部分院校办学的时间比较短,还处于发展中,各项设施建设不完善,需要建设的项目多,因此投入师资建设的经费就显得更加短缺。为解决师资经费不足问题,各职业院校首先应积极争取各级政府财政拨款,或者借助社会力量解决教育经费不足的问题,特别是行业企业要安排专项资金用于职业教育。其次,职业院校也需要通过设立师资队伍建设专项经费,包括师资培养、人才引进基金等,用于高素质人才引进、选派教师参加培训等项目,以保障师资建设经费的投入规模。最后,高等职业院校也应通过积极创造经济效益、提供社会服务等方式解决经费不足问题,例如与其他高校或企业联合办学,在实现资源共享的基础上,结合科研成果与市场需求,实现“产学研”一体化,为企业创造经济效益。通过以上措施,确保把教师队伍建设摆在优先发展的战略地位,建设一批集理论教育和专业实践于一身的“一专多能型”师资人才。
4. 积极探索,促进高等职业教育绩效评价工作实施。在相当长的时期内我国对中端人才的需求量会显著超过对高端人才的需求量,因此,建立高质量的高等职业教育体系将是一项长期目标。政府不能只看高等职业教育的投入,还需考察对其投入的产出值。要保证高等职业教育的高质量,科学建立合理的绩效评价体系是基本共识。绩效评价机制还能起到政策执行和资源投入的监督作用,强化投入效果。建立科学的绩效评价体系,首先要构建高等职业教育评价指标体系,指标应尽量全面、科学和可数据化。其次,考虑到高等职业教育绩效评价工作的复杂性,可采取分步实施的方法进行。例如:在评价对象的选择上,先从高等职业院校的师资力量、硬件设施等方面切入,再推广至培养学生质量和校园综合实力的评价;在评价方式上,可由高等职业院校自评逐步过渡到社会中介机构评价。财政以及教育主管部门也应随之建立配套的绩效评价信息资源平台,收集高等职业院校相关信息,反馈评价结果,以期实现对高等职业院校教育的动态监控。此外,要加强高等职业教育绩效评价的宣传工作,形成重绩效、讲高效的良好氛围。

主要参考文献:
马树超,郭扬.温家宝职教论述对确立高职教育质量观的启迪[J].中国高教研究,2014(1).
袁晓玲,封纪琴.基于BSC的职业教育质量评价体系框架研究[J].教研理论,2014(6).
孙毅颖.“职业性”、“高等性”融合发展趋势下的高职教育质量评价体系构建模式[J].中国大学教学,2013(2).
申志东.运用层次分析法构建国有企业绩效评价体系[J].审计研究,2013(2).
章穗,张梅,迟国泰.基于熵权法的科学技术评价模型及其实证研究[J].管理学报,2010(1).
贾县民,卢才武,白春妮.基于层次分析和熵权法的煤炭富集区新型城镇化水平测度[J].数学的实践与认识,2017(1).
尚天成,高彬彬,翔鹏,张岩.基于层次分析法和熵权法的城市土地集约利用评价[J].电子科技大学学报,2009(6).
柏广才,李晶.高等职业教育财政支出绩效评价研究——以江苏省为例[J].会计之友,2014(20).
陈烽,刘玲.高职院校教育经费投入与绩效评价探析[J].安徽职业技术学院学报,2014(1).
陈婉琳.中国高等职业教育财政投入效率评价研究[J].中国职业技术教育,2016(3).