周兴国　任超｜澳大利亚高等教育教学评价体系重构实践研究——以学习与教学质量指标系统为例

党的二十大报告提出中国式现代化的宏伟蓝图。而现代化教育体系是保障科教兴国战略、人才强国战略顺利实现的基础。这其中现代化的评价体系则又是现代化教育体系的重要分支。我国多份评价改革文件均已指出尚缺针对教学质量和过程的全国性评价系统。当前，我国虽然有多套评价系统（如“双一流”评估和学科评估），但是这些评价注重对高等教育综合实力和水平的评估，且考虑到学科和教育发展的周期性，大部分是周期性评价；然而教学评价需以学生的学习和教师的教学为中心，且能常态化地监测学习全过程的纵向评价系统。然而这样一套常态化的、全过程性和充满整体设计感的全国性教学质量评价系统依然缺位。

本研究就是为如何建立一套这样的举国体制而积极寻找他国经验的探索。目前国内外已有很多案例可供研究，如有老牌的全美大学生投入度调查（National Survey of Student Engagement, NSSE）或英国全国大学生调查（National Student Survey, NSS），还有新秀澳大利亚学与教质量指标系统（Quality Indicators for Learning and Teaching，QILT）。本研究最终选择QILT系统作为案例的理由有三：

首先，我国针对前两者的研究已非常丰富，而对后者的关注较少；

其次，对后者的关注也主要集中在宏观政策和制度方面的分析，尚没有针对其建构过程和质量保障的系统性研究； 

最后，QILT建立的背景与我国当下面临的过度评价、重复性评价的背景非常相似。通过分析澳大利亚QILT案例，可为我们提供具有实践意义的经验。

　　一、澳大利亚高等教育评价系统改革的背景

　　20世纪90年代初，澳大利亚高等教育开始经历一场质量危机。处于从精英化向大众化方向迅速过渡的澳大利亚高等教育，遭受了量的扩张对质的保障的强烈冲击。澳大利亚高校在国际大学排行榜上连续多年表现平平，只有“澳洲八大”可以进入世界百强，导致其高等教育的国际吸引力迅速下降。这对于以高等教育为主要产业的澳大利亚来说是无法承受之重。质量下降与澳大利亚高等教育管理和评价制度息息相关。改革前的澳大利亚，其质量标准和评价权均下放到高校，“没有全国性的统一学位标准……澳大利亚公立大学以自我管理为主，大学具有制定毕业标准的权力”。这种模式在精英化阶段，当社会资源充足且市场化程度低的时候，可以激发高校的自主性和自我驱动型发展；然而在大众化阶段，高度产业化的发展和宽进的招生政策导致各种培养质量问题迅速凸显。评价权力的让渡使高等教育系统内存在各种各样的重复性评价。如仅全国范围内的问卷调查就有十几种，有针对在校本科生的大学体验调查、大学生课程体验调查、国际学生调查和研究生研究经验调查等。这些调查曾为澳大利亚高等教育发展保驾护航，然而时过境迁，很多调查内容陈旧，交叉重复，调查协同性差，调查结果和数据使用率低，造成沉重的评价负担，且因没有一套可靠权威的评价系统，国家无法判断教育发展的水平和真正问题，澳大利亚高等教育迫切需要有效的评价工具，打破质量困境，赢回国际声誉。

　　2008年，澳大利亚大学质量署（Australian Universities Quality Agency，AUQA）发布教育评估报告证实了澳大利亚高等教育质量和国际竞争力下降的事实。2011年，澳大利亚议会通过《2011高等教育质量和标准署法案》（Tertiary Education Quality and Standards Agency Act 2011），成立高等教育质量标准署（Tertiary Education Quality and Standards Agency，TEQSA）取代澳大利亚大学质量署，正式开启重构教育评价系统的改革。高等教育质量标准署颁布了一系列新教育法案，建立新质量标准、设置评价目标，逐步收回教育评价权，加强对高等教育机构质量的认证和把控。它同时提出要“以需求为导向，以学生为主体”，以关注澳大利亚本土教育特点为主，依据最新的质量标准设计评价指标和工具；同时对标国际教育质量评价的经验，如指标和方法参考了英国学生满意度调查和全美大学生投入度调查等评价系统。经过5年的实验和论证，2016年正式成立QILT，成为澳大利亚教学质量监测的国家工具。

　　二、QILT系统的主要特点

　　1. 四维一体的过程性调查。四维一体是指以在校生、刚毕业、刚入职和毕业三年为四个调查维度，围绕“学生”这一主体，构成QILT针对大学教学和学生成长全过程的一体化评价体系。整体来看，四个调查将教学和学习进行线性划分，每个调查以该阶段主要特征为主要调查内容，以次级特征为辅助调查内容。四个调查指标之间相互呼应和承接。承接表现为同样的指标，内涵却不同。如同是整体满意度，在校生关注学生参与的体验感，毕业生调查则是关注收获的满意程度。从内容上看，四个调查逐步涵盖了大学教育和生活的方方面面，包括学生投入和参与程度、课程、科研、教师、教辅、图书馆、实验室、学校环境、专业技能、就业能力和职业发展。且用新的调查技术，利用各种模块增加对次级特征的调查（如在校生中的国际学生调查模块）和次级内容的调查（学科特色模块）。这种嵌套模块可以实现调查的普遍性和特殊性的统一。QILT虽然将教育过程线性化，但也将过程拓展到校园之外，衍生到学生早期的职业生涯发展，这体现出关注教育长期影响的发展性评价观。（见表1）

　　四个调查虽相互补充，但本身都是独立的整体。从设计到调查目的和结果应用都可独立存在，发挥独立的价值。如用人单位满意度调查是基于毕业生五维技能量表开发的满意度调查。大学生体验调查是基于以学生为中心的五维理论框架而开发，调查性质是核实式，即问学生是否体验了某些应有的教育。毕业生调查是基于九维能力模块，假设接受完高质量的完整教育后应该有的学业成就和获得，重在实现对高校教育实效的检验。毕业追踪调查则是调查学生毕业3年的发展。与我国一些毕业生追溯性调查不同的是，它是追踪性调查，即不让学生回忆在校时的情景，而是调查当下学生的职业和生活的情况，从侧面调查教育长期影响。

　　2. 学生成长周期框架布局系统结构。学生成长周期框架（Student Life Cycle Framework, SLCF）是QILT确定每个阶段的主要调查指标，指标之间的关系，调查对象分类等具体设计工作的逻辑框架。（见图1）多个调查如何能形成一个相互协调的整体？回答这个问题要理清非常复杂的教育成长活动中的关键节点之间的界限和关系。学生成长周期框架的另一功能是整合澳大利亚高等教育当时存在的重复性评价问题。通过学生成长周期框架将所有已有的调查进行分解，形成研究新系统的基本指标池；然后将其置于成长周期环之中，将所有指标分为“自身因素”和“大学场域”因素，区分短暂性指标和发展性指标以及连续性指标。

　　学生成长周期框架将澳大利亚高等教育人才培养的整体要求和阶段性目标，每个阶段各级各类教育培养目标和教学大纲的内容，行业标准和行业认证资格大纲和专业技能框架，学生成长的阶段性、层次性和递进性的特征进行分解和重组，拨冗去繁确定四个阶段的所有调查内容和特征，最终形成了四套问卷调查工具。

　　3. 调查结果的应用和服务。从2016年开始，QILT开始为澳大利亚各级政府、高校、市场和学生提供评价服务。QILT的首要功能是服务学生对高校信息的需求。不同于我国评估的数据首先服务于政府和高校，高度市场化的澳大利亚高等教育要求其数据首先服务的对象是学生和公众。学生可以在“ComparED”排名网站查询最新调查信息，甄选和比较自己要申请的高等教育项目的调查结果，还能比较不同教育项目的职业发展的潜力和方向。同时该排名网站还显示调查的样本量、置信区间和调查时间等信息，充分尊重公众对调查信息的知悉权。

　　评价的另一目的是促进改革。QILT第二大功能是服务高校建设和发展。每轮调查结束后，高校会获得本校所有原始调查数据，用于分析和决策。QILT可提供连续性的数据，便于高校做不同横向和纵向的比较。目前大多数高校会积极参与和宣传，希望提升本校学生的参与率，从而获得更多本校的调查数据。此外，高校也会利用QILT调查的结果推广自身的特色和高得分点。但是由于相关资料缺乏，我们暂时无法了解这些数据到底对高校的改革和发展产生了什么样的作用。

　　QILT的第三大功能是服务政府。QILT每年会为政府提供各种分析报告，针对澳大利亚高等教育发展情况做不同的横向和纵向，国内和国际的比较，帮助联邦政府掌握本国高等教育的发展水平。澳大利亚政府也将QILT作为管理高等教育质量的重要工具。如澳大利亚高等教育质量标准署已将QILT调查结果与高校学位认证挂钩，将学生对教学质量的评价与教学所属的学位项目关联，形成“学生评估和学位荣誉监督机制”。因此QILT目前对高校形成了从生存（办学资格的获得）到发展（市场和政府资源）的全面压力。总体来看，QILT是典型的“学生本位”评价系统，其核心是通过获取尽可能真实可靠的调查对象的反馈，为切实提高澳大利亚大学竞争力作出贡献，扮演着评估、诊断和提供信息的三位一体的角色，迫使高校努力提高教学质量。

　　三、QILT系统建构的主体

　　任何改革都是一个博弈的过程。在改革的过程中到底由谁决策，决策的依据和原则是什么、决策的目标等都是博弈和选择的问题。QILT建构的过程，需要打破已有的做法、整合不同的机构、回收下放的权利，这个过程挑战与压力并存。学生成长周期框架为QILT提供的是学理的支撑，但是真正构建一个新评价系统需要的是资源、权力和时间的多方博弈。澳大利亚高等教育质量标准署为保障新系统的质量提出决策要以尊重科学性为前提，寻找分歧的最大公约数；通过法律合法化新评价系统相关主体的地位，提供定向资金和宽裕的时间，保障改革的顺利进行。

　　1. 管理主体：新系统建构的主导者们。改革的主导主体是推进高等教育质量咨商小组（Advancing Quality in Higher Education Reference Group, AQHERG）。该小组是整个改革过程的管理者和决策者，由联邦政府背书和提供财政支持的独立团体，全权负责整个系统的开发、管理和决策。（见图2）该小组成员都是由来自政、学和业界的权威性代表构成。如其主席就由澳大利亚高等教育标准小组组长、前格里菲斯大学副校长伊恩·奥康纳教授担任。与很多评价设计不同的是，QILT主导主体有学生代表。主导主体中，每种利益团体又有多名代表，确保决策过程的多元性和民主性。

　　QILT的建构过程是集权式的（Centralized Administration）。然而在澳大利亚这一个民主土壤上如何形成的集权模式呢？这主要是澳大利亚国家意志的体现。为了便于统筹全国资源、整合国内和业界的重复性评价，打破不同部门和调查机构之间的权力壁垒，有效地推进改革，集权管理是改革者的共同选择。澳大利亚高等教育质量标准署通过立法确保集权模式的合法性，通过透明化决策过程和主体内部民主化来规避集权决策的风险，确保决策的“耳聪目明”。改革的主导主体最大限度保有不同利益相关者的代表（如高等教育署、协会、工会和学生等）。为确保新系统对多样性现实问题的敏感度，提高调查工具的质量和调查系统的可靠性，决策主体与参与主体保持开放式沟通模式。（见图2）民主集中的优势是规避和限制某些利益相关者左右评价系统建设发展的方向，保障评价系统的科学性、公平性和独立性。

　　2. 开发主体：改革评价系统的利益相关者们。评价系统改革的利益相关者甚多。QILT的开发主体的特色可以总结为主体代表性广、参与的程度深和参与形式多样。由图2所示，参与的主体有20多个（不同的政府业务部门、峰值机构、企事业单位、高校研究部门、教师和学生代表等），他们会参与到开发的不同阶段。在2011—2015年间，各个主体之间通过问卷调查、针对性意见反馈、不同主体和不同主题的圆桌会议等多种形式保持意见交流和沟通。业务团队由不同领域的专业人士构成，如包括主攻问卷的专家、数据分析专家、政策分析专家以及政策制定者等，既尊重代表性也尊重实践性和用户体验。深入了解所有利益相关者对不同问卷融合的现实性和理论性考虑、问卷调查理论维度、学科差异、调查指标和维度的意见和建议。QILT系统开发的特点是学生不再仅仅是被分析和测试的对象，而是能在决策中有发言权的主体。

　　四、QILT系统建构过程的科学性保障

　　过程的科学性保障是指管理和开发主体综合参考改革的需求和目的，结合评价理论和工具，按评价规律建设评价系统，确保评价工具和评价系统的可靠性。

　　1. 多次、多点、多轮测试问卷。QILT问卷的开发遵从了最基本的问卷开发程序：立项-调研-初稿-测试-修改-再测试-试调查-修改-定稿。在此基本路径下，采取不断论证和测试结合的方式，确保调查设计每个决策的科学性。如问卷开发小组明确界定每次测试目的、测试内容、测试范围。问卷内容的开发从初期到定稿，依据测试的需求，小问题小测试，大问题多点测试，确定每次改动不会影响问卷内容的整体结构效度。测试还表现出阶段性的特征：开发初期，主要参与对象是小范围的学生、老师和专家，讨论不同问卷内容融合性问题，针对内容开展了10到20人的问卷前测和问卷后测。开发中期，把初始版问卷在不同高校开展多试点测试，测试的主要目的是确保问卷信效度。开发末期，安排大范围多轮次的试调查。如2011年，在澳大利亚一半的高校中开展了大学生体验问卷试调查，共计24所高等教育机构的约15万学生参与。

　　2. 测试优化调查程序。除调查工具外，调查程序也需要精心设计，反复优化。问卷调查的基本程序包括：宣传、机构注册、抽样、收集调查对象信息、邀请和发送、催答、过程质量布控、问卷收集、数据清理、数据分析和报告。每一个环节都会有决策和调查风险。因此，除了确保问卷内容的质量之外，对调查环节也进行了审慎的测试，针对性地对调查过程中的风险点如覆盖误差、抽样误差、评估对象反应（如不参评和不作答）、工具质量差（如信效度低）和结果错误（如数据错误），进行方案测试和布控。如为减小测试抽样误差，工具开发团队测试了不同的问卷抽样策略对结果的影响，论证不同抽样方法与覆盖误差和抽样误差的关系。针对风险性较大的问题进行预测性的风险布控。利用试行调查，针对不作答对象特质进行分析和不同催答方案试验，以达到最优的发送策略；通过试调查来确定数据标尺边界，如通过分析应答率与结果的关系，确定应答率需高于35%为有效参评机构。

　　3. 迭代升级调查平台。QILT测试包括对调查平台的所有功能的实现和调整。现代信息科技的发展使得开展大规模的在线网络调查成为可能，但调查平台需反复调试升级才能确保其能满足大型问卷调查的复合型评价需求。问卷调查平台的基本功能包括收集调查对象信息、发送、回收和数据下载。然而复合型评价系统需要非常复杂。如调查的普遍性和针对性问题，QILT的问卷都是在一套基础问卷上嵌套有灵活的模块设置。如大学生体验调查，通过学籍一题，会触发“国际学生”模块。这样的问卷结构非常复杂，对在线系统提出更高的技术要求，同时还需要综合考虑问卷结果统计分析的方便性和可操作性。此外，还需要实现不同数据采集平台之间的融合问题。虽然已经正式建立，QILT调查平台还在不断的升级完善中。

　　五、思考和启示

　　我国一方面存在着重复性评价和过度评价的问题，另一方面又缺乏一套真正能监测大学教学质量的评价系统。要解决这样的矛盾，我们需要的是国家整合之力，重新规划和建设我国现代化的高等教育评价体系，通过构建一套高质量的教学监测系统以满足不同评价、评估、评审对教学数据的需求。本研究认为澳大利亚的案例值得我们从以下三点进行借鉴。

　　1. 整合资源打造现代化的教学质量常态化监测平台。这是当下我国教学评价改革的目标。澳大利亚的经验表明我们可以通过整合国内已有调查实现这一目标，既解决重复调查的问题，又减少评价压力。我国不缺问卷系统，但很多都是用一次设计一次，这样的逻辑很难同时保障工具、程序和系统的科学性。我们的国家整合力比澳大利亚更强，我们需要的是国家主导打破机构壁垒，将混乱封闭的调查系统整合成一套常态化的、相互协调的、层次递进的，涵盖本科生、研究生、毕业生和用人单位，甚至应该包括教师和高校管理者等所有利益相关者的综合调查系统。此外，还可以通过常态化调查系统逐步建成国家教学质量大数据库，从而逐渐掌握高校学科课程设置的独立性和交叉性特征，为破解交叉学科评价、分类评价等难题提供数据支撑。

　　2. 顶层设计大胆假设，构建过程小心论证。澳大利亚通过学生成长周期框架布局QILT证明顶层设计是整合重复性评价系统的可行方向之一。我们要以我国人才培育特点为基础，以成长关键期为调查节点，以满足不同利益相关者在培养过程中的不同需求为出发点，给予一定时间长度进行反复测试和论证，构建一个完整涵盖学生发展的全国综合性评价系统。一套评价系统对接不同的评估、评价、评审需要，上可服务国家政策制定的宏观数据分析，下可服务高校教师教学改革的中微观论证；对外可与其他国家教学发展水平数据进行对比，对内可满足公众对教学信息的全面知悉。

　　3. 深化多元主体的建构作用，形成开放式建构模式。我国不乏各种评价和社会调查的专业人才，但往往是评价理论研究与评价实践探索相互割裂，不同主体之间没有形成开放式的沟通和互动。QILT建设过程突出的特色是参与主体的跨界合作性、主体多样性，参与广泛性和深入性，从而使得教育改革主体自然迸发出多元主体的特色。我们的多元主体在强调代表性、专业性和权威性外，也要开始注重开放式沟通，透明化参与过程，让各种利益相关者深度参与建构的过程，保证调查系统对现实保有最大敏感性。

（本文来源：中国高教研究）