工程教育专业认证是提高人才培养质量、推动教育改革的重要途径，其倡导以学生为中心、产出导向（outcome-based education, OBE）、持续改进的基本理念。中国工程教育专业认证标准第4.1条标准项要求建立教学过程质量监控机制，定期开展课程质量评价，指导书要求自评报告的“持续改进”部分提供2门课程的课程目标达成情况评价报告。

评价不仅是为了反映学生的学习效果，也是实现教学持续改进的关键反馈信息。美国工程技术评审委员会（ABET）专业认证标准自评报告指导书要求：在持续改进环节描述上一年的改进建议如何用作持续改进的输入；对改进情况进行评估，无论是否有效，都应描述更改的结果；根据最近的评估为下一次课程提供改进建议；为每一个改进计划提供简要的理由，指出改进的动机。

在传统教学中，课程设计缺少个性化和针对性，常与学生实际需求和发展意向相偏离。同时，常规的改进过程具有较强的主观性、随机性，需要引入更加科学先进的方法进行指导。因果推断近年来得到快速发展，在生物医学、经济学等领域获得广泛应用。Judea Pearl教授提出因果图模型，将科学、知识、数据等概念纳入到一个具体的背景框架。通过构建课程教学因果图，能更深刻地认识教学方法与学习成果之间的内在联系，消除混杂偏误，从而科学有效地进行课程教学的持续改进。

本文提出基于学情混杂控制的持续改进模式，以某高校通信工程专业开设的“信息安全”课程为例，首先通过多元化评价内容，挖掘出初始绩点和发展预期这两个混杂因子，并进行分层分析；然后构建因果图，引入后门调整法控制混杂因子，计算教学方法对学习成果的因果效应；接下来提出相应的改进措施，并运用因果图分析改进的理由；最后，在下一学年进行教学设计及学习效果评价，由此提出未来的改进计划。

1 持续改进模式

1.1 持续改进现状及问题

某高校的课程质量报告模板包括三部分内容，即上一轮课程质量持续改进措施和实施情况、本学期课程目标达成情况评价分析，及下一轮课程质量持续改进措施。由此可见，专业认证标准要求的持续改进理念已得到落实。常规持续改进模式如图1所示，开展课程目标达成情况评价，并将评价结果切实用于课程教学各环节的持续改进。

图1 常规持续改进模式

对课程目标进行达成评价，是开展毕业要求达成评价的基础，也是基层教师实施教学改进的基础性工作。当前国内普遍采用的平均分算分法和15%分位法，都可以在一定程度上用于发现问题和持续改进，例如多个课程目标达成情况的横向比较，同一课程目标历年达成情况的纵向比较。

但是，要做好个性化教学和持续改进，仍存在以下问题：①评价内容单一化，主要评价学生对知识的掌握情况，忽视了学习策略、心理活动和情感等方面的评价；②达成情况分析仅考虑数据，没有注意数据生成的过程，难以得出初始数据不包含的内容，发现的问题缺乏数据支撑；③改进意见基本上只是定性的、显而易见的直觉和假设，对问题的针对性不足，且没有进行简要的分析，难以保证改进措施的科学性。

1.2 基于学情混杂控制的持续改进模式

基于学情混杂控制的持续改进模式如图2所示，由学习效果分析、因果效应计算、改进措施提出、课堂实施构成闭环。在T阶段课程质量评价时，首先寻找混杂因子，通过分层控制进行学习效果分析，构建课程教学因果图；随后运用后门调整法，计算教学方法对学习成果的因果效应；最后通过因果图提出针对性的干预措施，消除混杂因子的影响，改进课程教学。在T+1阶段进行课堂实施，通过改进措施优化教学设计，并评价改进效果。针对T+1阶段存在的问题，采用上述方法进行分析，提出未来T+2阶段的改进措施。

图2 基于学情混杂控制的持续改进模式

2 学习效果分析

2.1 基于考核结果的学习效果分析

某高校通信工程专业2020年“信息安全”课程以比特币及其私钥保护方案的设计、风电场通信网络安全的现状与改进等为课题，要求学生进行作品设计及成果展示。本文收集课程中108名同学的参与度和考核成绩的量化分，其中参与度量化值反映学生在课程中的积极参与情况，包括调查问卷取得的学生周平均投入时间、是否撰写实验指南、是否挑战其他小组、是否申请担任组长、是否发布作品短视频等，按照各项权重计算所得。

完成课程的学生参与度量化值基础分数为40，上限为100。考核成绩由成果档案袋评价得分和期末考试分值共同决定，成果档案袋评价得分按照团队评分和队内评分的方式，获得不同的初始分值和计分系数，最终计算得到考核成绩的量化值。

以参与度X为自变量，考核成绩Y为因变量，绘制学习效果散点图如图3所示。可以看到，学生参与度较低，且参与度和考核成绩两者并不直接呈现正相关的关系。这与数据预期相悖，表明存在混杂因子的干扰，较低的参与度也难以真实反映课程教学效果。然而算分法仅能得到孤立的数据，不能回溯数据生成过程，因此引入因果推断的方法挖掘数据间的内在联系，进行混杂控制及持续改进。

图3 2020年学习效果散点图

2.2 混杂因子分层分析

通过问卷和座谈会等形式与学生交流，初步发现存在初始绩点和发展预期两个混杂因子。初始绩点指学生大三进入本课程时的综合绩点，初始绩点不同的学生往往在学习热情、自我驱动能力和学习方法上有较大差异。学生的发展预期可以简单分为考研、保研、择业三个大类，根据实际教学情况可以有更为细致的分类。

不同的发展预期决定了学生在参与课程时迥然不同的学习态度，尤其在大三的课程中，这三类学生在专业课程上投入的精力和时间有较大的差别。为了分析混杂因子对参与度X与考核成绩Y的影响，需要分层进行观测。

将初始绩点和发展预期综合为学情个性化变量Z，通过调查问卷收集学生的职业发展期望等因素，对变量Z进行分层，受保研和升学政策影响，“低绩点保研”分组实际不会出现，因此分为5层，分别为高绩点保研型、高绩点就业型、高绩点考研型、低绩点就业型、低绩点考研型，依照调查数据，该课程每层人数分别为11人、20人、23人、29人、25人。

通过上述数据处理，得到分层后的学习效果散点图如图4所示。学生数据在每层内均具有整体向上的趋势，这进一步说明了学生个人能力成长与课程参与度呈正相关。

分析可知，高绩点保研型学生约占10%，这部分学生综合素质较强，期望课程能给自己带来新的能力增长点，在激烈的保研竞争中获得更强的竞争力，因此参与度和考核成绩都处于相对高位。考研型学生约占45%，这部分学生的参与度相对较低，考核成绩也较差，他们倾向于付出较少的时间以通过考核获取学分，将主要精力投入考研学习中。预期就业的学生情况最为复杂，既有工程能力突出的实验室成员，也有雄心勃勃的创业者，他们的时间相对充裕，参与度整体居于中层，往往希望课题更加个性化和有趣味性，以增强参与者的综合素养。

图4 2020年分层后的学习效果散点图

2.3 课程教学因果图

因果图作为因果关系的图形化表示，便于概括变量之间的内在联系。它是一个有向无环图（directed acyclic graph, DAG）结构，由节点和箭头组成，节点代表变量，箭头由因指向果。图5为课程教学因果图模型，其中参与度X表征课程教学方法，考核成绩Y表征学生学习成果。显然，在学习过程中，学生对课程的投入精力直接影响学习效果，因此X是Y的父节点。Z为学情个性化变量，由初始绩点和发展预期综合而来，同时对变量X和变量Y产生影响，是X与Y因果关系中的混杂因子。

图5 2020年课程教学因果图

综上可知，在“信息安全”课程教学中选题难度过于均衡，对于综合素质优秀者过于简单，存在边际效应递减现象；对于基础较差的学生而言难度偏高，即使花费较多的精力也难以在小组竞争中取得优势。另一方面，选题范围过窄，展示渠道较少，不利于发挥学生的个人优势和调动学生的积极性。

2.4 因果效应分析

将X和Y的数值分为有限且数目可控的类别，根据2020年课程教学中X和Y的情况，将参与度X分为三个区间：参与度低为0、参与度中为1、参与度高为2。将考核成绩Y分为五个区间：40～60分为0、60～70分为1、70～80分为2、80～90分为3、90～100分为4。由式（1）计算观测数据，得到X对Y的真实因果效应。2020年教学方法对学习成果的因果效应见表1。

结合图4的散点图和表1的数据分布可以看出，参与度低的人数较多，参与度高的人数明显不足，而且参与度低的学生，获得较好成绩的概率较高，参与度高的学生，获得好成绩的概率优势不显著。表明教学方法X与学习成果Y之间的因果关系不够明确，受到了较强的混杂干扰。

表1 2020年教学方法对学习成果的因果效应（单位: %）

3 持续改进策略

基于上述学习效果的分析结果，为了消除初始绩点和发展预期的影响，主动控制教学，提出以下三种干预措施：

1）提供多维度选题。例如，提供科教融合类选题，突出学生科研能力的基础建立和提前培养；提供产教融合类选题，培养解决复杂工程问题的能力；提供管理能力类选题，着重于全局意识、责任意识、管理能力的培养，以充分发挥学生长处，满足个人职业期待。

2）提供多个展示渠道。充分发挥教师和平台的力量，有的作品长于创意，体现综合素质，适合向校内外教师展示，有利于提高升学学生的参与度；有的作品面向实际工程问题，适合向企业专家展示，有利于提高就业学生的参与度；而更多的纯技术性作品，工程针对性不明显，更适合课堂展示或开发实验供学生学习，通过成就感的回馈提高参与者的积极性。

3）提供多层级考核。综合难度和知识域，将题目进行分类并给出不同的难度系数，以适应学生个人素质的差异，使初始状态较弱的学生付出一定的努力，也能较好地完成课程考核。

2021年改进措施因果图如图6所示，将三种干预措施综合为因材施教因子M，听从于学情个性化变量Z，通过个性化教学模式影响学生参与度X，变量Z和变量M在变量X处形成对撞，阻断了X←Z→Y这一后门路径，抵消了混杂因子的影响。综合上述措施，可以充分调动学生的积极性，发挥学生所长，达到更好的学习效果。

图6 2021年改进措施因果图

4 课堂实施情况

4.1 教学设计

在2021年“信息安全”课程中，按照上一学年提出的改进措施，对课程教学进行了优化，图7为改进后的课程教学框架。

图7 改进后的课程教学框架

在“信息安全”课程的7个课程模块中，设置9种教学情境任务，以适应各学生的初始状态和发展预期。教学情境任务如图8所示。学生根据自己的能力和兴趣，选择合适的情境任务进行实践。实践过程中采用小组合作（group-work, GW）的学习模式，强化学习者间的互动交流。

图8 教学情境任务

小组学习成果采用PPT、短视频、网页等多样化的展示形式，形成长期可查的作品档案，并向同学、高校教授、企业技术专家等展示作品并征求改进意见，提供多样化的展示渠道。

每个情境任务均制定评价观测点证据评估表，在进行相应情境任务之前发布。以情境任务S6为例，其评价观测点证据评估表见表2，其中相关性指作品与该评价观测点所列证据的相关强度，可靠性指作品对该评价观测点所列证据是否真实可靠，按强度由低到高给出1～5分。课堂上针对作品的相关性和可靠性，经由自评、互评、教师评价，对作品进行考核评分。根据评价结果，挑选出优秀作品在学校流媒体平台上发布。

表2 情境任务S6评价观测点证据评估表

课程最终考核成绩由成果档案袋评价情况和期末考试分数共同决定。一轮成果档案袋展示后，挑选出几个最优秀的作为课程学习成果，要求全体同学都达到该成果的认知层级。在期末考试时，以此认知平台为基础出考核题目。题目依据难度分为三类，成绩难度系数分别为1、0.9和0.8。

4.2 改进效果评价

取2021年“信息安全”课程中108名同学的参与度和考核成绩，以参与度X为自变量，以考核成绩Y为因变量，参与度和考核成绩的度量方式与2.1节一致，得到改进后的学习效果散点图如图9所示。与图4相比，图9中X与Y的关系接近一次函数，且散点簇集中在中高区域，表明学生参与度明显提高，考核成绩大幅上升。

图9 2021年分层学习效果散点图

图10展示了改进前后学生的参与度分布，X的取值众数由0变为2，说明在教学改进后多数学生表现出较强的学习积极性。表3为2020年和2021年学生的成绩数据统计，可以看出2021年学生成绩的均值比2020年的提高了9分左右，改进后能取得更好的学习效果。

图10 改进前后学生参与度分布

表3 2020年和2021年学生成绩数据统计

表4为实际改进之后X对Y的真实因果效应，将表1与表4的概率分布数据按X的取值分组进行对比如图11所示。可以看到，改进后不仅参与度低的人数显著减少，参与度高的人数显著增加，而且参与度低的学生获得较好考核成绩的概率明显降低，参与度高的学生获得高分的概率明显提升。因此，改进后教学方法（干预）X对学习成果Y的因果效应显著增强。

表4 2021年教学方法对学习成果的因果效应（单位: %）

图11 表1与表4概率分布对比

以上数据均表明干预取得良好的成效，基于学情混杂控制的持续改进模式具有科学性和有效性。

4.3 下一轮改进措施

从图9可以看到，仍有少数学生参与度较低但考核成绩较高。通过问卷和座谈会了解到，部分学生只关注自己的课堂表现和课程成绩，不愿意与同学合作和分享。全球持续发展目标提出全方位要求，教育工作者的责任在于，引导学生实现自我成长，能够适应持续快速发展的社会、技术环境，包括多元化与包容性团队合作与沟通能力的培养。运用因果图分析，教学方法X（处理）除参与度外，还具有“分享动力”属性，作为新的度量值，亦受混杂因子“学情个性化变量”影响。2021年课程教学因果图如图12所示。

图12 2021年课程教学因果图

2022年改进措施因果图如图13所示，通过“因材施教因子”节点M改进评分标准，增设“合作共享”考核项，合作共享的评价标准见表5，节点M与混杂因子Z在X处形成对撞，分析认为可有效改进学情个性化变量相应分层对象对X的影响，从而提高X的分享动力值，改进X对Y的因果效应。该改进措施将在2022年的教学中进行课堂实施。

图13 2022年改进措施因果图

表5 合作共享的评价标准

5 结论

采用信息化技术为教学改进提供指导，是教育科学的发展趋势。本文提出了基于学情混杂控制的持续改进模式，挖掘出初始绩点和发展预期这两个混杂因子，构建因果图并采用后门调整法计算因果效应，从而提出针对性改进措施。通过优化教学设计，有效增强了教学方法对学习成果的因果效应，验证了本文所述改进模式切实有效，对教育改革具有重要参考价值。

然而本文在因果效应计算中，弱化了实际情况下不同干预措施对“参与度”、“考核成绩”等关键变量的相关性差异，在后续的工作中，如何更准确地评估不同干预措施与各关键变量之间的相关度，是需要进一步研究的内容。

本文编自2022年第10期《电气技术》，论文标题为“基于学情混杂控制的课程质量评价持续改进模式研究”，作者为龙璇、段斌、柯其聪，本课题得到湖南省学位与研究生教育教改研究重大项目、湖南省新工科研究与实践项目的支持。