对话式研训评价模型在教研转型中的运用

（一）对话式研训评价目标指向

评价的目的在于帮助判断培训项目的合理性、先进性，确定活动是否合适，了解培训的执行情况，确定项目是否达到预期目标等。评价是为了改进培训工作，改进培训方法和流程，提升培训质量。

教师培训评价是一个具有连续性、动态发展性的过程，可细分为培训前、培训中、培训后及跟踪阶段三个评价区间。看似独立实则相互联系的三个评价区间，在设计与实施过程中需要注意统筹规划、综合评价，还应该侧重评价理念、评价方法、评价内容、评价对象在评价过程中的整体思考。

对话式研训活动的评价也是基于改进培训方法和流程，提升培训质量为主要目的的评价。我们为什么需要引入评价，也是培训价值的重要体现。而培训价值的关键是“效果怎么样”。我们要想了解对话式研训的效果怎么样，就必须对研训的过程和结果进行评价。培训评价是一个复杂而系统的工程，需要采取科学的评估模式、评估方法，要利用多种评价工具进行全面判断。对话式研训要体现出完整性，培训效果的判断自然离不开科学的多元评价。

对话式研训活动的评价是运用一定的评估方法、量化标准以及评价标准，就对话式研训的过程及结果进行综合考核与判断，并据此衡量研训的价值和有效性。对话式研训评估借助几种评价方式和工具，主要从对话过程和研训成果两个维度进行效果评价。教师对话式研训活动评价可借鉴教师培训评价区间划分，对培训前、培训中、培训后及跟踪阶段三个连续、动态、发展的动态区间过程进行评价。

（二）对话式研训评价模型运用

基于国内外教育培训的评价模型众多，我们依据对话式研训的内涵，审视研训的过程是培训者和参训者话语实践的过程，更关注和侧重过程的评价和培训效果。因此，对话式研训评价借助多种评价方式和工具，主要从对话过程和研训结果两个维度进行效果评价。

1.对话式研训的过程评价

过程评价指在项目运行过程中收集与项目运作和进展有关的资料，对项目运行情况做出判断，并提出改善或提高项目运作的建议。过程评价可以了解项目的运作情况、实施过程中的执行程度，及时发现问题并解决，促进项目的顺利推进。过程评价还能了解项目活动的适用性和被接受性等。过程评价始终贯穿于整个项目实施的过程中。对话式研训的过程评价就是对教师在研训活动中参与对话的过程进行监测，评估对话情况，基于教师认知共振、思维同步、情感共鸣三个方面，了解对话的接受度、参与度和投入度，判断评估对话六环节的具体行为，反映研训活动的效果。对话式研训的核心价值之一是重组与建构。重组与建构的过程是培训者与参培教师在平等关系的基础上，通过对话建构新意义、新认知和新策略的过程。关注新认知和新策略的生成过程，也是关注对话式研训的核心价值。因此，核心价值的关注正是评价的主要内容，即对话式研训需要过程评价。对话式研训的过程评价主要借助他人评价方式，通过对对话环节个体行为、个体学习投入、研训活动过程观察和课堂教学质量评价四个方面得出评价结论，印证研训活动的效果。主要包括：

（1）研训对话环节行为评价。培训者是对话式研训活动的设计者、观察者。培训者与参训者的对话是多维、多层、多回合的互动。参训者通过倾听、理解、接纳和自我重建，生成新认识并形成行动策略。这是一个动态、反复的互动过程，并在对话的过程中反映研训的效果。参训者积极参与对话，则说明研训效果明显。基于组织行为学“归因理论”，对研训活动的过程进行多视角观察。对话式研训各环节个体行为评价是指对教师研训过程中的各环节进行情况做出的状态判断。这种判断是对教师对话行为的整体评价，也是对活动中各环节具体行为投入、专注和达成的评价。

（2）学习投入的观察评价。在对话式研训活动中，组织者要有意安排观察者对参训者参与对话的过程进行隐性观察、记录参训者的具体行为（见表 5.1），对参训者在活动中的“学习投入”（包括活力、奉献和专注三个维度）做出整体评价。

表5.1　对话式研训活动观察记录表

（3）基于LICC模型研训活动过程观察评价。LICC模型是一种“课堂观察”的专业化听评课活动模式。“课堂观察”是一种以听评课活动的特殊形式的教育科学研究方法。LICC模式理论成熟，易于操作，也便于听评课活动教师进行选择和使用。在专业理念的引领下，听评课教师通过使用专业的观察工具（如观察量表），完成课堂观察。华东师范大学崔允漷等专业教育研究者开发的 LICC范式是目前我国具有代表性的课堂观察模式。成人的学习是以问题为中心。对话式研训是培训者与参训者基于实际教学中问题进行民主平等、动态开放性的探究式对话。因此，本研究中的对话式研训活动本质是成人学习的课堂活动。我们借鉴了LICC范式评价对话式研训过程中教师的投入程度，通过教师的课堂活动行为、态度反映研训效果。如果课堂行为、态度越积极，说明教师在研训活动中的投入度就越高，对话式研训活动效果越好。因此，我们将LICC范式“课堂观察量表”进行了改良，用于教师对话式研训的评价（见表 5.2）。

表5.2　对话式研训活动过程观察表

（4）UTOP 课堂教学质量评估。课堂评价标准的有效性，是影响教师发现教学中的薄弱环节的关键，也影响课程结构和教学方式。在众多课堂教学质量观察评估工具中，信效度好、便于操作、适用范围广的是由美国得克萨斯州立大学 UTeach 教师中心提出的教学观察方案（UTeach Observation Protocol，简称UTOP）。因此，中小学教师对话式研训效果评价也运用了这种方式。基于 UTOP 评估系统观察要点的课堂环境（Classroom Environment）、课程结构（Lesson Structure）、执行效果（Implementation）和教学内容（Math/Science Content）四个维度，组织者设计出对话式研训活动质量评价观察一览表（见表5.3）。

表5.3　基于UTOP测量维度的对话式研训活动质量观察

2.对话式研训的结果评价

结果评价是指在项目计划执行结束时对项目实施所产生的结果进行评价。要找出项目是否真正产生了预期的结果就要进行结果评价。结果评价的主要内容包括：一是目标人群状态。培训内容是否符合目标人群的需要；目标人群是否对活动的形式满意以及对将来活动的具体建议等；目标人群对项目培训人员是否满意，与同伴参与人员相处是否主动、和谐，参与活动心情是否愉悦等。二是倾向因素状态。教育项目实施后，目标人群的相关行为、态度与项目实施前相比较，有比较明显的变化。三是相关行为改变状态。在教育项目实施前后，目标人群相关的行为是否发生变化。结果评价侧重项目实施后目标人群的行为变化。柯克帕特里克提出的反应、学习、行为和结果四级评估模式，是目前国内外应用最广泛的培训评估工具，并一直影响着国内教师培训评估活动。四级评估模式理论认为培训评估四要素主要是培训内容、学员、培训讲师、培训项目的管理。柯氏的四层模型评估包括反应、学习、行为和结果四个层面的状态。成效评估采用柯氏模型，即四层次评估模型进行。柯克帕特里克按照评估的深度和难度递进的顺序将培训效果分为反应层（Reactions）、学习层（Learning）、行为层（Behavior）和结果层（Results）四个层次。回归培训本身，即参训者的满意度、参训者掌握知识与技能情况、参训者行为改变情况和参训者的行为改变对团体组织产生积极影响情况。

对话式研训具有民主性、平等性、互动性和生成性的特征。对话式研训特别强调和关注研训后的生成，让培训者与参培教师双方在真诚沟通中互相借鉴、取长补短，在充满激励的合作氛围中引发新的思路，生成新的智慧和解决问题的办法。对话成果在这种充满智慧和创造色彩的过程中动态生成，而非培训者事先预设。因此，对话式研训必须也有必要对培训结果进行判断和评价。

通过多种考核评价工具的研究、甄别，我们采用了有多年教师培训评估经验的北京教育学院提出的教师培训四级评估模型。这个评价基于柯克帕特里克四级评估模式理论迁移产生。教师培训四级评估模型是对培训结果和效果的评估，所涉及的要素并不是面面俱到，主要侧重学员要素评估，可以客观、合理、可测量、可操作地评价对话式研训活动效果。通过相关研究分析表明，培训结果评估与反应层、学习层、行为层总体上呈显著的正相关。换言之，反应层、学习层、行为层的评估结果越好，说明结果层的评估结果就越好。反应层可反馈受训者的学习心态和心情。学习评估可反馈受训者知识、技能和态度。在培训过程和培训结束后，学员改变了工作行为和工作方法，将所学知识、技能应用到教学实践中，促进教学方法多样化，提高工作的熟练度，提升工作的绩效，进而影响到结果层的评估。对话式研训结果的评价围绕“实践问题→研训话题→思维碰撞→视域融合→策略生成→行为改善”的对话过程，根据结果评价的主要内容目标人群状态、倾向因素状态和相关行为改变状态进行评价。为此，评价需要借助科学的评价工具。基于此，我们将教师培训四级评估模型运用到对话式研训结果评价中（见表5.4）。

表5.4　教师培训四级评估模型

3.评价路径与保障

（1）线上线下搭建全覆盖多元评价路径。我们通过线上线下综合考核路径完成评价，特别是借助虚拟平台，完成大数据评价分析。我们借助翠屏区教师研训云平台群、QQ群、微信群、钉钉群、沪江网群、直播平台群、翠屏区视频会议平台群、宜宾市智慧教育云沟通群、问卷网、问卷星、UMU互动平台、教师研训网群组、国家教育资源公共服务平台专题教育社区小组等，对研训活动的目标、内容、课程设计、研训方式、研训成效与收获等方面进行效果评价，在网络环境中分析统计，完成教师对话式研训的质量监测和诊断，促进教师反思和智慧共享。

（2）科学评价工具提供多维评价技术。我们运用多种评估工具，充分运用柯氏评估方式规范评估过程，建立标准评价模式，形成科学的评估结论。在研训各阶段、各主体中，我们充分运用相应的评价工具，在定义评估效果中进行综合评价，确保评价阶段性和准确性。我们注重评价过程，统一评价标准，并针对不同的评价工具，每次都召开考前培训会，明确评价流程、要求和标准，保证评价过程的真实、科学、有效。每种形式的评价结束后，课题组都要及时进行数据统计，进行信度和效度分析，从多方位、多角度、多层面对培训过程中的学员认知态度、技能学习和行为转变等方面进行有效分析，客观真实地反映评价结论。

【案例】“校本课程有效实施的对话式研训”评估案例分析——以初中数学分层校本课程为例

（一）培训背景

为了给一线教师提供常规教研活动中运用对话式研训方式开展教学研讨的个案和范本，师培中心开展了一次区域内的现场研讨活动。

为了化解宜宾市第五初级中学省级科研课题“初中‘走班制’课程构建研究”成果推广和转化难题，学校需要开展以“初中数学分层校本课程的有效实施”为主题的对话式研训，在平等对话中找出阻碍初中数学分层课程有效实施的原因及解决策略。

（二）实施对象与主题

1.对象（共 70 人）。（1）线下活动对象：宜宾五中数学骨干教师、中层管理人员和片区学校部分数学教师共25人。（2）线上活动对象：“翠屏区第二届中小学生态课程建设优秀成果展评活动”中获奖课程主要研发人员，共45人。

2.主题：初中数学分层校本课程的有效实施，即阻碍初中数学分层校本课程有效实施的原因及解决策略。

（三）培训目标

1.教研活动目标：找出阻碍初中数学分层校本课程实施的主要原因；初步形成初中数学分层校本课程有效实施的策略。

2.研训活动目标：体验对话式研训教研活动方式；了解并基本掌握部分对话新工具——“5W2H”、UMU等。

（四）培训内容

1.利用新的对话工具研讨阻碍初中数学分层校本课程实施的主因。

2.利用对话工具研讨初中数学分层校本课程有效实施的解决策略。

3.对话新工具：“5W2H”、UMU和质疑头脑风暴的具体使用。

（五）实施条件

1.场地、人员准备：分组教室、主持者、观察者等。

2.引入工具：暖场技术、排序发言、5W2H、质疑头脑风暴。

3.研讨材料准备：A3纸、组号牌、黑色马克笔、黑板、“5W2H”分析表、校本教材复印资料等。

（六）实施过程

1.课堂观摩，产生话题。观摩老师利用UMU互动学习平台，在观摩过程中探究数学分层教学的得与失，分析课程实施中存在的问题，并及时将自己的所思、所惑进行线上交流。

2.破冰游戏，准备对话。活动分为五个小组，各组在主持人的口令下开展“解手套”破冰游戏，营造轻松和谐的对话氛围。

3.实施对话，生成策略。

4.参训教师总结培训感受和收获。

5.主持人、观察员与专家总结。

（七）培训过程评价

1.自我评价。本次活动成功运用了“5W2H”技术，引导参训者从“what”“why”“when”“where”“who”“how”“how much”七个维度进行定性分析，明确了问题的指向，增强了分析的针对性，确保了自我对话的切实有效。自我经验的对话不游离于问题之外，同伴对话使小组成员都进行平等的交流。同伴间相互交流、启发，吸纳彼此的经验与智慧，促使思维得以碰撞，最终提炼出富有本组特色的阻碍课程有效实施的原因和解决策略。小组展示和组间质疑是面向全体参训者的对话方式，既再次梳理了各小组提出的原因和策略的异同，又升华了各小组提出的改进策略。

2.他人评价。组织者利用观察者对参训者参与过程的观察记录、对参训者在活动中的“学习投入”（包括活力、奉献和专注三个维度）做出整体评价。我们根据观察记录表得知：在整个活动的五轮对话中，参训者的学习投入度分别为 96.9%、98.3%、86.6%、96.3% 和 88.4%；25 名参训者总体平均学习投入度为93.3%。

（八）培训结果评价

培训结果评价运用柯氏四层次评估模型进行。柯克帕特里克按照评估的深度和难度递进的顺序将培训效果分为反应层（Reactions）、学习层（Learning）、行为层（Behavior）和结果层（Results）四个层次。回归培训本身，即是参训者的满意度、参训者掌握知识与技能情况、参训者行为改变情况和参训者的行为改变对团体组织产生积极影响情况。

1.反应层（Reactions）。参训者在 UMU 上完成活动效果反馈：96% 的参训者参与调查，并对培训进行数值型评分，85.7 的参训者都给出了10 分，14.3% 的参训者给出 9分，此次培训平均分为 9.85分（分值 10分）。63.6% 的参训者参与了开放式问题“您对这次培训的活动形式想说点什么？希望我们改进的地方是什么”的调查：85.7% 的参训者对培训做出了肯定答案，仅 14.3% 的参训者在破冰游戏的方式和训间休息时间上提出了修改意见。

2.学习层（Learning）。（1）确定了阻碍初中数学分层校本课程实施的主因及应对策略。参训者通过培训明确了阻碍初中数学分层校本课程实施的主要原因，并找出“教师不愿或不能有效利用初中数学分层校本课程进行教学”的解决策略。例如，从“为什么”角度探讨“课程更新不及时、对校本课程的理解不够，‘教考分离的考核缺乏激励性，校本课程系统性、针对性不强”等症结；从“怎样解决”角度探讨“每年对分层校本教材进行及时更新；加强教师集体备课、二次备课，做到学情与校本教材的有机融合；加大经费投入，建立教师激励考核制度；专家与一线教师协同编写校本课程”探寻解决对策。（2）体验了对话式研训的教研活动方式。（3）了解并基本掌握了对话工具：“5W2H”、UMU、质疑头脑风暴等。

3.行为层（Behavior）。组织者要从行为层面看参训者行为的改变：（1）细化策略。活动结束后1周内，参训者要结合培训结果细化数学分层课程有效实施的策略，并在第二次学科教研活动中分享。（2）修订课程。参训者审视数学分层校本课程内容，在活动结束一周内上传一节九年级初中数学分层校本课程。学校改变课程研发人员结构，邀请当地高校专家介入课程修订和完善，在1月内完成了课程的修改、补充。（3）转变考核机制。学校管理者修订教师考核、激励制度。

4.结果层（Results）：（1）深化学校课程改革。通过培训，教师对校本课程的实施并有了新的认识，推动宜宾市第五初级中学继续深化校本课程的开发研究，申请立项了2019省级科研课题“初中分层走班下的数字化资源校本建设研究”。（2）转变校本教研方式。项目培训的进行，使参训者在本校教研活动中想用、能用对话工具。区域内参训学校85%都采用了对话的教研活动方式。

（九）问题与反思

1.存在问题。（1）存在阻抗者。由于对话工具“5W2H”、UMU、质疑头脑风暴都是在培训中第一次使用，个别年龄偏大的教师比较排斥，表现为一定程度上的不配合、不投入。（2）缺乏技术引导。培训需要向中小学提供校本教研活动范本，常常选择本校教师担任活动的主持人。在培训中，由于主持者缺乏成人培训经验，不注意引导技术的使用，影响了参训者的活动卷入和学习投入。（3）产生“霍桑效应”。培训过程因需要关注、评估参训者的投入程度而确定了5名观察员分配到各小组。活动中，部分靠近观察员的参训者，在思维和表达上可能受观察员地理位置影响，注意力较其他参训者有所分散，并表现出拘谨或紧张，导致思维受到抑制。

2.改进思考。（1）干扰阻抗。阻抗的类型主要有阻碍别人和自己抗拒。培训者和观察员要及时发现、关注阻抗者，针对自我排斥参与对话活动的个体，可利用群体影响力带动其互动。对于自我抗拒又阻碍同伴参与活动的个体，培训者可利用适时闯入阻抗者安全区域进行干扰，如可从坐姿心理暗示、拍照心理压迫等技术手段快速引导参与。（2）介入引导技术。引导技术是一门管理技术。引导技术使参训者研讨目标更清晰、对话更专注，避免对话中的偏题、跑题，在团队的研讨、决策中能促成高质量结果的形成。培训者利用引导技术引导参训者共同探讨、理解并彼此接受，最终形成解决策略或方案，会让团队后期的贯彻率和执行率更高。（3）植入隐秘观察者。有效的课堂观察可以给教师提供有效的反馈，使他们发现问题，有助于教师清晰地意识到支配课堂教学行为的教育教学行动策略，促进其专业成长与发展。培训者展开培训时，隐秘观察者不会对被观察者造成干扰和压力，可记录参训者自然、真实的状态，获得更科学、有效的数据。