菲利普斯五级投资回报率模型

二、菲利普斯（Phillips）的五级投资回报率模型

在现实中,受训组织越来越关注在培训方面的花费会对组织产生怎样的影响。Phillips也认为:“组织以牺牲组织的其他需求为代价来资助培训,如果对培训的结果缺乏应有的衡量,人们就无法对培训所影响的结果做出判断。”^［29］然而,令人遗憾的是,大多数评估模型对于培训效果的评估都停留在业务结果的层面上,比如质量的改善、员工满意度的提高、员工离职率的减少等,这些结果固然很重要,但是仍然缺少足够的证据来证明培训给组织带来的收益到底如何。

Jack J.Phillips作为全球知名的培训评估专家,20多年来一直致力于研究使用投资回报率（ROI）流程来衡量和评估培训项目的影响力,于1991年提出了著名的“五级投资回报率”模型。1995年,他又与Ron Drew Stone一起联手,对投资回报率（ROI）流程做了很多改进。这个目前最复杂也最全面的培训投资评估模型首次将货币价值概念引入到培训评估模型中,不仅使培训效果得到了更强有力的解释,更是开辟了培训评估量化分析的思路,成为后续培训评估研究的典范。下文是对这一模型内容和设计步骤的具体描述。

（一）五个评估级别的具体内容^{［9,10,21］}

第一层:反应和既定的活动评估

这一层级主要评估学员的培训满意程度和培训项目计划实施的情况,衡量的内容包括满意度、行动计划和学员对培训的反应,以及他们对与培训设计和实施有关的各种问题的看法。大多数培训项目都采纳这一级评估的形式,通常用一般的问卷或调查来实现。

第二层:学习评估

这一层级是对学员所学内容掌握程度的评估,衡量的重点在于学员从培训中学到了什么。通常利用测试、技能实践、角色表演、情景模拟、小组评估和其他评估工具,检验学员在培训中所学的内容,评估学员的知识、技能和观念的变化。

第三层:在工作中的应用评估

这一层级的评估是在评估应用和实施效果的过程中,用各种后续跟踪手段来确定学员是否将学到的东西应用到工作实践中。学员使用新技能的频率和有效性是三级评估的重要衡量标准。

第四层:业务结果的评估

这一层级的评估重点衡量学员从培训中所获得的知识和技能是否对业务结果产生了真正的影响。衡量内容通常包括产量、质量、废品率、成本节约、人员流动、时间和顾客满意度等各种结果指标。

第五层:投资回报的评估

这一层级的评估要计算投资回报率,将那些用货币形式来体现的培训收益与培训项目所产生的成本相比较。通常来讲,计算投资回报率运用比较广泛的是下列公式:

T_E＝（E₂－E₁）×T_S×T－C

式中:T_E表示培训效益；E₁表示培训前每个受训者一年产生的收益；E₂培训后每个受训者一年产生的收益；T_S表示培训人数；T表示培训效益可持续的年限；C表示培训成本。只有进行了第五级评估,评估的周期才算完成。

按照Phillips的观点,五级投资回报率模型中应该存在一条贯穿各级评估的“影响链”（“影响链”指的是学员从培训中学到一些可以应用到工作中的东西,比如新的行为,进而对业务结果产生影响（第四级））。这条“影响链”描述的是评估级别和它们所提供信息的价值,以及评估的频率和难度^［29］,如图2.3所示。

图2.3　评估级别的特点^［29］

从图2.3中可以看出,随着层级的提高,信息的价值逐级提升,使用频率下降,评估难度提高。若要评估某一层级,就必须收集这一层级以及比它低的所有层级的信息,因为只有这样才能保证信息的完整,使最终的结论获得充分的证明。

从图2.3中还可以看出,不同的客户对于数据的关注程度是不同的,所需的评估层级也是不一样的。比如说委托人可能对业务效果和投资回报的数据更感兴趣,那么他们需要的评估报告可能就需要做到最后层级——投资回报评估；而消费者可能更多的关注自身素质的提升,那么他们就会对反应、学习和应用更感兴趣,因此他们的评估报告只做到第三层级——应用评估即可。

（二）Phillips五级投资回报率模型流程概述

这一部分介绍评估培训投资回报的系统方法流程,展示如何获得项目投资回报的具体步骤。通过这样一种循序渐进的评估方法,可以使我们精确地控制每一部分的评估工作。图2.4展示了投资回报率模型流程的每一部分。^［18,29］

图2.4　投资回报率模型和流程

第一步:制定培训目标

这一步是整个评估模型衡量的基础,旨在了解项目的背景、范围以及被影响的业务指标。在制定培训目标的时候应该首先根据需求分析,获得利益相关者对于培训的预期期望；然后以预期期望为基础,制定培训应该达到的最终目标；最后将目标依次分解,制定各级评估目标（反应/满意度目标、学习目标、应用/实施目标、业务影响目标、投资回报率目标）。从评估角度出发,这一步是给整个培训评估活动提供了一个基础,以便后续可以在每一层级上对培训项目的成功程度进行评估。

第二步:制定评估计划和基础数据

一份好的项目计划是项目获得成功必不可少的因素,培训评估亦不例外。因此,在整个流程开始运作之前,就应该确认研究的目的和适当的评估策略。在这一阶段主要应该确定两类评估计划:数据收集计划和投资回报率分析计划。

数据收集计划是规划文件中最初部分的内容,当评估的目标和衡量指标确定下来时,数据收集计划就已经确定了下来了。^［21］数据收集计划应该确定（四个级别的）衡量范围、数据收集方法、数据来源和数据收集时间,以便收集基础数据和跟进数据。^［29］

投资回报率计划将决定用于对数据进行分析的方法。这个计划包括对培训效果的鉴别、将数据转换成等值的货币价值、计算培训的成本费用以及确定无形的收益。^［29］

第三步:培训期间的数据收集

在这个阶段培训活动业已完成,这期间的数据收集主要是为第一和第二级评估服务。Phillips认为,在收集这两个级别数据的过程中,评估者往往并不一定总是参与其中,但是他们应该从其他人那里获得充足的信息（尤其在第二级）,来满足对特定级别的培训评估工作进行研究的需要。^［29］

第四步:培训后的跟进数据收集

这个阶段的工作是为了满足第三和第四级评估的需要,具体数据收集的方法和时机应该参照第二步中指定的数据收集计划。在整个投资回报率模型流程中,这个阶段是至关重要的阶段,因为如果这个阶段收集不到数据,就无法进行业务影响研究。

在这一阶段由于评估项目的差异（比如培训项目的种类、有关人员的合作意愿、组织中存在的障碍、数据的可获取性、收集数据的成本以及数据的准确程度等^［29］）,应该根据需要选择合适的方法。Phillips经过二十多年的实践研究,认为在这一阶段主要的数据收集方法如表2.5所示。

表2.5　培训结束后的数据收集方法

第五步:培训效果鉴别

我们在前面的叙述中遇到过这样一个问题:即当培训完成后,受训组织的某些绩效指标确实发生了变化,但是培训评估却找不到足够的依据来证明这些变化是由培训带来的。Phillips在他的模型中给我们作了回答,虽然这种回答不能完全甄别组织绩效的变化是否由培训带来,但是也给我们提供了一些鉴别培训效果的思路。(www.chuimin.cn)

Phillips认为总体结果的改善可能是由外部因素、管理层的关注、奖励、体系/程序的变化以及培训项目共同构成,因此鉴别培训效果的第一步是确定对绩效产生影响的因素,这一点可以从客户、培训学员、中高层管理者等多个维度进行分析、总结。第二步是选择鉴别策略。Phillips将鉴别策略分为10种,分别是:控制组、趋势线分析、预测方法、学员提供的评价、主管提供的评价、管理层提供的评价、客户的意见、专家的评价、下属的意见、其他因素的影响。^［29］在选择策略的时候,他认为应该根据项目的特点和策略的可行性（有可能安排控制组的活动吗？）、策略的准确性（是否可以确定非培训因素对产出指标的影响？）、策略的成本等一系列因素来进行考虑。

第六步:将数据转换成货币价值

将那些受培训项目影响的业务结果的数据转换成货币价值对于确定投资回报率（ROI）是十分必要的。Phillips模型认为此阶段的工作应该注意以下事项:

（1）区分硬数据和软数据

硬数据是指那些非常客观、易于衡量和转化的传统指标,如产出、质量、成本等。软数据是指主观性较强、难以衡量和转化的“软性的”变量,如员工满意度、客户满意度等。

（2）选择合适的策略

Phillips认为适合进行此阶段分析的策略包括将结果转换为贡献、转换质量的成本、转换员工的时间、使用历史成本、使用内部和外部专家、使用来自外部数据库的数据、使用学员提供的估计数据、与其他衡量指标相结合、使用主管和精力提供的估计数据、使用培训人员提供的估计数据等10项。^［29］在选择使用策略来进行价值转换的时候,应该考虑策略与数据的匹配性、数据的可获得性和便利性、策略的优劣排序、是否需要策略组合等一系列问题。

（3）对数据进行调整

这里涉及两方面数据的调整:一是对于软数据的调整。由于这些数据具有明显的主观性,而且测量方法也可能不精确,因此管理层或评估者经常对此类数据进行分析分解,使数据更加可靠。二是对于货币时间价值的调整。由于投资期和回报期的时间具有明显的间隔,因此将他们直接进行对比是不科学的,应该使用现金流折现的方法对货币价值进行调整,使他们处于同一期内进行比较。

（3）转换一个衡量单位的价值^［29］

根据Phillips的理解和描述,将数据转换为货币价值的过程应该遵循以下步骤:

1）确定改进的衡量单位,即培训所影响的衡量指标是什么,比如销售额的提高、离职率的降低等。

2）确定每个衡量单位的价值（V）,即一单位衡量指标的变化所带来的成本节约或效益提高是多少。

3）确定绩效水平的变化（ΔP）,即衡量指标发生了怎样的变化。

4）计算改进的价值（V×ΔP）。

第七步:确定培训成本

在计算培训项目投资回报率的过程中最重要的因素就是恰当地确定培训项目的成本。^［21］在确定成本的过程中应该充分注意成本的分类。Phillips模型充分利用表格实现了成本的分类和累计计算。在培训项目中,需要考虑的成本项目如表2.6所示。

表2.6　成本类别^［29］

第八步:计算投资回报率

这一步是为了完成第五级评估,具体工作就是将收益与成本进行比较,得出收益成本率和投资回报率。由于计算投资回报率的内容已在前述步骤中列出,这里不再赘述,仅仅列出计算公式。

第九步:确定无形收益

大多数成功的培训项目,除了获得有形的货币收益之外,还能带来一定的无形收益。一般来讲,无形收益分为两大类,即行为变化（第三级评估）和业务影响（第四级评估）。^［29］行为变化类的无形收益包括团队合作的改善、组织承诺和沟通的加强等；业务影响类无形收益包括员工满意度、客户满意度等。

虽然无形收益有的时候并不能转化成货币形式的收益,或者在转化过程中消耗的成本过大,但是无形收益对于组织文化等核心竞争力建设的作用是巨大的。因此,在评估中,应该将无形收益与货币收益放在同等重要的地位。

第十步:实施业务影响研究

实施业务影响研究是为了证明培训的效果,最终确定培训对组织的贡献,是整个Phillips模型的最后一步。这一阶段是对整个培训活动的总结和回顾,一般要出两份报告,一份简单,用来给管理层进行宣讲；一份详细,适合其他的利益相关者。

实施这一步的主要内容是呈现项目的财务数据和非财务数据,评价项目的成功和失败之处,目的是为了积累培训项目经验,为后续培训项目的执行和推广做准备。

通过上文可以看出,培训评估理论模型的历史发展有三条研究路线（如图2.5所示）:一条是以柯克帕特里克（Kirkpatrick）提出的评估思想和方法为主的“终结性评价”；一条是以斯塔弗宾（D.L.Stufflebeam）提出的评估思想和方法为主的“过程性评价”；还有一条是侧重对评估结果进行经济计量分析的培训收益计量模型。后来者的研究基本没有跳出这三条路线组成的框架,所进行的改变和创新也大多是对这三条路线的丰富和补充。

在对上述模型进行了分析后,我们分析了这些模型与本次研究课题的适切性。在综合了本次课题的特点及各个模型的优缺点之后,我们认为仍然需要采取柯氏模型作为我们的应用模型,其主要是根据以下思考:

第一,从上述分析可以看出柯氏评估模型虽然是一个较早的评估模型,而且后世对其进行了大量的修正和完善,但是我们发现,遵循柯氏评估理论的思想在培训绩效评估学界是奠基性的,其对于评估层次的划分是具有时代性的,这也成为后来培训绩效的主要评估依据。无论是考夫曼的五级评估模型还是菲利普斯的五层次投资回报率模型,在理论认识上都没有超越柯克帕特里克,他们只是在评估范畴和评估方法上作了一定的改进。而现在的绩效评估技术日益成熟,绩效评估手段更加多元化,因此将这些技术、手段与柯氏评估模型进行新的结合不仅可以让评估有了理论依据,勾画出清晰的分析脉络,而且可以使柯氏评估模型迸发出新的生命力,推进柯氏评估理论的发展。

图2.5　培训评估模型的发展路径

第二,我们此次研究课题的干部教育绩效培训大多以短期课程或分阶段课程为主,因此不能充分采取互动的形式将评估活动切入到培训过程当中,因此若采取CIPP过程评价模式,信息的收集会受到限制。由于无法充分收集各方面的信息来及时反映培训的效果,对评估进行改进,也就无法体现CIPP模型的过程性。而柯氏评估模型则避免了这一问题,其本身的要求是事后评价,这就留给我们足够的时间去回访,去收集评估需要的信息,而且柯氏模型虽然是“终结性”评价的代表,但是其并不是没有体现过程性改进的思想,其对于评估层次的划分本身就是基于过程改进的考虑,只不过没有CIPP模型的方法表现的强烈。通过评估信息的反馈,我们依然可以在下一轮进行的培训中对培训做出适当的改进。

第三,政府的成本和效益本身就是一个难以界定的概念,由于政府作为公共服务的供给者,其不能追求成本—效益的最优解,往往需要通过经济上看来无效的支出来换取社会管理的效益,而且公共支出的效益在短期内可能无法显现,这样就造成了对政府成本—效益分析的困难,也是我们这次课题研究中舍弃菲利普斯五层次投资回报率模型的原因。我们本次研究采用柯氏评估模型,对于培训效果的评价侧重于政府行政效率的提高,这样就相对简化了对于培训效果的要求,增加了培训评估的可操作性。另外,政府行政效率与政府管理绩效之间存在高度的相关性,行政效率的提高往往会带来政府治理水平的提升,也就体现了干部教育培训的效果,这样也增加了我们培训评估的可靠性。

综上所述,我们本次评估仍然沿用柯氏评估模型,并在柯氏模型的基础上延伸其评估层次的内涵,引入先进的评估方法和手段,力争在做好本次研究的同时,对于评估理论和方法也做出一定的改进。

【注释】

[1]Colleen Liston.Managing quality and standards.Buckingham:Open University Press,1999.