「研修評価」文献＿200906

Kirkpatrick and Beyond: A review of models of training evaluation
P Tamkin, J Yarnall, M Kerrin (2002) employment-studies.co.uk

https://www.employment-studies.co.uk/system/files/resources/files/392.pdf
○主に、1990年代～2000年代初頭の「研修評価」論文のレビュー。

===
・Kirkpatrick(1959）4レベルアプローチ
・元々は、Stepsとして表現されていたが、最近（1996）は、Levelsと表現されている。
・近年、4レベルモデルは、批判にさらされている。
・Bernthal(1995)は、このモデルは、評価と効果をごちゃまぜにしていると批判した。
・各レベルでの因果関係も実証されていない（例：Lee & Pershing,2000)
・Holton(1996）は、これはモデルではなく、Taxonomy分類であると批判した。
・Kirkpatrick自身は、こうした批判を気にせず、モデルでも分類でもどちらでもよい。研修の評価に使えれば、と考えている。
・Kraiger & Jung( in Quinones, 1997)は、Kirkpatrickは、How to evaluateは提示したが、What to evaluate何を評価し、How to link the result to strategy　どう戦略と紐づけるかについては提示しなかったと述べている。
・このように批判も多いが、Kirkpatrickのモデルは、多くの研究者や実務家たちが、評価を考える際の基盤になっている。
・Kirkpatrickにプラスした、いくつかのモデルを紹介する
１）５レベル　Hamblin(1974)　L4に組織、L5に最終価値
２）６レベル　Kaufman,Keller,& Watkins(1995)　Organizationa Elements Model　Micro,Macro,Megaの視点
３）６階級　Molenda,Pershing, & Reigheluth(1996）　最初に「活動説明」最後に「社会的影響」が入る
４）６ステージ　Industrial Society(2000)　
５）５レベル　ROI　Phillips(1994)　Phillips & Holton(1995)
６）４ステージ　KPMTモデル　Kearns &Miller(1997)　
７）４ステージ　CIROアプローチ　Warr,Bird,& Rackham(1970)
８）Brinkerhoff(1987）含むいくつかのモデル　←Brinkerhoff先生の扱いが小さい

・その他のモデル
１）評価の目的に焦点
　　　Responsive evaluation　Pulley(1994）意思決定者のニーズに合わせて評価を行う
２）異なる測定指標
　　　学習結果アプローチ　Kraiger et al.(1993)　認知、スキル、情緒
　　　BSC　Kaplan & Norton(1996)　組織内にこの概念を売り込む難しさがあるモデル（Spitzer,1999)
　　　Concept Mapping & Pattern Matching　Anderson Consulting(1995）　ROIモデルを否定　市場調査技術を活用　マネジャーは、従業員に求められるスキルと行動を知っているという前提
３）新技術の評価
　　　instructor-led-training 講師主導の研修は終わり、technology-based training 技術基盤の研修が増えてくる。
　　　Eラーニングは、リモートで開催されるため、フォーカスグループや直接観察と言う手法はとりづらくなる。
・評価の各段階において、影響を及ぼす様々な変数があると考えられる。
・学習モデル

・反応の評価には、少しの価値しかないと言える多くの証拠が示されている。
・Kirkpatrick（1983）は、反応評価は重要であり、組織が顧客（受講者）に、将来も来てほしい、他者に紹介してほしいと思うなら、当然必要と述べた。
・Warr et al.(1999)は、反応は学習とは関係したが、職務行動とは関係しないことを明らかにした。
・Holoton(1996)は、反応と学習には、少しの関係しかないことを、多くの先行研究の結果から示した。
・先行研究から、組織は評価データの使用目的を明確にする必要があると言える。内容を改善する目的ではなく、研修の価値を評価する目的ならば、反応データは、適切とは言えない。
・Erikson(1990)は、operational knowledge手続き的知識と、theoretical knowledge　理論的・宣言的知識を区別した。
・Tamkin et al.(1998)は、スキルと知識は、External外的、Internal内的と分けられるとした。
・研修後の行動に対しては、状況的、個人的要因が影響してくる。
・組織要因：組織風土、マネジャーの支援、職務との関連性、コミットメント、職務の自律性
　個人要因：自己効力感、モチベーション、能力
　研修要因：目標設定
・研修直後の職場での働きかけが重要。マネジャーが、研修と関連した目標を、最初の1か月間に与えることが重要（Axtell et al.1997)
・現場での行動評価は、自己評価か、他者評価になる。
・Noonan & Sulsky(2001)は、行動観察訓練を行うと、行動評価の正確性が増すことを明らかにした。
・Axtell et al.(1997)は、研修直後の1か月間での転移の度合いが、1年後の転移の度合いを予測することを示した。
・ラインマネジャーが、行動評価に協力する必要がある。
・Twitchell et al.(2000）は、レベル３，４の評価は、研修スタッフが、より訓練され、経験があるほど、実施されていることを明らかにした。
・レベル４成果については、研修のみがその要因とは証明しづらい。しかし、組織が研修への投資を正当化するために、成果（例：生産性の向上、利益、安全性、エラーの減少、市場シェアの拡大）を示す必要性が増してきている。
・Abernathy（1999）は「ソフトスキルの研修に対して、レベル４の評価が適用できるとは思えない。研修以外に、パフォーマンスに影響を与える要因が多すぎるから。」と述べている。
・Kirkpatrickのモデルは、いまだ主要な研修評価の方法である（Bassi & Cheney,1997)。
・Twitchell et al.(2000）は、評価が行われていない最も大きい理由は、組織が評価を求めてこないからだという。
＝＝＝
●講師ビジョン　島村さんからのメール
関根さん
おはようございます。ブログ拝見しました。ラボの後の研修評価なので学びが深まります。
感想以下に共有します。
（学びになったポイント）
評価の目的に焦点　Responsive evaluation　Pulley(1994）意思決定者のニーズに合わせて評価を行う
（感想）
私は、評価の目的に焦点をあてるのが最もしっくりきます。
レベル3が求められる時とそこまで求められない時と現場責任者のご意向でだいぶ異なるという印象があります。学習は行動に移さないといけないわけですが、企業側がその全てを追いかけるかどうかは社内の優先度に沿って意思決定がなされるので、すごく納得しました。
（学びになったポイント）
・Kirkpatrick（1983）は、反応評価は重要であり、組織が顧客（受講者）に、将来も来てほしい、他者に紹介してほしいと思うなら、当然必要と述べた。
・Warr et al.(1999)は、反応は学習とは関係したが、職務行動とは関係しないことを明らかにした。
・Holoton(1996)は、反応と学習には、少しの関係しかないことを、多くの先行研究の結果から示した。
（感想）
反応は学習とは関係したが、職務行動とは関係しないことがわかったという点が痛いところを突くなと感じます。
研修会社も教育のご担当者も、今まで積み重ねてきたレベル1の高い研修満足度を、レベル3で見せる際の数値低下による研修の効果自体が疑問視されてしまうのを恐れてしまうのはあるかなと思います。そのためにも、理論を武器に研修効果について社内説明ていくのはとても大切だと感じます。
いつも貴重な情報をありがとうございます。
講師ビジョン島村
（島村さん、いつもありがとうございます！）