2015年10月22日(木）～23日（金）
J.カークパトリック氏の「4段階評価法セミナー」＠品川に参加。
http://www01.uhd.co.jp/kp-seminar/index.html
今後のために、印象に残った点を記録しておきます。
＝＝＝
（・テキスト/講義内容 ○関根の独り言）
●事前課題
・Effective training 効果的な研修 は、L1、L2で評価
Training effectiveness 研修の効果 は、L3、L4で評価。
・セミナー受講前の上司との打ち合わせ
１）参加目的 ２）職場で活かしたいこと
３）職場での活用法 ４）上司の期待（職場に持ち帰ってほしいこと）
○これいいね～。「上司インタビュー」にも入れ込めそう。
＝＝＝
●１日目
・何故、評価するのか？
→研修の品質向上、研修の価値提示（受講者、経営陣）
・Old model： L1→L2→L3→L4
New model： L4→L3→L2→L1
○これいいね！逆にするだけで、大きく違う！
・L1とL2には強い関係性。L3とL4には強い関係性。
L2とL3のつながりは弱い。「知る」と「やる」の差が大きい。
ここに橋をかける。L&Dとビジネスの間をつなぐ。
○これは、Weber(2014)の主張と重なる。
現場実践（転移）は、現場の責任だけでなく、L&Dの責任。
https://www.learn-well.com/blog/2015/02/turning_learning_into_action.html
・L4「成果」は、業績ではなく、
ROE：Return on Expectation 期待に対する成果。
○この「ROE」っていいね～。であれば、トップが何を成果として
期待しているのかを合意するのが大事。
○ただ、中堅企業なら経営陣と直接、研修に関して話ができるけど、
大企業だと、話せて部長クラス。
・L4は、Strategic bridges 戦略的な橋 を必要とする。
・Flag 旗である長期目標にむけて、Leading indicators先行指標を置く。
先行指標には、Internal内部 と External外部 がある。
○参加者の身体を使って、最終ゴール（旗）に向けて、
先行指標を表現。 これ上手いね～。
○弊社の「メンター研修」「OJT指導員研修」で考えるなら、先行指標は
「組織社会化（適応）」「組織コミットメント」「離職率」等かな。
↑
このあたりを同じくセミナーに参加していた田中淳子さんと議論。
（田中さんもブログに書いてくれてました。
http://blogs.itmedia.co.jp/tanakalajunko/2015/10/4120151022.html ）
－新人に対するトップのROEは何か？
－3年で「一人前」としたときの「一人前」を
きちんと定義している企業は少ない。
－仮に「メンター」になることが「一人前」だとするならば、
メンターの要件を定義する必要があるかも。
と話していたら、ジムさんも加わってくれ
－Newcomerなら、初期（3~6ヶ月）のContribution貢献と、
Retention維持 を、先行指標としてもいいのでは。
－新人が取る資格（製薬、IT、金融）も、組織への貢献と考え、
それを先行指標とするのはいいかも。
・L3行動では2つ：
Critical Behaviors 重要な行動
Required Drivers 必要な推進力（Support と Accountability）
○このCBが「L4成果につながる行動」。
メンターやOJT指導員で言えば、先行研究の「会話」「協力」「委任」行動かな。
それらが、L4の新人の「適応」に影響。
「適応」に影響する新人自身の行動は「評価情報の探索」がまず一つ。
他に何がありそうか、先行研究を確認しておこう。
・Competencyは、L3ではなく、L2。行動ではない。
○ここで参加者から質問があり、盛り上がる。ジムさんの回答を聞く限り
Competencyは人事用語。経営陣は興味が無いってことかな。
・L3は、Tactical bridges 戦術的な橋を必要とする。
・Brinkerhoff(2006）の書籍を引用。
L4から考えて、研修前（25%）研修中（25%）研修後（50%）の資源を
傾けた場合、研修後の活用が85%となったデータ。
○この本、読んでみよう。
・L4から考えることで、研修をイベントではなく、パッケージとして
作ることができる。
・Required drivers 必要な推進力としてのサポートとアカウンタビリティ
○弊社の「OJT指導員研修」で言えば、サポートは
「マネジャーへの説明会」「上司インタビュー」
「復習用資料（テキストと副読本）」「フォロー研修」
研修フォローシステムを使っての「リマインダーメール」
「アンケート調査」「1年後レポート」かな。
参加者が研修受講後、現場で困ったときに、対策を検索できたり、
質問、相談できるようなサポートをしていってもいいかも。
○研修で「重要な行動L3」を学んだ後、その行動を現場で実践するには
「行動の開始、維持、修正」が必要になる。
研修で学んだ行動を、現場で実践しない理由としては
－実践しようという気にならなかった（研修直後の反応：転移意欲等）
－実践しようと思ったけど、帰ったら忘れた
－ 〃 実践する機会がなかった（活用機会）
－ 〃 実践することへの気恥ずかしさ（急に行動を変える違和感）
－実践したけど、上手くいかなかった（から止めた）
－実践して、上手くいった（から続けた）
このあたりで、現場でのほかの人による支援や指導が必要になるのかも。
「こうやって実践したらいいんだよ」と導いてくれるような。
＝＝＝
●2日目
・「L2学習」は、知識、スキル、態度に加えて
Confidence自信とCommitmentコミットメントを加えた。
○Confidenceは、Self-efficacy自己効力感に近いかも。
・研修中に「何故、研修内容の現場活用に自信がもてないのか」を
Pull Up the Chair 参加者に向き合って椅子に座って聞く。
○これは確かに大事。研修中、特に後半に「学習内容の現場実践」について
聞き、かつ「そうは言っても現場だと実践が難しいですよね。」と、
Relapse Prevention逆戻り予防を打つのは重要だし、効果は実証されている。
ただ、研修中よりも、本来は研修前の段階で、手を打っておくべきこともある。
参加者が「これなら現場で活用できそう」と研修終了時に思ってもらえるよう
現場に働きかけをしておき、Transfer Design転移設計しておくことが必要では。
研修中に解決できることは少ない。
・Confidence自信は、回顧的に「研修前と後」の自信度合いを聞く。
○これいいね！Critical behaviorsができるようになることを研修中の学習目標
とし、それらが「できる！」と自信を持って言える状態になるかを問う。
これは「OJT指導員研修」「メンター研修」でもできそう。
例）相手の立場に立てる、新人の話に耳を傾けることができる、
新人に仕事を与えることができる、
新人の良い点・改善点を適切に伝えられる、
周囲の協力を得られる
・L2学習は、正直嫌い。アメリカではLearningが山のてっぺんに来る。
CLOもそうだし。しかし、本来の山のてっぺんの旗は、L4。
＝＝＝
・「L1反応」 トム・クルーズ主演の映画の１シーンを見る。
「おまえは、真実の重みに耐えられない」というセリフ。
・L1の目的は、L2につなげること。
○ここは疑問。L1反応が、L2学習には影響しないという先行研究も多い。
Holton（1996） The Flawed Four-Level Evaluation Model
「研修の転移 研究会」
https://www.learn-well.com/blog/2014/03/transfer_of_training.html
『Transfer of Learning in Organizations』
https://www.learn-well.com/blog/2015/01/transfer_of_learning_in_organi.html
○今回の「New Kirkpatrick model」の良さは、L4から始まっていること。
そして、その中でもL3のCritical behaviorsが、研修という手段で
目指す目標としては適切だと思う。
そう考えると、何がCritical behaviorsなのかを学ぶ（L2)は大事。
だけれども、L1の反応はどうか。
L4から見ていくことで、L3とL2まではつながるけど、L1は要らなくなったのでは。
あるいは、L4,L3,L2と、L1は全く性質が違うものと考えたほうがよいのでは。
（L1は、学習というよりも、マーケティングの側面が強い）
ということを、Jimさんに聞いたら
「いや、やはりL1を、Watchすることは大事」とのこと。
確かにそうだし、外部研修ベンダーの弊社として、もちろんL1は大事にしたいけど
本来の「効果測定」としては熟考が必要かも。
（前述したHolton 1996では、研修の効果として「L1反応」はふさわしくないと
断じている）
・L1を測定するためには、研修中の「Instuructor observation講師による観察」が
大事。その際は、客観的指標は無くても、主観的なものでもOK。
○これ面白い！確かに研修中の講師は、参加者の反応を肌で感じながら、
研修内容、運営方法を微調整している。この行為そのものがL1の測定という
考えはなかった。
＝＝＝
●昼食
参加者のお一人（Nさん）の声掛けで、皆で一緒に昼食を取ることに。
Jimさんと一緒のテーブルに、Sさん、Uさんと同席。色々話せた。
「私が社長、妻が専務、子供達４人がメンバー」という弊社の話をしたら、
「小さい研修会社が生き残るために、どうしてるの？」という質問を受けた。
こういう話は大好きなので熱く語る。
Jimさんは、Atlantaのそばに住んでいるそう。
2007年にアトランタで開催されたASTDで、お父さん（Donaldさん）の
講演を聞いたことがあるという話をしたら喜んでいた。
https://www.learn-well.com/blog/2007/06/post_31.html
Jimさんは、自然が好きなようで
「東京の北にある埼玉ときがわには、美しい川と山があるから、今度きて」
と誘った。ぜひ、日本のRural town田舎町を体感してほしい。
https://www.facebook.com/tokigawaclub
Jimさんの本 『Transferring Learning to Behavior』にサインをしてもらいました。
https://www.learn-well.com/blog/2015/02/transferring_learning_to_behav.html
この本は、Jimさんの銀行時代の苦労話、BSCとの結びつけ、L3がMissing Link
と、魅力的な内容です。
この本を読んでいたので、ぜひJimさんに会いたいと思っていました。
＝＝＝
●午後
・L1からL4までが入った「ハイブリッド」な質問項目。
○これらの項目は非常に参考になる。
ただ、これだけ取ったデータをどう活用するか。
まず、L4（最終目標、先行指標）と、L3（Critical behaviors）の明確化は必要。
仮に、L4を従属変数とし、これに影響を及ぼす独立変数として、
L3を設定するのはありそう。
仮説として設定したL3が本当にL4に影響していたのか、データを分析し
経営陣に示すのは、まず最初のデータ活用法としてすべきこと。
次に、研修の品質向上（Formative evaluation）として、毎回研修実施時に
データをとるのは、まあ良しとしても、マンネリ化しそう。
（いつも取っているから、今回も取る、みたいな感じで）
これらはどちらかというと「研修企画、設計、運営者」にとって有用な情報。
ただ、参加者にとって有用な情報もあるのでは。
例えば、弊社の「メンター」「OJT指導員」研修では「次年度の候補者」にとって
有用な情報となるようデータを取っている。
「実際、メンターをやってみて苦労したことは？」
「上手くいった工夫は？」
「次年度のメンターにアドバイスするとしたら？」
＝＝＝
●テーマに基づくグループディスカッションと、
それに対するJimさんの回答
・管理者を、研修企画、設計に巻き込むために
→Bright Lights（優秀で協力的な人）を早めに巻き込み、進捗を報告する。
・経営陣に、研修の意義を納得してもらうために
→勇気をもって、経営陣と話す。
○この時のグループディスカッションで色々考えるヒントをもらえた。
－経営陣のROEは、L4に近いL3のことがある。
（例：雰囲気の良さ、元気に生き生き働いてほしい）
－長期的な人材育成、階層別研修、理念浸透 を 投資として見てもらいたい。
－研修がどこに位置づくかを、経営者になじみの言葉で説明できれば。
－「経営に関することは、経営コンサルの仕事であって、
研修ベンダーの仕事ではないでしょ」と言われる。
○ここは大事。お客様が変わってきているなら、研修ベンダーも変化すべき。
「経営に資する研修」という意識が増してきているなら、それに応えるために、
例えば、経営コンサルと組むのもあり。
（独立前に、そういうコラボもあったし、今も小規模だけど続けてる）
＝＝＝
○自分なりのまとめ
－L4（ROE）を、ステークホルダー（トップ）と合意
－L4（ROE）に至る先行指標（L4）を設定
－L4先行指標に影響を及ぼすCritical Behaviors(L3）を特定
－L3の現場実践が促されるようSupportとAccountabilityを検討
（研修企画、設計段階からの現場マネジャー：Bright lightsの
巻き込みと進捗報告）
－L2では、参加者がConfidenceをもてるよう支援
－L1は、研修直後よりも、研修中を重視。
＝＝＝
終了！ 色々考えるきっかけをもらえる楽しいセミナーでした。
なんといっても、Jimさんの懐の深さに惚れました。
貴重な機会を作って下さった皆さん、このセミナーを紹介して下さったYさん、
一緒に参加された皆さん、どうもありがとうございました。
（2日間、「楽しんできて」と、送り出してくれた専務、ありがとうございました。）
＝＝＝
後日、こういうCertification認定も届きました。嬉しいものですね。
コメントフォーム