« 雑誌語録 2015年10月 | メイン | 「フィードバック研究会」を実施! »

J.カークパトリック氏の「4段階評価法セミナー」

2015年10月22日(木)〜23日(金)

J.カークパトリック氏の「4段階評価法セミナー」@品川に参加。

http://www01.uhd.co.jp/kp-seminar/index.html

今後のために、印象に残った点を記録しておきます。

===

(・テキスト/講義内容 ○関根の独り言)


●事前課題

・Effective training 効果的な研修 は、L1、L2で評価
 Training effectiveness 研修の効果 は、L3、L4で評価。

・セミナー受講前の上司との打ち合わせ

 1)参加目的 2)職場で活かしたいこと
 3)職場での活用法 4)上司の期待(職場に持ち帰ってほしいこと)

○これいいね〜。「上司インタビュー」にも入れ込めそう。

===

●1日目

・何故、評価するのか?

 →研修の品質向上、研修の価値提示(受講者、経営陣)

・Old model: L1→L2→L3→L4
 New model: L4→L3→L2→L1

○これいいね!逆にするだけで、大きく違う!

・L1とL2には強い関係性。L3とL4には強い関係性。
 L2とL3のつながりは弱い。「知る」と「やる」の差が大きい。

 ここに橋をかける。L&Dとビジネスの間をつなぐ。

○これは、Weber(2014)の主張と重なる。
  現場実践(転移)は、現場の責任だけでなく、L&Dの責任。

  http://learn-well.com/blogsekine/2015/02/turning_learning_into_action.html

・L4「成果」は、業績ではなく、
 ROE:Return on Expectation 期待に対する成果。

○この「ROE」っていいね〜。であれば、トップが何を成果として
 期待しているのかを合意するのが大事。

○ただ、中堅企業なら経営陣と直接、研修に関して話ができるけど、
 大企業だと、話せて部長クラス。

・L4は、Strategic bridges 戦略的な橋 を必要とする。

・Flag 旗である長期目標にむけて、Leading indicators先行指標を置く。
 先行指標には、Internal内部 と External外部 がある。

IMG_5833.JPG

○参加者の身体を使って、最終ゴール(旗)に向けて、
 先行指標を表現。 これ上手いね〜。


○弊社の「メンター研修」「OJT指導員研修」で考えるなら、先行指標は
 「組織社会化(適応)」「組織コミットメント」「離職率」等かな。

 ↑

 このあたりを同じくセミナーに参加していた田中淳子さんと議論。

 (田中さんもブログに書いてくれてました。
    http://blogs.itmedia.co.jp/tanakalajunko/2015/10/4120151022.html )

 −新人に対するトップのROEは何か?
 −3年で「一人前」としたときの「一人前」を
  きちんと定義している企業は少ない。
 −仮に「メンター」になることが「一人前」だとするならば、
  メンターの要件を定義する必要があるかも。
 
 と話していたら、ジムさんも加わってくれ

 −Newcomerなら、初期(3~6ヶ月)のContribution貢献と、
  Retention維持 を、先行指標としてもいいのでは。
 −新人が取る資格(製薬、IT、金融)も、組織への貢献と考え、
  それを先行指標とするのはいいかも。

・L3行動では2つ:
 Critical Behaviors 重要な行動 
 Required Drivers 必要な推進力(Support と Accountability)

○このCBが「L4成果につながる行動」。

 メンターやOJT指導員で言えば、先行研究の「会話」「協力」「委任」行動かな。
 それらが、L4の新人の「適応」に影響。

 「適応」に影響する新人自身の行動は「評価情報の探索」がまず一つ。
 他に何がありそうか、先行研究を確認しておこう。


・Competencyは、L3ではなく、L2。行動ではない。

○ここで参加者から質問があり、盛り上がる。ジムさんの回答を聞く限り
 Competencyは人事用語。経営陣は興味が無いってことかな。

・L3は、Tactical bridges 戦術的な橋を必要とする。

・Brinkerhoff(2006)の書籍を引用。
 L4から考えて、研修前(25%)研修中(25%)研修後(50%)の資源を
 傾けた場合、研修後の活用が85%となったデータ。

○この本、読んでみよう。

・L4から考えることで、研修をイベントではなく、パッケージとして
 作ることができる。

・Required drivers 必要な推進力としてのサポートとアカウンタビリティ

○弊社の「OJT指導員研修」で言えば、サポートは
 「マネジャーへの説明会」「上司インタビュー」
 「復習用資料(テキストと副読本)」「フォロー研修」

 研修フォローシステムを使っての「リマインダーメール」
 「アンケート調査」「1年後レポート」かな。
 
 参加者が研修受講後、現場で困ったときに、対策を検索できたり、
 質問、相談できるようなサポートをしていってもいいかも。

○研修で「重要な行動L3」を学んだ後、その行動を現場で実践するには
 「行動の開始、維持、修正」が必要になる。

 研修で学んだ行動を、現場で実践しない理由としては
 
 −実践しようという気にならなかった(研修直後の反応:転移意欲等)
 −実践しようと思ったけど、帰ったら忘れた
 − 〃 実践する機会がなかった(活用機会)
 − 〃 実践することへの気恥ずかしさ(急に行動を変える違和感)
 −実践したけど、上手くいかなかった(から止めた)
 −実践して、上手くいった(から続けた)

 このあたりで、現場でのほかの人による支援や指導が必要になるのかも。
 「こうやって実践したらいいんだよ」と導いてくれるような。

===

●2日目

・「L2学習」は、知識、スキル、態度に加えて
 Confidence自信とCommitmentコミットメントを加えた。

○Confidenceは、Self-efficacy自己効力感に近いかも。

・研修中に「何故、研修内容の現場活用に自信がもてないのか」を
 Pull Up the Chair 参加者に向き合って椅子に座って聞く。

○これは確かに大事。研修中、特に後半に「学習内容の現場実践」について
 聞き、かつ「そうは言っても現場だと実践が難しいですよね。」と、
 Relapse Prevention逆戻り予防を打つのは重要だし、効果は実証されている。
 
 ただ、研修中よりも、本来は研修前の段階で、手を打っておくべきこともある。

 参加者が「これなら現場で活用できそう」と研修終了時に思ってもらえるよう
 現場に働きかけをしておき、Transfer Design転移設計しておくことが必要では。

 研修中に解決できることは少ない。

・Confidence自信は、回顧的に「研修前と後」の自信度合いを聞く。

○これいいね!Critical behaviorsができるようになることを研修中の学習目標
 とし、それらが「できる!」と自信を持って言える状態になるかを問う。

 これは「OJT指導員研修」「メンター研修」でもできそう。

 例)相手の立場に立てる、新人の話に耳を傾けることができる、
   新人に仕事を与えることができる、
   新人の良い点・改善点を適切に伝えられる、
   周囲の協力を得られる

・L2学習は、正直嫌い。アメリカではLearningが山のてっぺんに来る。
 CLOもそうだし。しかし、本来の山のてっぺんの旗は、L4。

===

・「L1反応」 トム・クルーズ主演の映画の1シーンを見る。
 「おまえは、真実の重みに耐えられない」というセリフ。

・L1の目的は、L2につなげること。

○ここは疑問。L1反応が、L2学習には影響しないという先行研究も多い。

 Holton(1996) The Flawed Four-Level Evaluation Model

 「研修の転移 研究会」
  http://learn-well.com/blogsekine/2014/03/transfer_of_training.html

 『Transfer of Learning in Organizations』
  http://learn-well.com/blogsekine/2015/01/transfer_of_learning_in_organi.html 


○今回の「New Kirkpatrick model」の良さは、L4から始まっていること。

 そして、その中でもL3のCritical behaviorsが、研修という手段で
 目指す目標としては適切だと思う。

 そう考えると、何がCritical behaviorsなのかを学ぶ(L2)は大事。

 だけれども、L1の反応はどうか。

 L4から見ていくことで、L3とL2まではつながるけど、L1は要らなくなったのでは。

 あるいは、L4,L3,L2と、L1は全く性質が違うものと考えたほうがよいのでは。
 (L1は、学習というよりも、マーケティングの側面が強い)

 ということを、Jimさんに聞いたら
 「いや、やはりL1を、Watchすることは大事」とのこと。

 確かにそうだし、外部研修ベンダーの弊社として、もちろんL1は大事にしたいけど
 本来の「効果測定」としては熟考が必要かも。

 (前述したHolton 1996では、研修の効果として「L1反応」はふさわしくないと
  断じている)

・L1を測定するためには、研修中の「Instuructor observation講師による観察」が
 大事。その際は、客観的指標は無くても、主観的なものでもOK。

○これ面白い!確かに研修中の講師は、参加者の反応を肌で感じながら、
 研修内容、運営方法を微調整している。この行為そのものがL1の測定という
 考えはなかった。

===

●昼食

 参加者のお一人(Nさん)の声掛けで、皆で一緒に昼食を取ることに。
 Jimさんと一緒のテーブルに、Sさん、Uさんと同席。色々話せた。

 「私が社長、妻が専務、子供達4人がメンバー」という弊社の話をしたら、
 「小さい研修会社が生き残るために、どうしてるの?」という質問を受けた。
 こういう話は大好きなので熱く語る。

 Jimさんは、Atlantaのそばに住んでいるそう。

 2007年にアトランタで開催されたASTDで、お父さん(Donaldさん)の
 講演を聞いたことがあるという話をしたら喜んでいた。

 http://learn-well.com/blogsekine/2007/06/post_31.html

 Jimさんは、自然が好きなようで
 「東京の北にある埼玉ときがわには、美しい川と山があるから、今度きて」
 と誘った。ぜひ、日本のRural town田舎町を体感してほしい。

 https://www.facebook.com/tokigawaclub

IMG_5835.JPG

 Jimさんの本 『Transferring Learning to Behavior』にサインをしてもらいました。

 http://learn-well.com/blogsekine/2015/02/transferring_learning_to_behav.html


 この本は、Jimさんの銀行時代の苦労話、BSCとの結びつけ、L3がMissing Link 
 と、魅力的な内容です。

 この本を読んでいたので、ぜひJimさんに会いたいと思っていました。

===

●午後

・L1からL4までが入った「ハイブリッド」な質問項目。

○これらの項目は非常に参考になる。

 ただ、これだけ取ったデータをどう活用するか。

 まず、L4(最終目標、先行指標)と、L3(Critical behaviors)の明確化は必要。

 仮に、L4を従属変数とし、これに影響を及ぼす独立変数として、
 L3を設定するのはありそう。

 仮説として設定したL3が本当にL4に影響していたのか、データを分析し
 経営陣に示すのは、まず最初のデータ活用法としてすべきこと。
 
 次に、研修の品質向上(Formative evaluation)として、毎回研修実施時に
 データをとるのは、まあ良しとしても、マンネリ化しそう。 
 (いつも取っているから、今回も取る、みたいな感じで)

 これらはどちらかというと「研修企画、設計、運営者」にとって有用な情報。
 
 ただ、参加者にとって有用な情報もあるのでは。

 例えば、弊社の「メンター」「OJT指導員」研修では「次年度の候補者」にとって
 有用な情報となるようデータを取っている。
 
 「実際、メンターをやってみて苦労したことは?」
 「上手くいった工夫は?」
 「次年度のメンターにアドバイスするとしたら?」

===

●テーマに基づくグループディスカッションと、
 それに対するJimさんの回答

・管理者を、研修企画、設計に巻き込むために

 →Bright Lights(優秀で協力的な人)を早めに巻き込み、進捗を報告する。

・経営陣に、研修の意義を納得してもらうために

 →勇気をもって、経営陣と話す。

○この時のグループディスカッションで色々考えるヒントをもらえた。

 −経営陣のROEは、L4に近いL3のことがある。
  (例:雰囲気の良さ、元気に生き生き働いてほしい)
 −長期的な人材育成、階層別研修、理念浸透 を 投資として見てもらいたい。
 −研修がどこに位置づくかを、経営者になじみの言葉で説明できれば。

 −「経営に関することは、経営コンサルの仕事であって、
   研修ベンダーの仕事ではないでしょ」と言われる。

○ここは大事。お客様が変わってきているなら、研修ベンダーも変化すべき。

 「経営に資する研修」という意識が増してきているなら、それに応えるために、
 例えば、経営コンサルと組むのもあり。
 (独立前に、そういうコラボもあったし、今も小規模だけど続けてる)

===

○自分なりのまとめ

 −L4(ROE)を、ステークホルダー(トップ)と合意
 −L4(ROE)に至る先行指標(L4)を設定
 −L4先行指標に影響を及ぼすCritical Behaviors(L3)を特定

 −L3の現場実践が促されるようSupportとAccountabilityを検討

  (研修企画、設計段階からの現場マネジャー:Bright lightsの
   巻き込みと進捗報告)

 −L2では、参加者がConfidenceをもてるよう支援
 −L1は、研修直後よりも、研修中を重視。

===

終了! 色々考えるきっかけをもらえる楽しいセミナーでした。

IMG_8213.JPG

 なんといっても、Jimさんの懐の深さに惚れました。


 貴重な機会を作って下さった皆さん、このセミナーを紹介して下さったYさん、
 一緒に参加された皆さん、どうもありがとうございました。
 
 (2日間、「楽しんできて」と、送り出してくれた専務、ありがとうございました。)

===

後日、こういうCertification認定も届きました。嬉しいものですね。

a536d17ad372e256258219ffa9af9363_13.png

トラックバック

このエントリーのトラックバックURL:
http://learn-well.com/xbitmtop/mt-tb.cgi/1247

コメントを投稿

(いままで、ここでコメントしたことがないときは、コメントを表示する前にこのブログのオーナーの承認が必要になることがあります。承認されるまではコメントは表示されません。そのときはしばらく待ってください。)