【木曜日24-45】ROI本(5)

研修評価

【木曜日24-45】ROI本(5)

○ROIに関する文献(4本)

===

Yves Chochard and Eric Davoine(2011)
Variables influencing the return on investment in management training programs: a utility analysis of 10 Swiss cases.
International Journal of Training and Development.

○今城さんにご紹介頂いた文献の一つ

・研修は、人的資本の開発にレバレッジをかける主要な手法である。

・Utility Analysis 効用分析は、異なる意思決定を、評価、比較、優位性と限界を説明する理論、測定法、モデルのことである。(Sturman,2003)

・効用分析におけるROI評価のプロセス

・Phillips’(1997)のアプローチよりも、効用分析はより複雑性を減少できる。

・本研究での仮説は、3つである。

 1)長期で、複数のテーマを扱うマネジメント研修のほうが、短期で、単一のテーマを扱うマネジメント研修より、ROIが高い。

 2)新任マネジャー向け研修のほうが、中堅マネジャー向けよりも、ROIが高い

 3)研究デザイン PPCG:Pre-Post Control Group と、SGPP:Single Group Pre-Posttest には、ROIの違いは出ない

・10個のマネジメント研修を評価
・42のコンピテンシーの伸びを測定
・研修前と後にインタビューを実施

・Morrow et al.(1997)のUtility analysis methodを活用。

○この文献、読んでみよう!(49ドルで購入)

 AN INVESTIGATION OFTHE EFFECT AND ECONOMIC UTILITY OF CORPORATE-WIDE TRAINING

・結果、仮説1)は支持されず、2)3)は支持された。

・長期のマネジメント研修よりも、単一テーマで短期の研修の方が、ROIが高かった。
・新任マネジャー研修の方が、中堅向けよりROIが高かった。

・自己評価も、信頼性のおける評価手段であった。

===

伊藤・玉村(2015)社会的投資収益率(SROI)法の発展過程と手法的特徴. 日本評価研究

・社会的投資収益率(Social Return on Investment)は(中略)投資対効果が、1:Xの比率で示されることに、その特徴がある。

・REDFは、費用便益分析と財務分析のROIの概念を応用し、SROI評価の枠組みを開発した(Emerson et al.2000)

・SROI評価の7つの原則

・SROI評価の6つのプロセス

・SROIは、参加型評価としての側面等、伝統的な費用便益分析と異なるところがある。

・SROIへの疑問
 1)適用条件が限定的
 2)設定の恣意性 
 3)異なるSROI評価の間の比較可能性は小さい(使用する側は、比較可能性を期待)

・SROI評価の7原則の一つ「Value What Matters」を、客観的な基準をもって判断することは不可能。

===

伊藤・玉村・植野(2021)プログラム評価の一類型としての「社会的インパクト評価」の課題と可能性

・社会的インパクト評価とは、社会的インパクトを定量的、定性的に把握し、当該事業や活動について価値判断を加えること(内閣府2016)

・インパクトとは、介入によってもたらされたネットの効果(純効果)を指す(源2020)

・システムとは、政策(ポリシー)、プログラム、プロジェクトの3層構造に対応する体系であり、ロジックはプログラムを形成するインプット、アクティビティ、アウトプット、アウトカムのプロセスの論理である(山谷2020)

===

ATD Research (2019)Effective Evaluation:Measuring Learning Programs for Success.ATD

○ATD24で、5月に買った小冊子。2015年に続く調査結果。

・ATDメンバー 779名に調査。約半分が、500名~9999名規模、31%が、1万名以上。23%が、500名以下の企業。

・どのレベルで評価しているか?

・2015年に比べ、2019年は、レベル3行動の評価が増えた。

・研修テーマによる評価の違い

・レベル3行動を測定する方法

・レベル4のデータとして使っているものは?

・組織にとって、どのレベルの評価に価値がある?

・レベル3の評価は、学習と事業効果に、顕著な関係性があった。
・レベル3から、4,5の評価を追加するようになると、学習と事業効果が、跳ね上がった。

・研修評価の難しさは、研修効果の分離(Isolation)であった。

・どのレベルの評価に、どれだけの予算が配分されているのか?

===

投稿者:関根雅泰

コメントフォーム

ページトップに戻る