【木曜日30】研修評価本（２）

○研修評価に関する本３冊です。

＝＝＝

『Realistic Evaluation』Ray Pawson、 Nick Tilley 著（1997、2008）

We seek positive answers and a positive future for evaluation.
・評価に関する肯定的な回答と未来を探した。

evaluation deals with the real.
・評価は、現実に対峙する。

evaluation should follow a realist methodology.
・評価は、現実的な手法に従うべき。

scientific realists.
・科学的な現実主義者

evaluation, perhaps above all, needs to be realistic
・評価は、現実的であるべき。

no universal ‘logic of evaluation’, no absolute ‘science of valuing’, no general ‘warranty for decision making’ applicable to all judgements.
・全てに有効な評価論理や、絶対的な科学的価値、全ての判断に適応可能な汎用性ある意思決定保障は、存在しない。

(the 1960s), ‘evaluation research’ referred to the appraisal of the great social programs
・1960年代、評価研究とは、大きな社会的プログラムの鑑定のことを指した。

experimentation.
・実験

Measure both groups before and after the treatment of the one.
・両群（実験群と統制群）の施策前後を測る

Martinson’s paper is the most cited in the history of evaluation research.
・マルチンソンの研究が、評価研究の中で、最も引用されている。

evaluation research is reformist; its basic goal is to develop initiatives which help to solve ‘social problems’.
・社会問題を解決することを手助けすることが、評価研究のゴール。

Politicians don’t read research.
・政治家は、研究を読まない。

pluralist, accepting diverse methods including the ‘experiment, survey, historical case study, observation
・複数主義者は、実験、サーベイ、歴史的ケーススタディー、観察等、複数の手段を受けいれる。

The social world is fundamentally a process of negotiation, so are programs
・社会は、基本的に、交渉のプロセスである。プログラムもそう。

‘theory-success/implementation-failure’.
・理論では成功したが、実装では失敗。

The core of his criticism is that experimental evaluation generates an obsession with internal validity.
・内的妥当性に執着するというのが、実験評価への批判の核である。

importance of external validity.
・外的妥当性の重要性

Pluralism makes sense to everyone and satisfies no one.
・複数主義に皆、納得するが、誰も満足しない。

black box problem.
・（実験評価には）ブラックボックス問題がある。

・機構が「Somehow　なんとか」

‘successionist’ and ‘generative’ theories of causation.

foundational ideas of experimental logic are successionist.
・実験評価の論理は、Successionistである。

generative theory sees causation as acting internally as well as externally.
・生成理論では、内的と外的な因果を見る

・現実主義者の実験

regularity = mechanism + context.
・規則性＝　機構＋文脈

outcome = mechanism + context.
・結果＝　機構＋文脈

How many experiments in natural science use experimental/control-group logic?
・自然科学で、どれだけ実験群、統制群ロジックが使われているのか？

Experiments in natural science tend to follow generative logic, whereas social science experiments are, in the main, successionist.
・自然科学での実験は、生成ロジックだが、社会科学での実験は、サクセッショニストである。

it is time to abandon Hume and Mill (and their model of the experimentalist-as-logician),
・HumeやMillのような実験主義者を論理主義者と捉えるのは、もうやめよう。

・現実主義者の評価サイクル

context-mechanism-outcome pattern configurations
・文脈－メカニズム－結果　

What is useful in evaluation is the construction of what are called ‘context-mechanism-outcome pattern configurations’ or CMO configurations.
・評価において有効な構成物が「CMO」である。

Evaluations of past initiatives can help a policymaker avoid reinventing wheels;
・過去の施策の評価をすることで、政策立案者は、車輪の再発明をしなくて済む。

evaluators need to engage in a teacher-learner relationship with program policy makers, practitioners and participants.
・評価者は、政策立案者、実務家、参加者と、「教師－学習者」関係を築かなければならない。

＝＝＝

『はじめての教育効果測定』堤（編著）青山・久保田（著）（2007）

・2000年前後より、教育研修の効果を測定し、それを証明しようとする世界的な動きが顕著になり、人材育成に対しても成果という観点での審判が適用されるようになった。

・旧来の発想では、研修は実施すること自体が意味を持ち、同じ釜の飯を食して同期意識を強め、組織への忠誠心を高めるという目的やコンセンサスの統一を図るという点に重点が置かれていた。
・それゆえ「集まる場」としての機能や教育研修という「アクティビティ（活動）」自体に価値があった。

・調査やアンケートを開発する際の基本的な留意点３つ：
　１）信頼性　２）妥当性　３）調査目的の明確化

・ハイパフォーマーの実践が「生のしいたけ」だとすると、そこから抽出されたコンピテンシーや、それをもとにした教育研修プログラムは「干ししいたけ」のようなものである。
・受講者に届けられた干ししいたけを、いかに上手に戻してもらうかを考えること、それこそが教育研修の本当の勘所なのである。

○この例え、上手いな～。

・問題は、現状と目指す状態の差である。

・学習目標が正しく設計されたかどうかを確認する質問：
　１）Where am I going?
　２）How do I know when I get there?
　３）How do I get there?

・教育研修プログラム改訂のための４つのカテゴリー：
　１）加える　Add
　２）削る　Delete
　３）取り替える　Move
　４）修正する　Modify

・教育効果測定が、人材育成部門の組織内地位を高めていく

＝＝＝

『研修効果測定の基本』D.マケイン（著）（2013）

・エバリュエーションとは「ある決定を下すために何かを測定する事」

・4段階モデルによる学習経験の評価

・全てのプログラムにおいて、すべてのレベルのエバリュエーションを行うことはできない。

・エバリュエーションは、インストラクショナルデザインの最初の段階から始まる。

・学習目標は、測定可能な言い回しで記述される必要がある。

・参加者が最良の審判というわけではない。
・L1のエバリュエーションは、ファシリテーター側にも、間違った行動をとらせてしまう可能性がある。

・トランスファーを考慮にいれた学習経験を設計することがとても重要。

・L3のエバリュエーションを行うまで、３～６か月は待つ必要がある。

・トランスファーを妨げる要因の殆どは、トレーニングの後にある。

・向上した売上のすべてが、トレーニングプログラムによってもたらされたものではない。

・L4エバリュエーションを行うのにふさわしいプログラムを選択する：寿命が長い、とても重要、プログラム目標とビジネス指標が関連、コストが高い、よく目立つ、対象者が多い等

・ビジネス指標の例

・コンフィデンスレベル：どの程度確信しているのかの度合い

・離職率の低下に影響を与えたであろう他の主要な要因（トレーニング以外）を尋ねることで、変数の分離をはかる。

・サンプリングバイアス：よく知っている相手や、プログラムに好意的な参加者に対して、サーベイやインタビューを依頼する。

○SCMはそうだけど、あえて行っているともいえる。

・ビジネス指標のギャップを埋めることこそが、トレーニングの目的。

・ROIには、トランスファーが必要。

・HRDが行うプログラムの有効性は、Corporate culture企業文化に影響される。
　常に企業文化が勝つ。

・まずどこにレディネスがあるかを探す。既にトレーニングをサポートしている領域を育て、承認し、支援する。

＝＝＝