○研修評価に関する本です。
＝＝＝
『Complete Training Evaluation』R.Griffin（2014）
・忙しい実務家のために、scientifically robust 科学的に厳密で、practitioner friendly 実務家にとって優しい方法論を提供したい。
・研修評価の殆どは、Formative 形成的で、Summative総括的は少ない。
・組織のリーダーたちは、研修のインパクトに関心がある。であれば、我々がすべきは統括的評価である。
・Training evaluation
・ギリシャ人が「人はいかに学ぶか」を考えた最初の人々である。あるグループは、人は外部要因への反応として学ぶと考えた。ソクラテスは、マインド中心の内面の活動が学習であると考えた。アリストテレスは、内部と外部要因のミックスだと考えた。
・従業員をエンパワーする戦略の一環としての研修が、生産性を6~9%向上させたという研究結果もある（Birdi et al,2008)。
・研修は、事業成果に正の効果を示すが、各研修プログラムがそうだとは言い切れない。だからこそ、evaluation評価が必要。
・Affect reaction感情的反応は、学習内容が転移し、職務パフォーマンスを向上させるかにはつながらない。
・仕事との関連性を問うUtility reaction効用的反応や、自己効力感は、学習転移、維持、インパクトを予測する。
・D.Kirkpatrickが、1959年にASTD Journalに寄稿した複数の記事が基になり、現在も最も使われている研修評価手法が広まった。
・2013年に息子のJim Kirkpatrickにインタビューした所、彼曰く「分かりにくい評価という単語を、４つの実践的な言葉：反応、学習、行動、成果に、ブレークダウンしたのが父の功績。そのシンプルさが、よく使われるモデルとなった理由だろう」とのことだった。私（筆者）もそうだと思う。
・Alliger & Janak（1989）は、Kirkpatrickのレベルを、hierarchy階層的と考えるのは、間違いだと指摘している。
・J.Phillips(2002)によるROIアプローチでは、研修から成果へ一足飛びに向かおうとする傾向がある。それでは、学習の転移というカギとなるステージを見落とす恐れがある。
・Kirkpatrickモデルのバリエーションとして、Hamblin(1974）CIRO(1970）CIPP model等がある。
・その他の評価アプローチの例として「9成果モデル（2004）」「successケースメソッド（2005）」「Scrivenの評価チェックリスト（2011）」「BSC(1996）」等がある。
・研修評価については、第二次世界大戦後にスタートしたものであり、その際は、軍隊が評価手法の発達に寄与した。その後、1959年にカークパトリックが提示したモデルが、現在も評価の領域を支配している。
・全ての研修に評価が必要なわけではない。Be pragmatic 現実的であれ。
・研修を始める前に、評価の計画を立てよ。
・研修内容について回顧的に問うことは、学習を強化し、研修効果を測る適切な方法である（Scourtoudis and Dyke,2007)。
・L.Rae(2014）は、研修評価の4つのレベルを提唱した。
１）何もしない
２）最低限の評価：研修直後サーベイ
３）中間の評価：1か月前と後に、サーベイかインタビューを行う
４）完全な評価：統制群も用いた事前事後評価
・K.Fee（2011）は、コンサルタントの適正を見る10のチェックリストを提示した。これは、external evaluator 外部の研修評価者を見る際の参考にもなる。
・Axtell et al.(1997)は、研修1か月後に転移した量が、1年後の転移量を予測することを明らかにした。
・Wang & Wilcox(2006)は、研修後3~6か月の間に評価すべきと提案した。
・成功する評価の４ステップ：
１）どのOutcome結果を測定するのかを決める
２）測定するためのデータを集める
３）データを分析する
４）結果を提示する
・サーベイでの質問は、１つずつ。1つの質問で複数のことを聞かない。
・サーベイデータの分析では、平均値とパーセンテージの２つだけおさえればよい。
・Pearson’s r ピアソンの相関係数は、関係があることを示唆するだけで、証明とは言えない。
・Peer evaluation 同僚による評価は、あまり使われていない手法だが、Empowerment evaluation 力づける評価とも言われていて、利用価値はある。
・ステークホルダーとの初期段階での関与と議論が重要（Kearns 2005)
・ステークホルダーは
－常に研修成果について明確な期待を持っているわけではない
－対立し矛盾する意見を持つこともある
－前と考えを変えることもある。しかも前言ったことを覚えていない
－組織を離れ、新しい人が加わることもある
・全てのステークホルダーが、イコールではない。
・感情的反応より、効用的反応のほうが、研修結果を反映している（Scourtoudis & Dyke 2007）
・研修の満足度と、行動の変化の相関は小さい。効果的な学習は、否定的な感情と結びついていることも多い。
・研修を楽しむことが、その研修の価値を決めるわけではない。
・How useful was the training to your job?
仕事に、研修は役立ちそうか？
・The training is relevant to my job
研修は、仕事に関連していたか？
・five-point scales 5段階評価が最もよく使われている。
・Willingness to pay（WTP）は、仮説的金銭価値。
Would you be willing to pay for the training?
この研修に、あなたなら、お金を払いますか？
・自己効力感と研修成果の間には正の関係があることを、多くの研究が見出している（Hutchins 2009）
・Self-efficacy自己効力感とは、自分には出来るという信念である。
・A.Banduraは、スタンフォード大で80代で現役である。
・114の研究をレビューしたStajkovic & Luthans(1998)によると、仕事パフォーマンス向上の28%は、自己効力感と関係していた。
・自己効力感と有用性はつながっている。
・成人学習者は、Goal-oriented目標志向である。
・研修について、たった一つのことしか調べられないとしたら、評価すべきは学習者の自己効力感である。
・研修内容の10%しか、職場に転移していない。
・T.Gillie(2014)は、学習転移する理由の46%は、organizational climate組織雰囲気であり、28%が自己効力感であることを提示した。
・Cognitive overload 認知的過負荷：多すぎる情報は頭に入っていかない。
・身体的技術については、数多く練習するほど、より良くなっていく。
・Berk(2008)は、研修の60%は、90日後に失われることを示した。
・学習者に訊いてみる「What difference did the training make to you?
研修によって何が変わった？」
・数字ではなく、言葉が、研修評価に使われることは少ない。
・Qualitative method 質的手法が、今後の研修評価のトレンドになる。
・平均は、間違った方向に我々を導く可能性がある。
・Power of words 言葉の力を信じるべき。
・4～12人のFocus groupフォーカスグループインタビュー。
・議論を促すような問いを投げかける。
・eLearing, e learning, e-learningと呼び方も統一されていない。
・Eラーニングは、サーベイ等の評価ツールを組み込みやすい。
・Learning outcomes学習成果は、3つの領域に分けられる：Knowledge, Skills, Attitudes (KSA)
・Aragon-Sanchez et al.(2003)が、6000の組織を調査した結果、社内講師による on-the-job learning 仕事を通じた学習が特に効果的であったことが明らかになった。
・計画されてないInformal learning非公式学習も重要。経験、フィードバック、自己管理、練習、観察、傾聴、読書、会話、批判的内省、実践等。
・肯定的な学習文化は、持続的な競合優位性の源泉である（Gubbins et al.2012)
・イギリスでの調査によると、Indirect cost間接費用：受講者が仕事を休むことによる損失と移動費が、46%をしめ、Direct cost直接費用が、34%、社内講師と事務局のコストが、20%であった（BIS,2013)
・Overheadsは、家賃や水道光熱費といった継続的にかかる費用である。
・研修に参加することで失われた生産性が、間接費用となる。月額給料から計算できる。
・研修の便益のすべてを、金銭価値に転換することは出来ない。
・研修評価においては、意思決定者たちが、研修の価値を判断できる材料を提供すべき。
・少ない言葉と数字で、Result成果を伝えられると良い。
・棒グラフと円グラフが有効。
・書面レポートの形式
・学習者個人の物語が効果的。学習者自身の言葉を引用する。
・13のチェックリストを参考に、研修評価をチェックする。
・Step1:13項目をチェック
Step2:情報を集める
Step3:データを分析
Step4:成果を提示する
・Word Cloudを使う
・新しく訓練された人々を、変わらない組織に戻すことほど無意味なことはない（Peter and Baum 2007)
＝＝＝
『教育効果測定の実践』堤宇一（編著）木村、早川、柳、和田（著）（2012）
・教育効果測定抜きには、IDは成立しない。
・「教える、教わる」という人材育成は「誰もが行ってきた当たり前の行為（簡単にできる）」という誤った認識が、専門領域の壁を無視させてしまう。
・人材育成や研修は、企業にとってはパフォーマンスを高めるための手段ではあるが、目的ではない。
・IDでは「学習目標」の設定が最も重要であると考える。
・教育効果を「教育研修という投資が、個人や組織に与える影響」と定義。
・教育の影響を上手に分類し、測定可能な細かさに分解することである。その代表的モデルが、D.カークパトリックの「レベル４フレームワーク（1959）」である。
・教育効果の実施目的は２つ：総括的評価と形成的評価
・３人のステークホルダー（受講者、上司・経営者、教育ベンダー・講師）・ある種の政治的な動きを意識し、関係者を上手に巻き込み、協力関係を獲得しながら進めることが、現実論として余儀なくされる。
・経営者や事業責任者が求めているのは、能力開発という成果ではなく、ビジネスへの直接的貢献である。
・教育ベンダーや講師がとるサバイバル戦略（例：受講者を生贄にし、発注者側の不具合を指摘し、自分たちの非を認めない）を理解した上で、関係性を構築していく必要がある。
・教育活動の場は、多様なステークホルダーが織りなす生々しい世界なのである。
・人材育成担当者は、政治力学の渦にいる（長岡2006）。
・行動の不具合が、業績を下げているという根拠が見つかった場合に、初めて、研修施策を打つ必要背が生じる。そして、行動の不具合の主たる原因が、知識やスキル不足であるということが明確になって初めて、研修施策を企画、実施するという合理性が生まれる。
・研修の品質を高めることに注力した研修改善事例。
・人材育成部門は、研修を提供するだけにとどまらず、職場への活用についても自分たちの責任範囲として認識し、施策を展開していく必要性がある。
・測定をおこなうことで、活用機会を提供し、現場を巻き込んでいった実践事例。
・レベル３測定を用いて、学習の職場活用を促進させるという逆転の発想で挑んだ教育効果測定プロジェクト。
・受講者と受講者が選んだ稽古相手（大半が直属の上司）で、レベル３測定を進める。
・業績を向上するには、企業が求める方向に個々の行動を変容させなければならない。
・講義を行うことが、教育研修であるという「授業観」があった。
・出口（ゴール）の明確化と、入口（レディネス）の統一
・企業の人材育成が成果を得るためには、何が成果なのかを明らかにしなければならない。
＝＝＝
コメントフォーム