【木曜日23-38】研修評価本「評価者の失敗」

○「評価者の失敗」という面白い本＋そこで書いてた著者の本（2冊）

＝＝＝

『Evaluation Failures～22 Tales of Mistakes Made and Lessons Learned』K.Hutchinson（Ed）（2019）

Forward

・「Utilization-Focused Evaluation」のM.Q.Pattonによる前書き
・速く、たくさんの失敗をして、多くを学べ。

Introduction

・失敗は、AFOG：Another F-ing Opportunity for Growth　成長機会である。
・失敗は、いつでも、平等に、私達に襲いかかる。

１．Manage the Evaluation

・一番大きい顧客を失った。

・If you are frustrated, your client is, too.
○これ、そうなんだろうな～。気をつけないと。

・長期プロジェクトを好む人が多いが、あえて、3か月から6か月、長くて1年にする。
・大規模プロジェクトを、単独で請け負わない。

○この人（E.J.Davidson　2013）の本を購入。読んでみよう。
　Actionable Evaluation Basics: Getting succinct answers to the most important questions

・Steering committee　運営委員会に、直接アクセスできないなら、評価プロジェクトは失敗する。

・評価は、ストレスがかかる。Self-careセルフケアの戦略が必要。
・身体と精神の健康を維持する。

２．Engage Stakeholders

・Evaluator 評価者が使う言葉には気を付ける。

・Listen to your gut　直観に従う。
・評価と研究の線引き。研究者の「これも質問項目に入れておいた方が良い」等の侵略を許すな。
・友達や親しい同僚に雇われないようにする。
○この人が引用していた本「RealWorld Evaluation」も購入。

・評価者は、政策立案者の立場に立ってみるべき。

・評価者が、Scapegoatにされることもある。
・対立する期待や要求をどうバランスしていくか。

３．Build Evaluation Capacity

・Dr.R.Torresの「Evaluative Thinking」

●参考：評価的思考（今田克司氏）
　https://www.blue-marble.co.jp/docs/a03/b05/c07/

・ScopeとRoleの変化に要注意。

４．Describe the Program

・「Logic modelは、我々がお金をかけてまで欲しかったOutcome結果ではない」
・ロジックモデルは、商品の半分。もう半分は、ロジックモデルを作るプロセスそのもの。

・System mapは、細かすぎた。出来上がったマップを見ることより、共に作って行くプロセスが大事。
・今は、Rich picture という手法を使って、ステークホルダーの巻き込みを行っている。

５．Focus the Evaluation Design

・友達を仕事相手としない。

・以前の評価プロジェクトのやり方を好むクライアント相手。
・評価者とクライアントのFitが大事。
・評価者は、自分にとってのEvaluation therapistを見つけておくべき。

○やっぱり評価という仕事は大変。「Self care」や「Therapist」が必要なくらい。
　でも「I love evaluation　評価が好き」で、2～30年仕事を続けているのが、この本の著者たち。
　それだけ魅力的でやりがいある仕事ってことかな。

６．Gather Credible Evidence

・評価は、Value-neutral activity　価値中立な活動ではない。それに同意する？反対する？

・外国語を使っての調査の場合、言葉の選び方一つで、不正確な情報を集めることになる。

・Evaluand　評価対象　

・American Evaluation Association Guiding Principles.

https://www.eval.org/About/Guiding-Principles#:~:text=Guiding%20Principles%20For%20Evaluators,and%20common%20good%20and%20equity.

・Soft skills　ソフトスキルは、評価の成功に必須。

７．Justify Conclusions

・ロジックモデルは、スコープと用法が狭い。Program-centric　プログラム中心。
・プログラムは、あくまで大きなシステム環境の一部に過ぎない。

・Theories of Changeのほうが、Contextual文脈も含んでいる。
・我々は、Causal modelsを活用。

・評価を依頼している組織のことを知るべし。
・前の評価結果があるなら、それを見ておく。
・プロジェクトを、諦めることもある。

８．Report and Ensure Use

・データの提示の仕方に、ただ一つの正解は無い。
・私の最初のデータ提示（スライド、グラフ等）は、酷かった。

Conclusion

・失敗の中には、
　‐対立する要求や期待の管理
　‐評価者の責任と、独立性
　‐クライアントとステークホルダーの巻き込み
　‐スコープの変更
　‐スタッフの予期せぬ退職
　‐コンテクスト
　‐評価者によるコミュニケーション　等
　共通するものがあった

・失敗は、悪い事ではない。他者から学ぼう。
・内省的な評価者である我々は、常に学習者である。

○こういう「失敗者の生の声」を集めた本って貴重だな～。
　日本で作ってみてもいいかも。

＝＝＝

『Actionable Evaluation Basics – Getting Succinct Answers to the most Important Questions』E.J.Davidson (2013)

○『Evaluation Failure』著者の一人。薄い本で読みやすい。ワークショップの内容をまとめたものだそう。

・評価とは、最も重要な質問に対して、明確で、根拠ある答えを提示すること。

・Actionable Evaluationの6つの鍵要素

・Monitoring questionsは、「プログラムが実行されたか」と問うが、
　Evaluative questionsは、「プログラムが良く実行されたか」を問う。
・How well、How valuable

・「How good is good」を、Evidenceを基に示す。
・ルーブリックを作り、How good is goodを定義する。

・Monitoring(What’s so) →　Evaluative（So What）→　Actionable（Now What）
○これわかりやすいな～。

＝＝＝