【木曜日24-10】評価本『Evaluation Methodology Basics:The Nuts and Bolts of Sound Evaluation』

○別の本を読んで面白かった著者の本（1冊）

＝＝＝

『Evaluation Methodology Basics:The Nuts and Bolts of Sound Evaluation』E.Jane Davidson（2005）SAGE Publications.

・Researchは、「What so」であり、評価は「So what？」に答える。

・Evaluative conclusionは、何かがどれだけ良いのか、価値があるのか、重要なのかを示すものである。

・Scrivenの著書は、新しくこの世界に入ってきた人には、読みづらいものであろう。
・本書は、Scriven（2003）の「KEC:Key Evaluation Checklist」を基に、分かりやすくまとめたものである。

・誰（Who）が評価を求めているのか、その理由は（Why）？
・評価の目的は「Summative総括」なのか？「Formative形成」なのか？それとも両方なのか？
・Big picture question大きな絵の問いは、「Absolute merit絶対的価値」と「Relative merit相対的価値」のどちらを示すものなのか？

・GFE：Goal Free Evaluationは、GBE:Goal Based Evaluationに比べ、Side-effects　副次的な効果をとらえられる。

・評価は、Artでもあり、Craftでもあり、Scienceでもある。

・評価は、Tough jobである。我々は、何か間違っているかもしれないという可能性に常にオープンでいなければならない。
・我々自身が、Walking the talk　有言実行でないといけない。

・異なるニーズに異なる介入方法。

・たった一つのエビデンスから、結論を導くな。３～４つの角度から見ろ。

・Scriven（1991）の「Cost Cube」

・Evaluand　評価されているもの（プログラム、ポリシー、プロジェクト、プロダクト、サービス、組織）

・何が影響を及ぼしているのかを、Pin down　するのは、難しい。

・研究者の世界では「Know 知る」「Proved　立証された」と言いきらない。
　評価の世界の顧客は、「知る」「確かさ」という言葉を使う。

・因果関係を示す8つの戦略
・その一つが「Ask Observers　観察者に訊く」

・How much has your knowledge increased as a result of participating this program？
・Did anything else besides the program increase your knowledge in this area over the same period of time?
・Please describe anything else that has happened to you or someone you know as a result of participating in this program?

○これらの質問、いいな～。

・この「Just Ask Peolple」という戦略は、Brinkerhoff（2003）の「Success Case Method」で示されているものだ。

・Lipsey（1989）のアウトカムのタイミング

●参考：プロジェクト効果の３シナリオ
https://www.learn-well.com/blog/2024/01/real-world-evaluation.html

・E-valu-ationは、Descriptive dataに、Valueを付与するもの。
・その価値は、Subjective主観的なものなのではと常に批判されてきた。

・Scientific paradigm　vs　Constructivist／Interpretivist paradigm

・評価は、多くのステークホルダーたちが参加するSensemaking　意味付けのプロセスである。
・評価は、極度に政治的な活動である。

・すべてのCriteriaの重要性は一緒ではない。
・Bar（Scriven,1991）は、特定のCriteriaにおけるパフォーマンスの最低基準である。

・評価では、「統計的有意」の先の「実用的有意」まで見る必要がある。
・Statistically significant　違いや統計的関係は、偶然に起こったものではないことを示す。
　Practically significant　違いは、人々に対して意味ある効果であったことを示す。

・Rublicsルーブリックは、データを統合する手法の一つである。

・Meta-evaluationは、評価の評価である（Scriven,1991）
・評価は、Meritの5つの次元：Validity,Utility,Conduct,Credibility,and Costsの観点から評価されるべきである。

・メタ評価は、チェックするだけでなく、全てに疑問を投げかけるものである。

・Utility　評価が実際使われたのか？役に立ったのか？
○俺もここを重視したいな～。

・評価者は常に他に対して、Mete賞罰の割り当てをしているのだから、自分たちの仕事（評価）も同じように批判されるべきである。
○ほんとその通り。それができるかが、Walking the talkなんだろうな～。

＝＝＝

●参考：この著者の別の本

『Actionable Evaluation Basics – Getting Succinct Answers to the most Important Questions』E.J.Davidson (2013)
https://www.learn-well.com/blog/2023/09/failures.html