新時代の「評価」を学ぶオープンミーティング@Zoomに参加しました。

ラーンウェル代表の関根です。

2024年6月24日（日）14時～15時、日本評価学会　発展的評価分科会　主催のセミナーに参加しました。差しさわりないと思われる範囲で、自分の学びを記録に残しておきます。

＝＝＝

見方を変えれば、味方が増える!?
～新時代の「評価」を学ぶオープンミーティング～

対象者：
・事業の成果を可視化したいが、どうすればいいか悩んでいる市民団体の担当者
・理事や上司に「その事業の成果は？」と聞かれて、もやもやしている担当者
・「そのプロジェクトの価値は？」と聞かれた時、もっと自信を持って答えられるようになりたい方
・組織や事業のアピール力を高めたいNPO団体、市民活動団体、企業の担当者
・新しい見方・視点から自分の団体を再発見したい方
・自分らしい価値観を軸に、事業を運営したいと思っている方
・評価って正直怖いし、めんどくさい。もっとどうにかならないの？ともやもやを感じている方
・評価の多数のアプローチや方法があることを知りたい方
・伴走型評価という考え方に触れたい方
・評価の研究や実践の世界の潮流を垣間見たい方

参加者数：50名
参加費：無料

主催：日本評価学会発展的評価分科会
https://evaluationjp.org/activities/subcommittee-meeting-activity
共催：福岡市NPO・ボランティア交流センター「あすみん」

＝＝＝

１．はじめに

―――

２．評価の社会的意義と多様性

・評価は、査定、測定、監査、成績付けともみられる。
・評価　Evaluationは、Ex（外へ）と、Value（価値）を組み合わせた言葉
・評価の大きな特徴は、価値判断を伴うこと。

・事業をやっている当事者と、伴走者が、共に行う評価。

―――

３．評価に携わる人のダイアローグから

・評価発注者と、評価受注者の視点。

・ロジックモデルは、成果の把握のために、必ずしも作らなくて良い。（事業実施者が行うことで、ロジックモデルを作ることは、評価ではない）

・投入（Inputs）→活動（Activities）→アウトプット（Output）：事業内容　→　アウトカム（Outcome）：事業目標
・事業内容と事業目標を、目的―手段の関係で繋げるのが、ロジックモデル。

・実際に生まれた成果に着目する。
・対象者の具体的な行動や出来事の変化を、ストーリーとして収集、分析し、成果を明らかにしていく。
・ゴールフリー評価、Most Siginificant Change、Outcome harvestingなどの手法がある。

―――

・事業効果の「エビデンス」について

・評価の専門家や実務者の間では、エビデンスとは「ある介入の効果を裏付けるための情報」と理解されている。

・数値になっていればいいと思い込んでいる。
・エビデンスと事実特定が混同されている。
・因果性が欠落している（ロジックが成立してない）

・「エビデンス」の捉え方を再考し、評価者の役割の問い直しが進んでいる。
・エビデンスの信頼性だけでなく、現場での活用可能性や、応用可能性を重視する動きがある。
・数値化し難い「有効性」を質的に捉えるための形成的評価の実践が行われている。

―――

・「発展的評価」に出会って、評価が楽しくなった。
・1990年代にできた。

・評価報告書が完成するまで待っていたら、情報が福なって、事業に活用できない。

・従来の評価ではあまりうまく対応できない「発展的な状況」に強い評価を、ということで、発展的評価　Dvelelopmental Evaluation：DEを、M.Q.パットンが提唱。

・DE発展的評価＝伴走型評価
・評価者の姿勢は、適応重視、不確実性への耐性。
・DEは、評価手法ではなく、評価のアプローチ。

・問いの枠組み：What、So What、Now What
・3つの問いを、継続的に問いかけ、事業者にフィードバックする

○この3つの問いが出てくるなら、DEは、ODの一面を担うものと考えてもよいかも。

・DEにより、事業者の「評価能力」を高める。

―――

４．もっとも「使える」評価を選ぶための視点

・DEは、一つのパラダイム。メソッド、方法ではない。
・誰が、何のために、評価するのか。それによって、パラダイムを選ぶ。
・ここ15年は、このＤＥが注目されている。

・意思決定の分岐点で伝える。
・学びには最適なタイミングがある。

・この情報がほしい！という時に、評価者が伝える。
・タイムリーに情報を出すのが、伴走型評価の特徴。

・ロジックモデルは、直線的。これを使える状況は酸くなってきているのかも。
・インパクト評価も、伴走型評価で使う。手法は何でも使う。

・24年3月の論文。評価は信頼性は大事だが、活用可能性も大事。

・発注者側が、評価に何を期待するかが、変わらない限り、伴走型評価は進まない。
・徐々に、伴走型評価を望む発注者も増えてきている。

●参考：

M.Q.Patton(2011) Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use. The Guilford Press.

●参考：

―――

５．質疑応答

・発注者、事業者。当事者は？
・外してはいけないこともあるのでは？

・当事者の声を表現する。
・伴走しながら見えてくる。
・ＤＥの8原則。
・事業者の感度、姿勢も重要。伴走するに足るか。

・複雑な状況では、蜘蛛の巣状態。
・エビデンスは完全ではないが、逃げてはいけない。
・すべての活動にエビデンスは必要なのか？

＝＝＝

主催者、講師の皆さん、ありがとうございました。