○佐々木先生の新刊！と以前出されていた本（研究書2冊）
（毎週木曜日に、読んだ本や論文の抜き書きをブログにアップする活動。目標の52週を達成！）
＝＝＝
『インパクト評価 ～社会的インパクト評価のために』佐々木亮（2023）
・社会的に弱い立場に置かれた人々であっても、エビデンスを示せれば、意思決定を主導できる。
・インパクトの使い方として、本書では、タイプ３（介入行為による変化量）に従う。
・（宣言）転載をする場合に、著者に断りを入れる必要はありません。歓迎します。
○この宣言、素晴らしい！
・「社会的インパクト評価 Social Impact Measurement」は、評価研究の世界で「Performance Measurement」と呼ばれてきたものと同一。
・そこで使われている分析デザインは「事前事後比較デザイン」であり、正式な「インパクト評価 Impact Evaluation」の理論から見ると、大変初歩的なデザイン。
・社会的インパクト評価から入って、徐々に本格的なインパクト評価に取り組んでみることを期待。
１．事前・事後比較デザイン（Before-After Design）
・Dependent t-test(Paired t-test 対応のあるｔ検定）
・実施地域だけのデータを参照すればよい。
・同一地域の事前事後データの方が、はるかに入手しやすい。
２．時系列デザイン（Interrupted Time-Series Design)
・Regression Analysis 回帰分析
・既存のデータが利用できる。
・科学的なイメージにも関わらず、回帰分析には、恣意性が入る余地がかなりある。
・2020年代になって、統計分析結果の「可視化 visualization」が叫ばれるようになった。
・回帰分析も従来のように、ギリシャ文字による数式と、専門的知識が無いと理解できない巨大な表で説明しようとせずに、箱と矢印を使ったシンプルな描画でビジュアルに説明すべきである。
○ほんと、そうだよな～。難しそうな言葉で、さも専門的であるかのように示し、けむに巻く、みたいなことをやっちゃってるかもしれないよな～。
３．一般指標デザイン（Generic Control Design）
・目視による判断
・全国平均値、全県平均値などの一般指標を、比較に用いる。
４．マッチングデザイン（Matched Control Design）
・Independent t-test （対応のないｔ検定）
・近似のグループを選定して、比較に用いる。
・専門家を自称することは容易だが、社会実験から得られるエビデンスにはいつも謙虚であるべき。
○この前段にある「一喝」のエピソードに、佐々木先生の怒りを感じる。
５．ランダム化比較デザイン（実験デザイン）（Randomized Controlled Triar, Experimental Design）
・Independent t-test(対応のないｔ検定）
・RCTによる実験をして、効果があるのかを明らかにしてから、適用範囲を拡大すべきかどうかを議論している。
・効果があるかないか分からないまま、全国で適用するほうが、よっぽど被害は大きくなり、それこそ倫理に反する。
・「ゆとり教育」が好例で、いつのまにか始まり、いつの間にか終わっていた。その実施期間中に、エビデンスと呼べるものを見たことはなく、エビデンスが示されないまま、全国の学齢期の子供達全員が影響を受けたわけである。これは、社会実験に反対する人たちが、よく理解すべき点である。
○「ゆとり教育」のエビデンスが、何も示されていないとしたら、これは大きな問題だよな～。まさにいきあたりばったりで進められた政策なのかも。いつのまにか終わっていたというのが、更に悲しい。
・時期をずらして実施することによって、全ての学校が介入を適用されることになり、通常、RCTに関して指摘される倫理的な問題を回避している。
○この時期をずらしてのRCT実施は、企業研修でもできるかも。
・2か月でRCTを実施した事例。RCTはもっと気軽に迅速に行われるべき。
・p値が、0.05（5％）未満だと、両グループの差は、偶然で起こり得ないほど大きな差だということになる。
・混合手法（Mixed methods）を用いると、結論があいまいになりやすい、また結論が肯定的になりやすいという批判もあり得る。
・統計学の知識は、授業を受けて、自ら電卓なりエクセルなりを動かして、手計算する訓練を経て、初めて身につく。
○これほんとそうだよな～。今回の3日間のワークショップで実感。統計がやっと身近なものに感じられるようになったし、何と言っても楽しくなった。
・「専門家評価」は、きわめて曖昧で不安定。この評価結果の根拠は何かと問われれば「～大学の～教授がそう言っているのだ」ということのみである。
・評価において、これが従来一般的であったデザインであり、それは「現場視察＋関係者インタビュー」である。
―――
●評価を巡る論争
・近年の評価専門家の合言葉は、「Ulilization-Focused Evaluation 実用重視の評価」である。
・「混合手法 Mixed Method」が提案されたことで、定量vs定性評価の論争は、1990年末頃に、一定の合意を見たと言える。
・しかし、2003年に、MITの「貧困アクションラボ」が「RCTしか使わない」と宣言。2019年には、設立者の3人が、ノーベル経済学賞を受賞。ついに、定量的評価の側が、逆襲に成功したのである。
●Ａ．バナジーと佐々木先生の議論（2006）
・統計的有意は、社会的に有意かどうかを検討するために、最低限満たされるべき条件。
・実はランダム化こそがフェア。
・ランダム化への抵抗は少ない。
・これまでは、援助側の都合で、対象地域や対象者を選んできた。
・ＲＣＴは、実験的な小規模の事業に向く。
・他の手法に比べて、あまりに用いられてこなかったので、もう少し頻繁に用いられるべき。
●効果サイズ（Effect Size）の基準提案
●効果率（Effect %)の提案
・効果率（％）＝（2グループの平均値差）÷（統制群の平均値）
●インパクト評価の起源
・ＲＣＴを最初に提唱したのは、R.A.フィッシャー（1925，1935）である。
・Campbell（1963）が、RCTに加えて、準実験デザイン（Quasi-experimental designs）を紹介。
・Rossi,Freeman,＆Wright（1979）が「Evaluation:A Systematic Approach」を出版。
・評価学では「評価＝事実特定＋価値判断」と認識がある（Scriven,1999)。
・インパクト評価の実践は、統計学的に有意な差があったといった事実特定の範疇にとどまるように見受けられる報告書がある。
・「評価」（E-Value-ation）というからには、価値判断を行うことが必要である。
・権力者や有力者や重鎮の意見によって意思決定が左右さる社会ではなく、エビデンスによって意思決定がなされる社会になってほしい。
『インパクト評価 社会的インパクト評価のために』
著者：佐々木亮
発行年：2023
出版：RIO Institute/Amazon.co.jp.
（Amazonのサイト）
＝＝＝
『エクセルで政策評価』佐々木亮（2007）
・統計学には、１～６の水準がある。
・第４水準 行政官が「政策の効果や妥当性の確認のために利用」
第５水準 議員、NPO、市民組織が「政策形成や政策選択に関する議論のために利用」
・本書は、第４水準、第５水準の本にあたる。
・代表的な評価事例のタイプに沿って解説
１）以前の状況と比較する
２）時系列で比較する
３）近隣類似地区と比較する
４）周辺地域と比較する
・偏差値70以上は、とても例外的なこと。
○これも前回のワークショップで、標準偏差について学んだから、よくわかる。そういうことだったんだ～。
・ｐ値＝確率値 0.05（＝5％）未満なら、差があると判断。
・事前と事後の２つのデータの平均値に「違い」があると言っていいかどうかを検定するのが「対応のあるｔ検定」
・独立した２つのグループのデータの平均値に「違い」があると言っていいのかどうかを検定するのが「対応のないｔ検定」（検定前に、等分散か、そうでないかを確認）
・回帰分析は、変化させたいと思う変数（＝売上高）と、変化のために用いる変数（＝施策実施）の間に、確かに因果関係があると言えるかどうかを確かめる方法。
・「説明変数Ｘ」を一つ以上用いる場合は、それらの間に強い結びつき（相関関係）がないことが必須の条件。
・ｔ検定で適切な分析を得るためには、用いる２つのデータが、それぞれ「なだらかに分布している（釣鐘）」ことが前提条件。
・分布グラフ（ヒストグラム）を書いて、目視で確認。
・多重回帰分析の前提条件
・1つの評価において「定量的な分析と定性的な分析」の両方を用いるべきという合意がほぼできている。
・自分の手で計算することによって、統計ソフトが、中でどういう計算をしているのかが良く分かるようになる。
＝＝＝
●復習（23年12月の3日間のワークショップ）
・まずは、Histogram（度数分布 柱グラフ）を作る
・ピークが一つ、左右に下がっている、外れ値が無いかをチェック。
・次に、2つのデータの「Mean平均値」を出す。
・それらの「Difference差」を比較し、偶然（by chance）なのか、介入効果（by intervention）なのかを評価する。
・t-test（両側ｔ検定）で分析。
・p＜0.05（5％）（F＞3～4）なら、t＞2
・Statistically significant統計的有意（100回やって5回以上起こらないから、大きな差と言える）
・regression analysis回帰分析では、Ｘ（独立変数）が、Ｙ（従属変数）を、どのくらい説明しているのか、Ｒ２値で示す。
・Ｒ２＞0.60（60％）なら、説明力が高い。
＝＝＝
●動画
★広報ビデオ★『Tips1 統計分析のかんどころ』（７分）
https://youtu.be/fu6taNR_jsA
「統計分析のかんどころ ～これさえ知っておけば万事OK！」
・見るべきところは、一か所「ｐ値」を見ればよい。（Probability）
・これが、統計学の究極の勘所！
＝＝＝
★広報ビデオ★『Tips2 インパクト評価の5つのデザイン』（14分）
https://youtu.be/neLly_7hv00
「インパクト評価の5つのデザイン」
１．事前・事後比較デザイン
・非常に手軽で、最も多く使われている。
・事前と事後の間の外部要因の影響は、削除できない。
２．時系列デザイン
・事前の数点のデータと、事後の数点のデータを真ん中を通る線。
・長期的な上昇傾向を取り除ける。
３．一般指標デザイン
・突発的な出来事の影響を取り除ける。
・対象エリアと、一般指標を比較する。
４．マッチングデザイン
・対象エリアとよく似た地域を比較する。
５．ランダム化比較デザイン RCT （実験デザイン）
・薬の効果を測るもの。完璧なもの。これ以上のデザインは存在しない。
・きわめて近似した2つのグループを比較する。
・実施が難しいが、頑張って、RCTをやりましょう！
＝＝＝
★広報ビデオ★『Tips3 論文の読み方１：インパクト評価の論文』（12分）
https://www.youtube.com/watch?v=OMw7D0vkSIA
・100回中、偶然では、5回未満（p値 1.1回）しか起きない
・ｔ検定
＝＝＝
★広報ビデオ★『Tips4 論文の読み方２：回帰分析の論文』(12分）
https://www.youtube.com/watch?v=1gychUeH6zY
・重決定係数（Ｒ２）
・統計分析の原則は、なるべく「少ないＸ」で、なるべく「高いＲ２」を実現する式が、良い式。
・回帰分析の論文は、２箇所を見る
１）Ｘの「傾きの値」と「ｐ値」を見る。
２）Ｒ２を見る。
＝＝＝
★広報ビデオ★ 『Tips5 最小のサンプルサイズとは』（10分）
https://www.youtube.com/watch?v=y3IvlvmHvvU
・最小のサンプル数は、２５～３０以上。
・サンプル数が、２５～３０以上の時には「サンプル集団の標準偏差」を「もとの大集団の標準偏差」とみなして、使ってよい。
・標準偏差＝ばらつき具合
＝＝＝
★広報ビデオ★『Tips6 論文事例1 エルサルバドル教育』（14分）
https://www.youtube.com/watch?v=jZxrC0fMYCg
・0.17の効果サイズ（Effect size）
・Cohen（1988）に従うと「小」
Evan＆Yuan（2022）の基準に従うと「中」
○この動画も、ほんっと分かりやすいよな～。素晴らしい！
＝＝＝
●佐々木先生の「統計分析ワークショップ」のご案内
IDCJ主催『第40回プロフェッショナル統計分析ワークショップ』のご案内（使用言語：日本語）
(Announcement of the 40th IDCJ Professional Statistical Analysis Workshop in February 2024, in Japanese language)
IDCJでは表記ワークショップを開催することになりました。記念すべき第40回目となります。ぜひ皆様の同僚や友人にご紹介いただければと存じます。
受講者の声1「本当にたし算・ひき算・かけ算・わり算だけで説明しきった。感心した。」
受講者の声2「論文を読めるようになったのがうれしくて、今は毎日読みまくっています。」
【日 時】 2024年2月6日(火)9:30-12:30事前研修（自由参加）、6日(火)13:30-17:30、7日(水)9:30-17:30、9(金)9:30-17:30
【プログラム】https://www.idcj.jp/pdf/ProWS202402_40th_schedule_20231206.pdf
【使用言語】日本語
【テキスト】日本在住の方には印刷して宅急便でお送りします。また事前にデータ（パスワードつきPDF)でお送りします。
【主 催】 IDCJ評価部
【定 員】 最大30名 (最少開催人数10名)
【参加条件】 たし算・ひき算・かけ算・わり算ができることと、エクセルを日常的に使用していること(数字の入力がスムーズにできること)
【参加費】 3日間:39,000円（税込) (事前研修(自由参加)にもご参加いただけます)
【申込締切】 2024年1月26日（金）17時(定員になり次第締め切りとさせていただきます。）
【講 師】
佐々木亮・ウェスタンミシガン大学評価学博士 (Ryo SASAKI, Ph.D. in Evaluation, Western Michigan University, U.S.A.)
高木桂一・スタンフォード大学社会学博士 (Keiichi TAKAKI, Ph.D. in Sociology, Stanford University, U.S.A.)
【申 込】 以下からご登録ください。
https://www.idcj.jp/seminar/statistical-analysis-workshop.html
↑佐々木先生のワークショップ、マジお薦めです。
私のように「統計分析に挫折した人」には、ピッタリです。
統計への苦手意識がなくなり、論文で数字を見つけると、すぐに手計算したくなるようになると思います。
＝＝＝
コメントフォーム