Creating Level 2 Quizzes and Tests That Actually Measure Something

○Ken Phillipsさんのセッション（24年5月21日）

＝＝＝

4:30 PM – 5:30 PM CST

●Creating Level 2 Quizzes and Tests That Actually Measure Something

Location: Room 228-230

Ken R. Phillips, CPTD – Phillips Associates

Do you use Level 2 quizzes and tests with your training programs? If so, you’ll want to attend this highly informative session to learn about the most common test creation errors that can compromise the validity of your test items and 15 tips for overcoming them. You’ll also learn the value of test items that measure job application, not recall.

Learning Objectives:
Use data from a recent ATD Research study to benchmark your organization’s Level 2 evaluations.
Avoid common mistakes when creating Level 2 multiple-choice quizzes and tests.
Learn 15 tips and best practices for creating valid, scientifically sound multiple-choice questions.

―――

・4レベルは、Raymond Katzel　によって、最初に示された。
・1954年に、D.カークパトリックが、博士論文に、4レベルを使った。
・1959年に、ASTDの記事に、D.カークパトリックが、4レベルを紹介し、広まった。

・J.Phillipsが、5レベルを示した。
・私と同じ苗字だが、親戚ではないよ。

・Data Collection Method

・レベル２テストの現状

・レベル２テストが、上手くいってない４つの理由

・４つの対策

・Multiple choiceを強く薦めたい

・HandoutsのP6～７の設問を見て、レベル２テストの悪い点をあげよ

・Tips

　１）質問文に、余計な情報を入れない

　２）選択肢の文章量と書き方を、他と同じにする

　３）「～でない」という質問文は使わない

　４）

　５）空白を埋める問題は出さない

　６）すべての選択肢が、もっともらしくあるべき

　７）「上記全て」という選択肢は載せない

　８）選択肢は、相互排他的であるべき

　９）選択肢の中に、質問文で入れるべき文章を入れない（選択肢はなるべく短く）

　１０）選択肢は、ロジカルに並べる

　＋３つのTips

・10分以内に終わるテストを作るべき。

・レベル２のテストによって、どのくらい、学んだ内容が、仕事に適用されるか、レベル３を予測する。

ーーー

○Phillipsというから、Jack Phillipsさんの関係者かと思ってたけど、全く違ってた。

　Kenさんは、Predictive Leaning Analyticsを売りにしているよう。
　https://phillipsassociates.com/

○「What’s wrong with this?」と訊いてるスライドの文字や○の位置ががずれてるのが、笑える。

○Kenさんの人柄か、参加者からの質問や途中の遮りが多く、最後の質疑応答も活発だった。聞き手からの「突っ込みやすさ」も、優れた教育者の特徴なのかも。つい「突っ込みたくなる」ということは、それだけ、学びの当事者として、自分に引き付けて考えているだろうから。

○最後、質問をして、写真を撮ってもらった。

　一緒にいた女性が「この3日間で一番のセッションだった。他のは概念的な話が多くて」と、謝意を伝えてて、Kenさんも嬉しそう。「テストの作り方」だから、すぐに使える具体性が良かったのだろう。

＝＝＝