Writing Multiple Choice Questions—Has the Student Become the Master?
Hannah PhamORCID Icon, Stefan Court-KowalskiORCID Icon, Hong ChanORCID Icon & Peter Devitt
Received 06 Jul 2021, Accepted 21 Feb 2022, Published online: 01 May 2022
Download citation https://doi.org/10.1080/10401334.2022.2050240
https://www.tandfonline.com/doi/full/10.1080/10401334.2022.2050240?af=R
構成
医学生を対象とした臨床知識の形成的模擬試験において、臨床医が作成した多肢選択問題（MCQ）と学生が作成した多肢選択問題（MCQ）の質を比較検討した。
背景
多肢選択問題は、医学部学生を対象とした評価プログラムでよく使用される形式です。しかし、質の高い問題を効率的に作成することは、教育者にとっての課題です。そのため、各学部が毎年繰り返し出題することが一般的である。
学生が作成したMCQを学習活動として使用することは、学生のアセスメント・リテラシーの発達を支援することにもなる。しかし、教員のリソース問題を解決するために、学生が作成したアイテムを総括的評価に用いることの意味は、あまり明らかではない。本研究では、問題の難易度、問題の識別性、認知技能レベル、問題作成の欠陥、機能しないディストラクターなどのパラメータについて、学生作成項目と臨床医作成項目の質を比較することを目的とした。帰無仮説は、「学生作成と臨床医作成の問題の質には差がない」というものであった。この結果は、教員のアイテムバンクや総括的評価に学生が作成した問題を取り入れる際の議論に役立つと思われる。
アプローチ
アデレード大学の医学部4年生と5年生に模擬試験への参加を呼びかけた。参加者はまず、MCQの解答・作成方法に関するオンライン指導を受け、その後、模擬試験で使用するオリジナルのMCQを1つずつ提出した。模擬試験は、各年次レベルの180問の模擬試験を2つ作成しました。各模試は、学生が作成した90項目と臨床医が作成した90項目から構成されている。参加者は各項目の作者について盲検化された。各項目は、項目の難易度と識別力、項目作成上の欠陥（IWF）と非機能性ディストラクター（NFD）の数、認知スキルレベル（ブルーム分類法の修正版を使用）について分析された。
調査結果
4年生89名、5年生91名の学生が試験を受けた。臨床医が作成したものに比べ、学生が作成したものは、認知スキルや難易度が低い傾向にあった。また、IWF（2〜3.5倍）、NFD（1.18倍）の割合が有意に高い。しかし、臨床医が作成した項目と同等かそれ以上の識別力を有していた。
結論
本研究の結果を議論する際に、学生と臨床医の特性の違いを想定しておくことは価値がある。臨床医は実際の臨床現場での経験が豊富であるため、より忠実な項目を作成できると思われるかもしれません。一方、学生はコースの内容に慣れている時期が長く、教育機関が作成するような品質やタイプのMCQを受験した経験もおそらく豊富です。しかし、実践的な経験は少ないので、必ずしも標準的な臨床実践を反映していない「教科書的」な記述をする可能性があります。
本研究では、模擬試験を低ステークス、形成的な設定で使用しました。学生自作のMCQが、たとえ提案された対策があったとしても、ハイステークスな総括的評価において位置づけられるかどうかについては、まだ答えが得られていません。この研究結果は、その判断材料としてのみ使用することはできません。出典が何であれ、項目は慎重に吟味され、ハイステークス試験のブループリントの仕様に従って選択され、内容の適切な広さと深さ、認知技能レベルの評価を保証する必要があります。
本研究では、認知能力、IWF、NFDなどのパラメータは劣るものの、臨床医が作成したものと同等の識別力を持つMCQを学生が作成できることが示されました。このことは、項目の質を向上させるために、あらゆるレベルの項目作成者の継続的なトレーニングの必要性を強調しています。学生が作成したアイテムを、少なくとも形成的な使用のために教員のアイテムバンクに含めることは、分析したパフォーマンス指標のいくつかにおいて臨床医が作成したアイテムと類似していることから、通常のテスト前のレビュープロセスを想定すれば、妥当なことであると考えられる。しかし、項目のセキュリティや学生の学習戦略への影響など、学生が作成したMCQを総括的な設定で使用する前に慎重に検討しなければならない問題が数多く存在する。
