Evaluation of the quality of multiple-choice questions according to the students’ academic level
Mercedes Iñarrairaegui, Nerea Fernández-Ros, Felipe Lucena, Manuel F. Landecho, Nicolás García, Jorge Quiroga & Jose Ignacio Herrero
BMC Medical Education volume 22, Article number: 779 (2022)
背景
医学教育における最も重要な課題の1つは、学力レベルの異なる学生を識別するための多肢選択問題を作成することである。平均的な問題は、成績の良い学生にとっては非常に簡単であり、このグループの学生に対する識別力を低下させる可能性がある。本研究の目的は、多肢選択問題の識別力が学生の学力によって異なるかどうかを分析することである。
方法
病態生理の科目終了試験で使用した257問の多肢選択問題の難易度と判別指数をレトロスペクティブに分析し、学力が良好な学生（第1群）が中・低学力の学生（第2群）より判別指数が低いかどうかを分析した。また、両群の学生において、事例問題が事実問題よりも識別力を維持しているか否かを評価した。両群間の難易度と識別力の指標の比較は、Wilcoxon検定に基づき行った。
結果
難易度指数は第1グループで有意に高く（中央値：0.78対0.56、P < 0.001）、識別力指数は第2グループで有意に高かった（中央値：0.21対0.28、P < 0.001 ）。事実問題では、2群の識別指数が1群より高かったが（中央値：0.28対0.20、P < 0.001）、事例問題の識別指数は群間で有意差はなかった（中央値：0.30対0.24、P = 0.296 ）。
本研究の最も重要な成果は、MCQの得点の高い学生ほど識別能力が低いという知見である。この発見は、識別能力と問題の難易度は安定しているとする古典的な考えと相反するものである。
また、本研究のもう一つの興味深い知見は、臨床場面での質問を用いたMCQは、高得点者でも低得点者でも等しく識別力を持つことである。この発見は、事実と事例に基づく問題の間で簡単だと思われる問題の割合に差がなかったことから、その難易度の高さによるものではないようである。
結論
多肢選択式問題試験は、高得点の学生群では識別力が低い。臨床場面を想定した問題を用いることで，多肢選択式問題の識別力を維持することができるかもしれない．
