医学教育つれづれ

医学教育に関する論文のPOINTを書き出した備忘録的なブログです。

多肢選択式試験問題における解答の変化: ポッド医科大学における上位層と下位層の学生のパターン

Changing Answers in Multiple-Choice Exam Questions: Patterns of TOP-Tier Versus BOTTOM-Tier Students in Podiatric Medical School
Grant Yonemoto, Milad Kashani, […], and Peter Barbosa peter.barbosa@aucmed.edu+2View all authors and affiliations
All Articles
https://doi.org/10.1177/23821205231179312

https://journals.sagepub.com/doi/full/10.1177/23821205231179312

 

目的
解答を変更することの有益性を定量的に示した研究が複数あるにもかかわらず、学生は多肢選択式テストの解答を変更することに不安を示すことが多い。
方法
ExamSoft®のSnapshot Viewerで収集した電子テストデータに示されるように、1学期にわたって86人の足病医学部1年生から生化学のコースのデータを収集した。解答を変更した頻度と、学生が解答を不正解から正解に変更したか、正解から不正解に変更したか、不正解から不正解に変更したかを比較する定量的分析を行った。各タイプの解答変更の頻度とクラス順位との関係を評価するために相関分析を行った。独立標本のt検定は、クラスの成績上位と下位の学生における解答変更のパターンの違いを評価するために使用された。
結果
正解から不正解への総変更数とクラス順位との相関は、r = 0.218 (P = 0.048)の正の相関を示した。また、クラス順位と比較して、変更された総回答数あたりの不正解から誤答への変更数にもr = 0.502(P<0.000)の正の相関が観察された。クラス順位と不正解から正解への変更数を比較すると、r = -0.382 (P < .000)の負の相関が観察された。ほとんどのクラスが解答を変更することで利益を得たが、最終的に不正解となった割合(変更回数に関係なく)とクラス順位を比較すると、r = 0.467 (P < .000)の有意な正の相関が観察された。
考察

本研究では、多肢選択式試験中に最初の解答を変更することの有効性を検討した。著者らは、「最初の直感を信じなさい」という一般的なアドバイスが、すべての学生に一様に当てはまるとは限らないことを示唆している。この研究は84人の学生をサンプルとして実施され、各生徒は6回の試験で少なくとも1回は答えを変えた。全体として、60%の学生が解答を変更したことにより、試験のスコアが正味プラスになった。

この研究によると、成績上位の学生は解答を変えることで利益を得る傾向がある。しかし、成績下位の学生の場合、解答を変更すると最終的に不正解になることが多い。学生の全体的な成績が下がれば下がるほど、答えを不正解に変える確率は高くなります。このパターンは、特に最下位層の学生に顕著に見られます。

これらの観察によると、成績の良い学生は、準備態勢が整っていることが多く、教材に対する理解も深いため、最初の解答を変更することで利益を得ていることが示唆されます。これは、ケアレスミスを見つけたり、試験が進むにつれて内容を思い出したりするためと考えられます。一方、教材に対する理解が浅く、自分の解答に自信が持てない生徒は、選択肢に対する不安から解答を頻繁に変更することが多い。設問の表現に戸惑ったり、教材に自信がなかったりすると、最初の答えが正しいかどうかにかかわらず、その答えを疑ってしまい、さらに答えが変わってしまうのです。

この研究では、サンプルサイズが登録学生に基づいているため検出力分析が不十分であるなどの限界があることを認めている。また、この結果は2016年秋学期の生化学の学生を代表しているに過ぎず、他の学生集団、科目、学期のパターンを反映していない可能性がある。

結論

多肢選択式テストの最初の解答を変更することは、一部の学生、特に成績上位者にとっては有益であるが、この研究はすべての学生にとって有益でない可能性を示唆している。成績下位の学生は、しばしば不正解に変更し、全体的な成績に悪影響を与える。そのため、教育者は最初の答えを変えることについて一律にアドバイスすることには慎重であるべきであり、成績の低い生徒をよりよくサポートする方法を考えるべきである。異なるコースや教育環境におけるこのパターンを調査するために、さらなる研究が必要である。