医学教育つれづれ

医学教育に関する論文のPOINTを書き出した備忘録的なブログです。

解答ではなく解決。 医学教育における高次多肢選択式問題の記述指導の検証

 Solving Not Answering. Validation of Guidance for Writing Higher-Order Multiple-Choice Questions in Medical Science Education.

Xiromeriti, M., Newton, P.M.

Med.Sci.Educ. (2024). https://doi.org/10.1007/s40670-024-02140-7

rd.springer.com

問題解決と高次学習は、高等教育の目標である。 多肢選択問題（MCQ）は、高次の学習をテストするために使用することができると繰り返し示唆されているが、客観的な経験的証拠は不足しており、MCQは低次の、事実に基づいた、または「暗記」学習のみを評価するものであると批判されることが多い。 このような課題は、何をもって高次の学習とするのかについて合意が得られていないことによって、さらに深刻なものとなっている。高次の学習は通常、ブルーム分類法のような批判が多い枠組みを用いて主観的に定義される。 また、高次の学習を評価するMCQの書き方についても意見が一致していない。 ここでは、高次の学習を評価するMCQを作成するためのガイダンスを、教科の初心者である学生と専門家である学生の成績を評価することによってテストした。 その結果、ガイダンスを用いて作成された問題は、学生に予備知識がない場合、解答が非常に困難であることがわかった。 これらの結果は、ガイダンスを使って書かれた問題は、確かに高次の学習をテストしていることを示唆しており、このようなMCQは、信頼性と不正行為が大きな懸念事項である小論文のような、高次の学習をテストするためにデザインされた他の記述式評価形式の有効な代替となりうる。

 

高次のMCQ作成のためのガイドライン

  1. 低次のMCQから始める:

    • 最初に事実に基づく知識を評価するための低次のMCQを作成します。既存の質問を使用するか、新たに事実に基づいたシンプルな質問を作成します。

  2. 問題シナリオを作成する:

    • 質問文を、単なる質問ではなく解決が必要な問題として再構築します。例えば、正解を非専門的な用語で記述したシナリオを作成し、それを基に問題を設定します。

  3. 前提知識を特定する（ブリッジ）:

    • 質問に答えるために必要な前提知識を特定します。受験者がこの知識を持っていないと、問題を解くことができないようにします。この前提知識は、問題と解答選択肢を結びつける「認知的ブリッジ」として機能します。

  4. 日常的な言語を使用する:

    • 問題文には、専門用語を避けて日常的な言葉を使用します。これにより、受験者が正しい解答を導き出すための手がかりを減らすことができます。どうしても専門用語を使用しなければならない場合は、それを問題文か解答選択肢のいずれか一方にのみ含めるようにします。

  5. アクティブな解答を使用する:

    • 解答選択肢には、事実のリストではなく、行動やアクションを表すものを使用します。これにより、問題解決型の形式が強調されます。

  6. 注釈付きの画像を使用する（オプション）:

    • 必要に応じて、画像に注釈を付けて使用し、問題の理解を助けます。

  7. 解答選択肢の数を増やす:

    • 解答選択肢の数を約8つに増やし、選択肢間の細かな違いをつけることで、解答をさらに挑戦的にします。

結果

この研究では、2つの実験を通じて、高次の選択式問題（MCQ）の作成ガイドラインを評価しました。

実験1:

  • 初心者グループのみを対象にした予備実験で、低次および高次のMCQがどのように解答されるかを検証しました。
  • 結果として、低次の質問は、オープンブックの条件下で簡単にGoogleなどで解答できましたが、高次の質問は同様に解答するのが非常に難しいことがわかりました。
  • 閉鎖的な条件下では、初心者が高次の質問に答える成功率はさらに低くなり、低次の質問でも成功率が低かったことが確認されました。
  • 統計的分析により、質問の形式（低次 vs 高次）とテスト形式（オープンブック vs 閉鎖的）の両方で有意な違いが確認されました。

実験2:

  • 初心者グループと専門家グループを比較して、高次MCQガイドラインの有効性をさらに評価しました。
  • 初心者はオープンブック条件で低次の質問に高い成功率を示しましたが、高次の質問になると成功率は大幅に低下しました。
  • 専門家グループは、オープンブックおよび閉鎖的な条件下で高次の質問にも比較的高い成功率を示しましたが、それでも低次の質問に比べて成功率はやや低下しました。
  • 結果として、ガイドラインに基づいて作成された高次の質問は、初心者にとっては答えにくく、専門家にとっても挑戦的であることが示されました。

考察

  • ガイドラインの有効性: ガイドラインに基づいて作成された高次MCQは、単純な事実の記憶ではなく、問題解決能力を評価するのに有効であることが示されました。初心者は、低次の質問は簡単に解答できましたが、高次の質問では苦労し、専門家は高次の質問でもある程度の成功を収めましたが、それでも挑戦的でした。

  • 教育的意義: 高次の質問は、エッセイやディスカッションなどの他の評価形式に代わり得る信頼性の高い手法として位置付けられます。これらの質問は、不正行為に対する耐性が高く、特に監視付き試験での使用が推奨されます。

  • 今後の課題: ガイドラインの各要素が高次学習の評価にどのように寄与するかを詳細に検討するためのさらなる研究が必要です。また、他の学問分野でのガイドラインの適用可能性についても検証が求められます。

  • 制限事項: 実験は2つの特定の科目（神経科学と遺伝学）に限定されており、他の科目への適用には慎重な検証が必要です。また、オープンブック条件での参加者のモチベーションの違いなどが結果に影響を与える可能性がある点も考慮されるべきです。