Exploring students’ [pre-pandemic] use and the impact of commercial-off-the-shelf learning platforms on students’ national licensing exam performance: a focused review-BEME guide no. 72
Atsusi HirumiORCID Icon, Luke Horger, David M. Harris, Andrea BerryORCID Icon, Feroza Daroowalla, Shalu Gillum, show all
Published online: 10 Mar 2022
Download citation https://doi.org/10.1080/0142159X.2022.2039380
https://www.tandfonline.com/doi/full/10.1080/0142159X.2022.2039380?af=R
ポイント
MedED-COTS、特に間隔反復とアクティブリコールの枠組みに基づくQbankは、より良いボード試験の成績と関連しています。
教育機関は、MedED-COTSを正式にカリキュラムに組み込むか、その利用を財政的に支援することを検討する必要があります。
MedED-COTSは、Qbankの開発と個々の学生の成績のモニタリングにかける教員の労力を軽減するためのツールとして活用できる。
MedED-COTSをどのように取り入れるのがベストなのか、研究が必要である。
将来的には、USMLEステップ1の合否判定がMedED-COTSの使用と機能にどのような影響を与えるかに焦点を当てた研究が必要です。
背景
医学教育用に開発された市販の学習プラットフォーム（以下、MEDED-COTS）は、大多数の医学生が免許試験対策に利用するリソースとして登場した。MedED-COTSが普及し、より多くの機能や特徴を持つようになるにつれ、(a)医学部の正式カリキュラム外での学生のMedED-COTSの利用、(b)正式カリキュラムへのMedED-COTSの統合、(c)米国における学生の国家免許試験の得点に対するMedED-COTS利用の潜在影響について医学教育者に情報を与える最新のレビューが必要である。
方法
MedED-COTSの使用または統合に関する研究の発表数が限られているため、今後の研究および実践の指針とするために、文献の集中的なレビューを行った。データの抽出と質の評価は、3人の査読者が独立して行い、意見の相違は4人目の査読者が解決した。研究上の質問に対する回答、結果の背景説明、レビューで報告された所見の傾向や問題点を明らかにするために、ナラティブシンセシスが完成した。
結果
その結果、学生が問題集を利用することと、資格試験の成績との間には、一貫して正の相関があることが明らかになりました。統合研究の数は限られており、また多くの方法論的な問題もあるため、標準化された試験やコースの成果に対する統合商用リソースの特定の効果や関連性を切り分けることは不可能です。しかし、一貫した正の相関、学生の広範な使用、結果を説明する強力な理論的基盤は、MedED-COTSを医学部カリキュラムに統合するための証拠を提供し、さらなる研究の必要性を強調しています。
教育実践への示唆
我々のレビューでは、現役の医学生の非常に多くがMedED-COTSを利用していることが確認されました。このレビューに含まれる4つの研究では、90％以上の学生がMedED-COTSを利用していることがわかりました。MedED-COTSの普及は、ライセンス試験でのリコールとパフォーマンスの促進における有効性の証拠と、肯定的な結果を説明する強力な理論的裏付けと相まって、現在の教育実践に対するいくつかの実質的な意味を指摘している。
第一に、私たちは、Qbanksやフラッシュカードなどの機能を持つMedED-COTSの使用を、学生の学習プログラムの早い段階（指定された試験準備学習期間の前）で、正式に組み込むことを検討するよう勧めます。このような統合は、学生の試験成績を向上させるだけでなく、学生が（現在は学生が負担している）商用リソースへのアクセスコストを補助し、学習方法をより時間効率の良いものにしながら、当面のニーズ（免許試験合格など）に応えることで、教員や正式なカリキュラムに対する信頼も高めることができるかもしれません。
また、MedED-COTSは、小テスト問題の作成や個々の学生の成績のモニタリングにかける労力を軽減することで、教員の時間を節約できるツールでもある。最近のMedED-COTSの多くは、成績表を出力する機能を備えており、教員が学生の不足や誤認識を把握するのに役立ちます。これらの評価に基づいた早期介入プログラムにより、学生の学習習慣や、今後のセッションに十分な準備ができない恐れのある学生に対応することができる。これにより、教員は個々の学生に焦点を当てるための時間を割り当てるとともに、ギャップを埋め、応用や総合といったより高いレベルの学習に対応するための活動を作り出すための努力を向けることができる。
研究のギャップと今後の研究ニーズ
フォーカスレビューの結果、MedED-COTSの使用と統合に関する研究の今後の必要性を示唆するいくつかの研究上のギャップが明らかになった。最も明らかなギャップは、一次および二次研究の質問に答えるために利用できる実証研究の数が限られていることであった。特に、統合研究の数が限られていることと、研究課題の性質や方法に関する方法論的な問題が相まって、MedED-COTSと標準化テストやコースの成果との間の特定の効果や関連を分離することが不可能であった。しかし、学生のQbanks利用が一貫して正の相関を示し、広く利用されていることと、報告された知見に対する強力な理論的説明が、MedED-COTSを医学部カリキュラムに統合することを支持し、関連研究の必要性を強調している。
結論
MedED-COTSはアクセスしやすく、広く普及している。当初は学生主導と見られていたが、現在では特定のプラットフォームを利用可能にしたり、学生に推奨したりすることで、これらのプラットフォームへのサポートを明確に示している学校もある。学生ユーザーの立場からは、標準化された国家試験の構造を模倣した、多くの形式の問題にアクセスできることが重要な推進力となっているようです。学生は、問題によって、処理中のコンテンツに構造を持たせ、正式なカリキュラムのギャップを埋め、自己評価を可能にし、重要な学習ポイントや高得点を特定するのに役立つと報告しています。
学習者がMedED-COTSを使用することは、国家試験の成績に影響を与えるようです。NBME USMLE Step 1の成績を考慮すると、レビューされた研究は、これらのプラットフォームの使用、質問項目またはテストの数、および前記相互作用のタイミングがプラスの影響を与えることをサポートしています。同様のパターンは、COMLEX-USA Level 1試験を対象とした準備教材にも見られ、完了した問題数、練習のタイミング、形式が成績に関与しています。MedED-COTSの中には、概して良い結果につながったものもあった。UWorld、Pathoma、USMLE-Rx、NBME Comprehensive Basic Science Exam、Kaplanなどです。MedED-COTSとの交流のタイミングは結果に影響を与える可能性があり、国家試験の直前だけでなく、早期の関与によってもプラスの影響があることが指摘されています。MedED-COTS を使用するタイミングに関するデータはほとんどありませんが、タイミングの重要性をより明確にするために、検索練習に関する研究を調べることができます。
進化する機能と学生に広く普及していることを考えると、MedED-COTSが医学教育を発展させる可能性は大きいと思われる。しかし、医学部の正式なカリキュラム外での使用とカリキュラム内での統合の両方に関する実証的な研究はまだ限られています。このレビューでは、COVID-19の大流行以前とUSMLE STEP 1試験の採点変更以前のMedED-COTS研究を要約し、今後の研究と実践の指針となるような段階を設けようとするものである。(1) 学生のMedED-COTSの使用と学部の免許試験での成績との関係を調べること、(2) 医学部のカリキュラムの外での学生主導の使用とMedED-COTSの正式な統合に影響を与えると思われる重要な変数を調べることです。
