Can routine EPA-based assessments predict OSCE performances of undergraduate medical students?
Yi-Hsuan Lin,Ying-Ying Yang,Chen-Huan Chen,Chia-Chang Huang,Chung-Pin Li,Hsiao-Chin Shen, show all
Received 06 Mar 2024, Accepted 02 Oct 2024, Published online: 14 Oct 2024
Cite this article https://doi.org/10.1080/0142159X.2024.2413024
https://www.tandfonline.com/doi/full/10.1080/0142159X.2024.2413024?af=R#abstract
背景
客観的構造化臨床試験（OSCE）は世界中で用いられている。 本研究の目的は、OSCEに代わる可能性のある評価方法として、職場における委託可能な専門的活動（EPA）に基づく評価を検討することである。
方法
本研究では、2021年から2023年までの6年間の医学部学生265名を対象とした。 ローテート期間中、学生は13のEPAを用いて評価を受け、適用しやすいように採点方法を変更した。 卒業前には、2回の模擬OSCEと全国OSCEに参加した。 一般化推定方程式を用いてEPA評価とOSCE得点の関連を分析し、年齢と性別を調整して予測モデルを作成した。 EPA8とEPA9は、回帰モデルで有意でなかった高度な能力を表すため、予測モデルから除外した。
結果:
- EPA評価とOSCE成績の相関:
- 13項目のEPAのうち、ほとんどがOSCE成績と正の相関を示しました。
- 2021年卒業生では、EPAスコアの1ポイント上昇が97.93から161.17ポイントのOSCE得点上昇と関連していました。
- 2022年卒業生では、87.95から144.65ポイントの上昇が見られました。
- EPA8とEPA9の特殊性:
- EPA8(患者の引き継ぎ)とEPA9(多職種連携)は、2023年卒業生のコホートでOSCE成績との有意な相関が見られませんでした。
- 予測モデルの性能:
- EPAに基づく予測モデルは、OSCEの合格予測において妥当な予測能力を示しました。
- ROC曲線下面積(AUC)は、2021年卒業生で0.82、2022年卒業生で0.66、2023年卒業生で0.71でした。
- 専門分野別の相関:
- 内科、外科、産婦人科のOSCE成績とEPAは強い相関を示しました。
- 小児科では、EPA2、EPA11、EPA13のみが有意な相関を示しました。
- 救急医療/基礎的生命維持と処置スキルについては、コホート間で結果が一貫していませんでした。
考察:
- EPAの有用性:
- プログラム的評価としてのEPA:
- EPAは継続的な評価を可能にし、学生に適時のフィードバックを提供できます。
- これにより、高負荷の一回限りの評価（OSCE）に関連するストレスを軽減できる可能性があります。
- EPA8とEPA9の特殊性:
- これらのEPAがOSCE成績と相関しなかった理由として、より高度な臨床能力を評価していることが考えられます。
- OSCEが主に情意、認知、精神運動スキルを評価するのに対し、EPA8とEPA9はチームワークやコミュニケーション能力を評価しているためです。
- コホート間の違い:
- 2022年卒業生の予測モデルの性能が低かった理由として、このコホートで国家OSCEの不合格者がいなかったことが挙げられます。
- COVID-19パンデミックの影響により、特定の年度で実践的なスキルの習得機会が制限されたことが、結果の違いに反映されている可能性があります。
- 限界と今後の課題:
- 将来の展望:
- この研究は、医学教育における評価方法の新しいアプローチを提案しています。
- 特に、高負荷のOSCEを補完または代替する方法として、日常的な職場ベースの評価(EPA)の可能性を示しています。
結論
職場ベースの評価（EPA）は、模擬環境での能力ベースの評価（OSCE）と高い相関を示した。 EPAは、医学生にとって、正式なOSCEの代替ツールとして役立つ可能性がある。
ポイント
