eOSCE stations live versus remote evaluation and scores variability
Donia Bouzid, Jimmy Mullaert, Aiham Ghazali, Valentine Marie Ferré, France Mentré, Cédric Lemogne, Philippe Ruszniewski, Albert Faye, Alexy Tran Dinh & Tristan Mirault on behalf of Université Paris Cité Osce study group
BMC Medical Education volume 22, Article number: 861 (2022)
背景
客観的構造化臨床試験（OSCE）は、公正な評価方法として知られている。近年では、オンラインOSCE（eOSCE）の利用が広がっている。本研究では、遠隔評価とライブ評価を比較し、eOSCEにおける得点変動に関連する因子を評価することを目的とした。
研究方法
2021年6月にパリシティー大学医学部で大規模なeOSCEを実施した。
eOSCEステーションの説明
学生に対して、3つのeOSCEステーションからなる周回路を提案した。パリシティー大学OSCEグループの専門教師がこれらのステーションの準備を入念に行った。各ステーションは、他の2人の教師によって評価され、事前にボランティアの研修医でテストされ、割り当てられた時間内に実行可能であることが評価された。ステーション#1は婦人科に関するもので、病歴聴取のスキルに重点を置いています。ステーション#2は中毒学で、コミュニケーションと病歴聴取のスキルを評価しました。Station#3は小児科で、水疱瘡の病変の写真を提供し、治療管理戦略のスキルを検討した。これらのステーションでは、デジタル環境に対応し、よりわかりやすい遠隔評価を可能にするため、技術的な手順や臨床検査のスキルは一切扱わなかった。
学生のパフォーマンスをすべて記録し、2回目の評価を可能にした。複数の評価者と学生という我々の状況における一致度を評価するために，学生と評価者をランダム効果，スコアを被説明変数とする線形混合モデルを当てはめた。
結果
第1ステーションでは、170個の観察が品質管理後に分析された。他の2つのステーションについては、192件と110件の観察結果を統計解析に残した。スコアの中央値と四分位範囲は、100点中60点（IQR 50-70）、100点中60点（IQR 54-70）、100点中53点（IQR 45-62）であった。評価者によって説明される得点分散の割合（ICC評価者）は，それぞれ23.0，16.8，32.8％であった．31名の評価者のうち、18名（58％）が男性であった。評価者の性別による得点の有意差は認められなかった（それぞれp=0.96, 0.10, 0.26）。また、2つの評価では、得点に系統的な差は認められなかった（それぞれ、p = 0.92、0.053、0.38）。
結論
本研究は、eOSCEs の遠隔評価はライブ評価と同等の信頼性があることを示唆するものである。また、評価者によって説明される得点分散の割合は eOSCEs でも有意であり、項目間で高い変動性が存在することが明らかになった。これらのデータは、OSCEステーションの作成プロセスの改善を継続するよう促しています。オンラインOSCEとオンサイトOSCEの得点のばらつきを比較するために、さらなる研究が必要である。
