Measuring the Effect of Examiner Variability in a Multiple-Circuit Objective Structured Clinical Examination (OSCE)
Yeates, Peter MRCP, PhD1; Moult, Alice MSc, PhD2; Cope, Natalie PhD3; McCray, Gareth MA, MRes, PhD4; Xilas, Eleftheria MBChB5; Lovelock, Tom6; Vaughan, Nicholas7; Daw, Dan8; Fuller, Richard MA, FRCP9; McKinley, Robert K. (Bob) MD, FRCGP, FRCP10
Author Information
Academic Medicine: August 2021 - Volume 96 - Issue 8 - p 1189-1196
doi: 10.1097/ACM.0000000000004028
概要
目的
並行して行われる客観的構造化臨床試験（OSCE:objective structured clinical examinations ）の試験官が同じ基準で判定することは、妥当性の連鎖に不可欠である。最近の研究では、試験官-コホート（すなわち、特定の試験官グループ）が一部の受験者の結果を大きく変える可能性が示唆されている。にもかかわらず、試験官-コホート効果は、完全にネスト化されたデータ（すなわち、異なる試験官グループによって判定された受験生間のクロスオーバーがない）では、比較が制限されるため、ほとんど検討されていない。本研究では、「Video-based Examiner Score Comparison and Adjustment (VESCA)」と呼ばれる新しい手法を再現し、さらに発展させることで、分散型あるいは全国規模のOSCEの品質保証を強化することを目的としている。
方法について
2019年、6人のボランティアの学生が、総括的なOSCEの12のステーションで撮影されました。学生のライブパフォーマンスの審査に加えて、8つの別々の試験官コホートの試験官がビデオパフォーマンスのプールを採点しました。試験官は、自分のステーションで撮影されたビデオを採点しました。ビデオスコアは、完全にネスト化されたデータにリンクしており、Many Facet Rasch Modelingによる比較が可能であった。著者らは、試験官-コホート効果を比較し、調整した。また、ビデオが埋め込まれている場合（OSCE中の生身の学生の間に挟まれている場合）と、インターネットで後から判定された場合の試験官のスコアを比較した。
結果
受験者の能力の違いを考慮した結果、同じ能力の受験者に対する試験官-コホート間のスコアの差は、27人中18.57人（68.8％）から20.49人（75.9％）で、Cohen's d = 1.3であった。スコア調整により、モデル化されたカットスコアに応じて、最大16％の学生の合否判定が変わりました。インターネットと埋め込みビデオによる採点では、平均点や変動幅に違いは見られなかった。3週間のインターネット採点期間中、受験者の精度は低下しなかった。
結論
試験官のコホートは、OSCEのスコアに再現性のある有意な影響を与えたが、これは一般的なアセスメントのサイコメトリクスでは説明できないものであった。VESCAは、分散型OSCEや国家試験の妥当性と公平性を高めるための有望な手段である。インターネットを利用した採点はVESCAの実現性を高める可能性がある。
