医学教育つれづれ

医学教育に関する論文のPOINTを書き出した備忘録的なブログです。

研修医応募者のパフォーマンスを予測する能力を向上させる。状況判断テストの妥当性の証明

Improving Our Ability to Predict Resident Applicant Performance: Validity Evidence for a Situational Judgment Test
Michael J. CullenORCID Icon, Charlene ZhangORCID Icon, Brittany Marcus-Blank, Jonathan P. BramanORCID Icon, Ezgi Tiryaki, Mojca Konia,  show all
Pages 508-521 | Published online: 19 May 2020
Download citation  https://doi.org/10.1080/10401334.2020.1760104   

 

 

https://www.tandfonline.com/doi/full/10.1080/10401334.2020.1760104?scroll=top&needAccess=true

 

 

医師のプロフェッショナリズムを測定するために開発された状況判断テスト(SJT)が、研修医の(a) Accreditation Council for Graduate Medical Education(ACGME)コンピテンシー、(b) multisource professionalism assessment(MPA)の成績を予測するかどうかを検討した。

背景

医学生、研修医、現役医師のプロフェッショナリズムや対人関係・コミュニケーション能力を評価することの重要性については、コンセンサスが得られています。それにもかかわらず、これらの非認知的能力は、医学教育の選考過程において十分に測定されていません。これらの非認知的能力を測定する方法として、SJTが期待されています。典型的なSJTでは、回答者に文章や映像によるシナリオが提示され、選択肢の中から行動を選択することが求められます。対人関係を重視したSJTは、イギリスやベルギーでは医学部の入学選考に、ベルギー、シンガポール、カナダ、オーストラリアでは卒後の研修生の入職選考に用いられています。しかし、国際的には、SJTは研修中の成績、研修終了後の成績、指導者による成績評価、OSCEの臨床技能を予測するのに有用であることが示唆されているにもかかわらず、米国のレジデンシー環境における対人指向SJTの使用については、あまり調査されていない。

本研究の目的は、プロフェッショナリズムに関連するコンピテンシー(良心性、誠実性、説明責任、卓越性の追求、チームワーク、ストレス耐性、患者中心のケア)を測定するためにデザインされたSJTでの研修生のパフォーマンスが、重要ではあるが概念的に異なる2つの基準のACGMEのコンピテンシーMPAにおける研修生としての現在および将来のパフォーマンスを予測するかどうかを調査することである。

アプローチ

プロフェッショナリズムの7つの側面を測定するSJTを開発した。文献の内容分析、7つの行動の次元(誠実さ、卓越性の追求、誠実さ、説明責任、チームワーク、患者中心のケア、ストレス耐性。)への分類とその検証、次元を反映したクリティカルインシデントの開発とコンセンサスによる最適な選択、クリティカルインシデントを特定の基準に基づいて精緻化したシナリオの開発、など。シナリオへの回答とその「ベンチマーク」は、PD、アテンディング、レジデント、専門家とのコンセンサスによって作成されました。採点は、ベンチマークからの距離に基づいて行われました。最終的に38本のシナリオを試験的に作成し、15本のベストシナリオを選択しました。

2017年に、2機関の21のレジデントプログラムがSJTを実施した。2017年6月と3か月後の2017年9月にACGMEコアコンピテンシー領域とMPA、1年後の2018年6月にACGME領域のマイルストーン成績を予測する上で、SJTとUSMLEのスコアの妥当性を判断する分析を行った。

結果

いずれの期間においても、SJTスコアはACGMEマイルストーン全体のパフォーマンス(およびMPAのパフォーマンスを予測した。さらに、SJTは、1年後のACGMEの患者ケア、システムベースの実践、実践に基づく学習と改善、対人関係とコミュニケーションスキル、プロフェッショナリズムのコンピテンシーを予測した。SJTスコアは、1年後のACGMEマイルストーン全体の成績および3ヵ月後のMPAの成績を予測する上で、USMLEスコアを上回る妥当性を示した。

USMLE Step1、Step2CK、Step3のスコアは、ACGMEコンピテンシー領域のパフォーマンスを予測するのに有用ではありませんでした。

個々のコンピテンシー領域(PC、MK、SBP、PBLI、PROF、ICSなど)の多くは、互いに高い相関を示しており、ハロー効果が認められた。

結論

SJTはレジデントプログラム志願者の非認知的属性を評価する方法として有望である。本研究におけるSJTのUSMLEシリーズに対する有効性の増加は、これらの標準化されたテストを超えて、認知的および非認知的な測定を含む、より全体的な受験者の審査の重要性を強調するものである。