The Debriefing Assessment in Real Time (DART) tool for simulation-based medical education
Kaushik Baliga, Louis P. Halamek, Sandra Warburton, Divya Mathias, Nicole K. Yamada, Janene H. Fuerch & Andrew Coggins
Advances in Simulation volume 8, Article number: 9 (2023)
advancesinsimulation.biomedcentral.com
背景
医療シミュレーション後の学習効果を高めるためには、ディブリーフィングが重要である。様々な検証されたツールは、デブリーフィングの評価において文脈上の価値を持つことが示されている。Debriefing Assessment in Real Time（DART）ツールは、デブリーフィング中の会話におけるダイナミクスを代替または追加評価することができるかもしれない。
DARTは、非医療業界における効果的なデブリーフィング・アプローチの観察から生まれたもので、デブリーフィング担当者と学習者の会話のやりとりを、個別の貢献の累積スコアリングで測定します。主に研究用に開発された他の定量的手法とは異なり、DARTはファカルティ・ディベロップメントのためのリアルタイムの評価を目的としています。
本研究の主な目的は、Kaneのフレームワークを用いて、DARTツールの信頼性と外部妥当性を評価することである。その有効性を評価することで、研究者は、DARTが様々な教育現場において、デブリーフィングの質の向上やファカルティ・ディベロップメントに役立つリソースとなり得るかどうかを判断したいと考えています。
方法
本調査は、信頼性と妥当性を調査する多方式国際研究である。登録された評価者（n = 12）は、現役のシミュレーション教育者である。ツールトレーニングの後、評価者は混合サンプルのデブリーフィングを採点するよう求められた。記述統計が記録され、信頼性の推定には変動係数（CV％）とクロンバッハのαが用いられた。評価者は、その貢献の後、詳細な振り返り調査を返送した。Kaneのフレームワークは、妥当性の議論を構築するために使用された。
結果
8回のデブリーフィング（μ＝15.4分（SD 2.7））には、様々なレベルの学際的学習者45名が参加した。主要な構成要素の信頼性（平均CV％）は、講師の質問μ＝14.7％、講師の発言μ＝34.1％、研修生の回答μ＝29.0％である。
DARTツールは、イベント間（すなわち、デブリーフィング間）および評価者間の信頼性を示すことがわかった。DARTの構成要素のCronbach's α分析は、0.852から0.978の範囲であり、SBME評価者の大規模なプールにおける許容レベルのばらつきを示唆した。しかし、講師の記述の採点では、望ましいよりも高いばらつきが観察された。
妥当性について議論する際、研究者はKaneのフレームワークを使用し、既存のツールと比較してDARTによる評価にいくつかの矛盾があることを発見した。DARTとDASHの相関がない（r < 0.3）ことは、DARTスコアが信頼できるグローバル評価を提供しないことを示唆しているのかもしれない。
DARTツールは、その限界にもかかわらず、調査項目全体の平均スコアが5.5（0.45SD）と、ユーザーからポジティブなフィードバックを得ており、おそらく、ユーザーがこのツールを自分のFDアプローチに適応させることに興味を示していることを示しています。
本研究の限界としては、観察データがバイアスや交絡因子の影響を受けやすいこと、ホーソン効果が参加者の行動に影響を与える可能性があること、米国とオーストラリアにおけるデブリーフィング技術の文化的差異があることなどがあげられる。研究者は、特に経験の浅いシミュレーション教員は、DARTを単独の評価として使用することに注意を促している。
全体として、DARTツールは、ディブリーフィングの質を測定するための評価尺度として有望であるが、さらなる改良と検証が必要である。研究者らは、DARTをビデオ再生や関係図などの他のツールや手法と併用することで、その限界に対処し、ディブリーフィングの質の評価における全体的な有効性を向上させることができることを示唆している。
