On the validity of summative entrustment decisions
Claire TouchieORCID Icon, Benjamin KinnearORCID Icon, Daniel SchumacherORCID Icon, Holly Caretta-WeyerORCID Icon, Stanley J. HamstraORCID Icon, Danielle HartORCID Icon, show all
Published online: 21 May 2021
Download citation https://doi.org/10.1080/0142159X.2021.1925642
https://www.tandfonline.com/doi/full/10.1080/0142159X.2021.1925642?af=R
概要
医療は信頼に基づいて成り立っています。患者は、自分をケアしてくれる人を信頼する以外に選択肢がない立場にあることが多い。そのため、教育プログラムは、安全で効果的なケアを提供するために信頼できる医師を育成する責任があり、最終的には研修生を指導なしで卒業させるための最終的な判断を下すことになる。このような委託決定は、その妥当性が吟味されてしかるべきである。この研修終了時の委託決定は、間違いなく最も重要なものですが、それ以前の、より小さな単位の専門的実践のための委託決定についても、その妥当性を精査する必要があります。委託決定の妥当性とは、その決定を支える構成要素を分析できる、防御可能な論拠を意味する。
Kane氏によると、妥当性の議論を構築することは、スコアリングの推論、観察を超えた一般化、新しい事例への外挿、決定の意味合いを支持するように設計されたプロセスである。妥当性の欠如は、Messickによれば、内容、反応プロセス、内部構造（一貫性）、他の変数との関係などの点で証拠が不十分な場合と、結果を誤って解釈した場合に生じます。教育テストや心理テストにおけるこの2つの代表的なフレームワーク（KaneとMessick）は、総括的な委縮の意思決定にも十分応用できる。
著者らは、高品質で安全な患者ケアの基礎となるパフォーマンスに関する総括的な決定に到達するために、擁護可能で十分に論証された質問のタイプを詳しく説明する。
すべての委託決定は、観察を定量的および／または定性的な記録に変換することから始まる。評価プログラムでは、これらの観察は、筆記試験、シミュレーション・パフォーマンスの観察、または職場での観察など、複数の方法で行われます。採点推論では、評価項目の作成、評価の実施、シミュレーションの実施、グループプロセス、評価者のトレーニングなど、これらの観察結果がどのように評価に変換されるかを裏付ける証拠を収集することになります。総括的な委託決定の場合、「観察」の瞬間は、意思決定者（委託決定委員会のメンバーなど）が委託評価を決定するために、第一線の評価者による研修生の実際の観察結果を含む多くのプログラム評価データを検討・処理するときに発生する。この文脈での採点推論を裏付ける証拠は、複数の形で存在しうる。
一般化推論とは、与えられたスコアが観察のすべての可能なバージョンをどの程度表しているか、そしておそらく総括的な委託の決定にとって最も重要なことは、観察された状況の全体的において期待されるパフォーマンスをどの程度表しているかということである。一般化を裏付ける証拠として、サンプリング戦略、サンプルサイズ、識別力、信頼性に関するデータがある。総括的な委託決定の場合、以下の質問に答えるための証拠を求めるべきである。
・観察されたサンプルは、委託の決定に十分か？
・学習者は EPA にとって重要な様々な状況下で観察されたか。
・その証拠は、より高いレベルの委託に値する者とそうでない者とを区別するものであるか。
・同じ情報に基づいて、異なる委託決定委員会が同様の決定を下すだろうか。
外挿推論とは、試験環境における評価の成績が、現実の環境における成績の重要な側面を反映しているという仮定である。EPAにとっては、総括的な委託決定と、CBMEの望ましい成果である患者ケアの質（忠実性）の表現との関係を意味している。外挿のために行われる推論は、「与えられたEPAを実行するための漸進的な委託は、本当に質の高い患者ケアを反映しているのか」という疑問を投げかけるものであり、Kaneのフレームワークにおける総括的な委託決定のための最も重要なリンクであると主張することができる。
総括的な委託の決定は、現在の性能を考慮するだけでなく、あらゆる可能な条件の下での EPA の事例へと外挿するべきである。それは、将来のパフォーマンスに対する信頼を意味する。研修医が監督なしでEPAを任された場合、この任は決定の瞬間だけでなく、卒業して実践に移るまでの間にも及んでいる。外挿推論を裏付ける証拠は、医学教育研究の優先事項とすべきである。
推論
Kaneの最後の推論であるImplicationsは、与えられたスコアを、あらかじめ指定されていたはずの解釈/使用論と統合することである。解釈に情報を与える理論やフレームワーク、解釈の基準がどのように決定されたか、そしておそらく最も重要なことは、結果として生じる使用や決定の結果を支持する証拠を提供することができる。
また、学習者、プログラム、患者に対する意図的なものとそうでないものの両方の結果を示す証拠を求めるべきである。このような証拠には、総括的な委託決定が学習、専門家のアイデンティティ形成、および幸福にどのように影響するか、そして何よりも委託決定の結果として提供されるケアの質と安全にどのように影響するかが含まれるかもしれない。この場合、結果の妥当性を示す証拠（Messick）が、含意の推論（Kane）に影響を与える。
プログラムと学習者への影響に関する証拠も重要である。学習者間のばらつきがある場合、プログラムはどのようにして個別のトレーニング経路を開発し、トレーニング期間にばらつきを持たせるのか。それはどの程度実現可能なのか？時間的に変動するシステムを運用するために、堅牢で防御可能な評価プログラムを開発するには、検討し、さらに研究する必要がある課題がある
ポイント
妥当性の証拠を集めることは、妥当性のある総括的な委託決定を確実にするための継続的なプロセスであるべきです。
Messick氏とKane氏は、妥当性の証拠を収集するための組織的なフレームワークを提供しています。
総括的な委託決定を行うための証拠は、防衛力を確保するために意思決定者によって定期的に見直されるべきである。
また、コンピテンシーベースの医学教育プログラムの実施を優先するあまり、妥当性のエビデンスを忘れてはならない。
外挿および含意推論のためのエビデンスを収集することは困難であるが、総括的委託の決定が実際の臨床ケアをサポートしているという強力な議論を構築するためには必要である。
