Capturing outcomes of competency-based medical education: The call and the challenge
Elaine Van MelleORCID Icon, Andrew K. HallORCID Icon, Daniel J. SchumacherORCID Icon, Benjamin KinnearORCID Icon, Larry GruppenORCID Icon, Brent ThomaORCID Icon, show all
Published online: 12 Jun 2021
Download citation https://doi.org/10.1080/0142159X.2021.1925640
https://www.tandfonline.com/doi/full/10.1080/0142159X.2021.1925640?af=R
概要
CBMEは、成果コンピテンシー、段階的な順序付け、テーラーメイドの学習体験、コンピテンシーに焦点を当てた指導、プログラム評価という5つの中核的要素を持つとされている
コンピテンシーベースの医学教育（CBME）が世界的に導入されつつあり，その成果を把握することが急務となっている．しかし，CBMEのような革新的な教育を受けた後の成果の測定には，医療トレーニングの複雑さ，インプットの幅広さと多様性，アウトカムを特定の教育要素に帰属させることの難しさなどの問題がある。本稿では、CBMEに関連するものを概念化し、成果の評価を容易にするために、CBMEのロジックモデルを提示する。さらに、成果測定の課題を軽減するための6つの戦略を明らかにする。
対象となるアウトカムを明確にする
CBMEに関連するアウトカムは他にもたくさんあります。そのため、アウトカムを検討する際には、CBMEのどの側面を調査しているのかを注意深く明確にすることが重要です。例えば、CBMEの成果は、プログラムに関連した変化が最初に現れるような、時間に敏感なものになる傾向があります。論理モデルでは「近位」とされているこれらの成果は、プログラムの活動に直接関連する傾向があり、成果を検討する際の妥当な出発点となります。時間の経過とともに、プログラムの変化が蓄積されると、システム全体の変化が現れてきます。この勢いは、より広範な、あるいはより「遠距離的な」成果を検討するための道を開き、最終的にCBMEを患者ケアの成果向上や集団の健康ニーズの充足に結びつける能力をもたらします。同じ号のMedical Teacher誌で、Hallら（2021）は、評価作業で対象とするアウトカムを明確に特定し、定義しようとする人々の助けとなるような整理された分類法を明示しています。
アウトプットとアウトカムを区別する
CBMEのインパクトを評価する際には、アウトプットとアウトカムを区別することが重要です。アウトカムとは、CBMEの結果としてもたらされた主要なステークホルダーの行動、関係、および/または行動の変化を示すものである。一方、アウトプットとは、CBMEの構成要素が進行中であることや実施されたことを示す指標である。アウトプット指標は、プログラムの実施状況を説明する上で重要ではあるが、CBMEの影響について結論を出すことはできない。CBMEを説明するにはアウトプットデータが必要ですが、CBMEの導入が成功したかどうかを判断するには、アウトプットに加えてアウトカムが必要です。このことを念頭に置き、CBMEの成果を測定する際には、特定のアウトプットの正確な性質と、より大きな成果の連鎖の中でのその関係を考慮する必要があります。
帰属と貢献を慎重に検討する
CSIの成果を測定する際には、帰属と貢献を区別することが大きな課題となります。帰属は、行動と結果の間に直接的な因果関係があることを前提とし、個人がその結果に対してどの程度の責任を負っているかを判断するものである。 これに対し、貢献は、他のいくつかの変数もその結果に関係することができる場合に、特定の行動が特定の結果に影響を与える度合いを検討します。したがって、帰属の分析は、個人のパフォーマンスや成果を判断するための豊富な情報を提供するのに対し、貢献の分析では、検討対象の成果に影響を与える無数の要因を注意深く区別し、予測することができます。
帰属の視点と貢献の視点のどちらを選択するかの判断は、単純明快なものではありません。臨床ケアは、患者、個々の提供者、チーム、組織、医療システムの各レベルで作用する複雑さに満ちている。このような影響の階層の中でも、ある状況では意味のある個人の帰属が、別の状況ではプログラムの貢献として考えた方がよい場合もあるでしょう。したがって、帰属と貢献は補完的な概念として捉えるべきである。
アウトカムを実施の忠実性と完全性に結びつける
アウトカム評価は、実施の忠実性の測定なしには完全ではない。患者の特徴や（計画されたプロトコルにもかかわらず）実際にどのような薬剤が投与されたかを記録することが必須である臨床試験と同様に、測定が行われたり、アウトカムに関する結論が導き出されたりする前に、CBMEの実施について明確かつ明示的な記述が必要である。
また、CBMEに必要な要素をすべて実施していても（例：フィデリティの達成）、CBMEの真の意図（例：インテグリティの達成）を実現できていない可能性があることにも注意しなければなりません。フィデリティはすべてのプログラムで示されていたが、実施の完全性は大きく変動していたのである。理想的には、CBMEを提案された成果に正確に結びつけるために、実施の忠実性と完全性の両方を評価する必要があります。
したがって、アウトカム評価に取り組む著者には、カリキュラム、評価、プログラムの構造とプロセスの詳細な説明を含めることをお勧めします。実施の背景や実施自体の詳細を明確に記述した評価戦略は、よりインパクトがあり、一般化可能であり、有意義な適応につながる可能性が高くなる
予期せぬ結果に注意を払う
多岐にわたる活動とそれらの潜在的な相互作用を考えると、創発的で予期しない結果はCSIの特徴です。そのため、予想外の結果に注意を払うことは、CBMEの影響を検討する際に特に重要となります。予期せぬ成果は、本質的にはポジティブなものでもあることに留意すべきである。CBMEに関連する成果が徹底的に検討されたと主張するのであれば、予期せぬ成果を特定の、適切な資源を投入した研究分野にすることが不可欠である。
方法論の多様性を受け入れる
CSIの場合、エスノグラフィ、ケーススタディ、調査研究、時系列、デザイン研究など、様々な手法を取り入れるべきなのです。この研究では、単一の方法を推進するのではなく、特定のコンテクストの中で、どのようなメカニズムが結果につながるのかを検証し、豊かな理解を生み出すことに焦点を当てるべきです。単一の方法から明確で包括的な説明を作成することに重点を置くことで、革新的な統合研究を受け入れることができるようになります。
ポイント
私たちには、コンピテンシーベースの医学教育（CBME）を世界規模で実施した結果を測定する責任があります。
CBMEは複雑なサービス介入（CSI）であり、その成果を測定することは困難です。
インプット、CBMEのプログラム要素、アウトプット、そしてCBMEに関連するアウトカムの論理的な関係を示すために、論理モデルを採用することができる。
成果評価を成功させるためには、ターゲットとなる成果を明確にすること、アウトプットとアウトカムを区別すること、帰属と貢献を考慮すること、成果を実施の忠実性と整合性に結びつけること、予期せぬ成果に注意を払うこと、そして方法論の多元性を受け入れることが必要である。
