The utility of mini-Clinical Evaluation Exercise in undergraduate and postgraduate medical education: A BEME review: BEME Guide No. 59
Sara Mortaz HejriORCID Icon, Mohammad JaliliORCID Icon, Rasoul MasoomiORCID Icon, Mandana Shirazi, Saharnaz Nedjat & John NorciniORCID Icon
Pages 125-142 | Published online: 15 Sep 2019
Download citation https://doi.org/10.1080/0142159X.2019.1652732
https://www.tandfonline.com/doi/full/10.1080/0142159X.2019.1652732?af=R
背景
このBEMEレビューは、学部および大学院の医学研修生を評価するためのmini-CEXの有用性について、特に信頼性、妥当性、教育的影響、受容性、およびコストに関連するエビデンスを調査、分析、および統合することを目的としている。
方法
レビューでは，7つのデータベースに系統的な検索戦略を適用し，mini-CEXの妥当性，信頼性，教育的影響，受容性，またはコストに関する研究を特定した。データ抽出と品質評価は2名の著者が行った。不一致は3人目の査読者が解決した。レビューの疑問点を解決するために，主に記述的統合を行った。Cronbach's alphaについてはメタ分析を行った。
結果
58件の論文が含まれた。5つの実用基準すべてを評価した研究は2件のみであった。収録された研究のうち47件（81％）は、7つ以上の品質基準を満たしていた。Cronbachのαは0.58から0.97の範囲であった（加重平均＝0.90）。報告されたG係数、測定の標準誤差、および信頼区間は多様で、診察の数や研究の入れ子型または交差型デザインに基づいて変化した。また、望ましいG係数を得るために必要な遭遇回数の計算値も大きく異なっていた。いくつかの研究では，内容の網羅性は十分であると報告された。Mini-CEXは，様々な能力レベルを識別することができた．因子分析の結果、1つの次元が明らかになった。6つのコンピテンシーは、全体のコンピテンシーと統計的に有意な高レベルの相関を示した。mini-CEXのスコアと他の臨床試験との間には、中程度から高い相関関係があることが報告された。mini-CEXは、他の試験における学生のパフォーマンスを向上させた。構造化された観察とフィードバックのためのフレームワークを提供することで、mini-CEXは教育的に良い影響を与えている。研究では、ほとんどの症例でフィードバックが行われたが、その質は疑問視された。終了率はおおむね50％以上であった。実現可能性と高い満足度が報告された。
結論
mini-CEXは，妥当性，信頼性，および教育的影響を有する。受け入れ可能性と実現可能性は、必要とされる診察の数を考慮して解釈すべきである。
ポイント
mini-CEXは、合理的な妥当性と信頼性をもって、卒前後の両方の研修プログラムで使用することができます。
総括的な目的で使用することもできますが、意味のあるフィードバックとそれに付随する教育的な好影響を容易にすることで、mini-CEXは特に形成的評価に適しています。
受け入れ可能性と実現可能性を維持しつつ、心理学的特性と教育的特性を確保するための適切な実施プロセスを採用すべきである。
教育者・研究者への示唆
実践的な観点から、職場で医療研修生を観察し、意味のある信頼できる方法で評価したいと考えている管理者や教員は、教育的に良い結果をもたらす評価ツールとしてmini-CEXを選択することができる。しかし、他の評価ツールと同様に、mini-CEXは能力を測る単一の尺度としてはいくつかの限界があり、他の尺度と組み合わせて使用する必要があります。また、様々な研究で報告されている実用性の特性は、いずれもこの評価ツール固有の特性ではないことにも留意する必要があります。このツールの適切な実施と品質保証システムの確立には、特に注意を払う必要がある。
mini-CEXの心理測定特性を徹底的に分析した結果，この分野におけるいくつかの知識のギャップが明らかになり，今後の研究課題が示唆されました。いくつかの研究では，学生のスコアに対する潜在的なモデレーターの影響について検討されていますが，今後の調査では，これらのモデレーターが実用性の特性に及ぼす影響に焦点を当てるべきです。これには、評価者（例：経験や経歴）、mini-CEXのフォーム（例：コンピテンシーの領域や尺度の長さ）、実施プロセス（例：デジタルツールの使用）に関連する変数が含まれます。また、一般的に報告されているスコアインフレーションやグレード制限の問題点や、これらの問題を克服するための方策についても検討する価値がある。mini-CEXをより広く評価プログラムに取り入れるためには、その直接・間接的なコストをさらに精査する必要があります。将来的には、mini-CEXによる行動の変化、診療体制、患者へのメリットなどを調査する研究も考えられます。
一次研究の結果に対する理解を深め、今後のレビューを容易にするためには、厳密な報告が不可欠である。我々は、通常の報告基準を上回るフレームワークの開発を推奨する。
