Program Evaluation’s “Next of Kin”
Balmer, Dorene F. PhD1; Klein, Melissa D. MD, MEd2; Li, Su-Ting T. MD, MPH3; Gusic, Maryellen E. MD4
Author Information
Academic Medicine: October 2022 - Volume 97 - Issue 10 - p 1573-1574
doi: 10.1097/ACM.0000000000004690
教育プログラムや介入の有効性を学術的に評価するには、体系的なアプローチによって導かれる必要がある。他分野で一般的な体系的アプローチは、保健医療専門職教育に効果的に適用でき、従来のプロ グラム評価モデルを発展させることができる1 。これらの体系的アプローチ（例えば、質の向上、実施 科学、教育デザイン研究）は、プログラム評価と主要な特徴を共有しているが、焦点は異なっている。我々は、プログラム評価の「親戚」と呼ぶべき異なる体系的アプローチが、プログラムの有効性に 関する判断をどのように導くかを、説明する。
共有された特徴
参加：利害関係者を巻き込む。
実用的：重要なものを測定する。
多元的：データを収集するために複数の方法を使用する
公表：調査結果を報告し 成果を普及させる。
・プログラム評価
プログラムまたは介入の利点と価値について判断する。
焦点：利害関係者にとっての価値
・質の向上
迅速なサイクルで介入し、その結果を継続的な改善に役立てるための機会を創出する。
焦点： プロセス改善
・実施科学
エビデンスに基づく介入策の取り込みを促進するために設計されたプロセスを研究する。
重点：忠実性、実施、持続可能性
・教育デザイン研究
実施と厳密な調査の反復サイクルを通じて、実践と理論に情報を与えるという2つの目標に取り組む。
焦点：理論と実践
CIPP モデル
背景：教員のWBA（Workplace Based Assessment）修了に対する背景的な障害を特定するために、観察デー タを収集する。
- 入力：WBA を実施するために必要なリソースを評価する。
- プロセス：WBA プロセスについて、教員および研修医から意見を聴取する。
-成果物：教員によって完成された WBA の数と質を評価する。
デザインベース研究モデル
- WBA のために教員の評価者を準備することの問題を分析する。
- 他の研究者が WBA の評価者訓練にどのように取り組んできたかを探る。
- フレームオブリファレンス研修で使用するための、理論に基づいたアプローチを設計する。
- 介入をテストする。
- 介入を改良し、基礎となる理論の理解を深め、ベストプラクティスの解決策を提供するために、結果測定を振り返る。
PDSAサイクル
- プラン：キードライバーの構築 ダイアグラムを作成し、潜在的な を決定し、介入する。を決定する。評価する。
- 実施：主要な介入を1つテストする。
- 研究: リマインダー・プロセスの結果を特定する。リマインダープロセスの成果を確認し、主要な 次のステップを導くために学習する。
-行動：介入を採用、適応、または放棄する。介入を採用する。
RE-AIM モデル
- 到達度：評価プログラムへの参加を希望する教員の人数と範囲を調査する。
- 効果：患者ケアに関連するワークフローにおけるWBAの影響を評価する。
- 導入：WBAを実施する意思のある部署や機関の数と範囲を決定する。
- 実施：WBA を実施するために使用されるプロセスの一貫性、必要な時間、コスト、障壁、および促進要因を監視する。
- 維持管理：長期にわたるWBAの持続可能性を評価する。
