Improving the Evaluation of Faculty Development Programs
Chen, Weichao PhD1; Berry, Andrea MPA2; Drowos, Joanna DO, MPH, MBA3; Lama, Anna MA4; Kleinheksel, A. J. PhD5
Author Information
Academic Medicine: October 2021 - Volume 96 - Issue 10 - p 1496
doi: 10.1097/ACM.0000000000004151
教員育成（FD）は、特定のニーズを満たすプログラムを設計することから始まります。ファカルティ・ディベロップメント・プログラムを評価することで、有意義な成果の測定、正確な報告、継続的な改善、今後のプログラム開発が可能になります。以下の戦略は、ファカルティ・ディベロッパーが評価に取り組む際の指針となる。
・適切なフレームワークの特定
評価フレームワークは、どの成果を評価し、どの評価戦略を使用するかを決定する指針となる。プログラムの目標に沿った評価フレームワークを選択する。評価フレームワークの例としては、以下のようなものがあります。
- カークパトリック・モデル：プログラムの成果を様々なレベルで定義している
- CIPP：プログラムのコンテキスト、インプット、プロセス、プロダクトを考慮している。
- パットンの開発型評価モデル：複雑な環境下でのプログラムの適応性を高めるために、リアルタイムのデータを用いて継続的な意思決定を行い、循環的でプロセス指向の評価を行います。
・範囲を広げる
簡単に定量化でき（例：ワークショップや参加者の数）、すぐに評価できるもの（例：参加者の反応）だけを報告すると、評価の価値と効果が制限される。そのためフォローアップと縦断的なデータの収集。検討する。
- 知識の保持。
- 職場への知識の移転（例：新しい教育方法）。
- 可能にする要因と阻害する要因（例：認識、リソース）。
計画外のプログラム成果を探す。
考えられる原因を検討し、プログラムを調整すべきかどうかを検討する。
・組織の状況を考慮する
組織の行動とチェンジマネジメントのプロセスは、プログラムの結果が望ましいものであっても意図しないものであっても影響を与える。以下のような、より広範な組織やシステムのデータを評価に取り入れる。
- プログラムのきっかけとなった特定のニーズと認定要件、およびそれらとプログラムの成果との整合性。
- プログラムの開発と提供に費やされた財政的、人的、政治的資源。
- 同僚のネットワークや職場の文化
・調査方法の多様化
プログラム参加者への過剰な調査は、調査疲れを引き起こし、バイアスがかかり、回答率に影響を与える可能性がある。また、自己申告の結果だけでは、有効な結論を導くのに不十分な場合があります。現実的な期待値とのバランスを取りながら、複数の厳密な質的・量的手法を採用しましょう。
- インタビュー、直接観察、評価、ビデオ録画などを採用する。
- 利害関係者（出席者の学生、患者、監督者、組織のリーダーなど）からデータを収集する。
- 異なるデータソースから得られた知見を比較することで、理解を深め、結果を相互に関連付ける。
・評価の品質を確保する
妥当性と信頼性の証拠がない心理測定評価は、測定にバイアスがかかり、結果の信頼性に影響する
- 信頼性と妥当性がテストされた既存の器具があり、適切であれば、それを使用する（例：Stanford Faculty Development Program Questionnaire）。
- 開発のためのベストプラクティスに従う。
