A model for programmatic assessment fit for purpose,
(2012)
Medical Teacher, 34:3, 205-214,
DOI: 10.3109/0142159X.2012.652239
https://www.tandfonline.com/doi/full/10.3109/0142159X.2012.652239
我々は実践的なプログラム化された評価のためのモデルを提案する。それは同時に学習のための評価と学習者の進歩に関する意思決定のための評価を最適化する。このモデルは、実証的研究から解釈される一連の評価原則に基づいています。それは集約された評価データポイントについての評価の中間と最終の瞬間によって補完される訓練、評価と学習者支援活動のサイクルを指定します。
重要な原則は、個々のデータポイントが学習とフィードバックの価値のために最大化されるのに対して、ハイステークスな決定は多くのデータポイントの集約に基づいているということです。
このプログラムでは、専門家の判断が重要な役割を果たします。基本的には、この種の判決の避けられない主観性に対処するためのサンプリングとバイアスの削減の概念です。定性的研究のための基準から導き出された手続き型評価戦略において、バイアスの削減がさらに求められている。私たちは提案されたモデルのまわりで多くの挑戦と機会について議論します。その主な長所の1つは、個々の手段に焦点を当てた支配的な心理学的談話を超えて、経験的根拠のある理論によって支えられた評価設計へのシステムアプローチに向かって評価を動かすことを可能にすることです。
●ポイント
適切な評価には、慎重に配置された一連の長期的な評価活動におけるプログラム的なアプローチが必要です。
評価の学習および認証機能を最適化するプログラムによる評価のモデルが可能です。
最大限に学習を促進するプログラム（学習評価）。
利害関係の高い意思決定の堅牢性を最大限に高めるプログラム（学習者の昇進/選択）。
指導とカリキュラムを改善するための情報を提供するプログラム。
評価プログラムの個々のデータポイントは、学習にとって最大限の情報となります。
集約されたデータポイントは、より高いステークスの合格/不合格と修復の決定に使用されます。 評価決定への関心が高ければ高いほど、より多くのデータポイントが必要になります。
評価における専門的な専門家の判断は不可欠であり、バイアスに対処するための新しいアプローチが必要です。
●信頼性を高めるアプローチ
長期の関わり：評価者学習者の最良の人（コーチ、仲間）が評価のための情報を提供していることを知っている人は断続的なフィードバックサイクルを組み込む
多数の視点：多くの査定者と異なる信頼できるグループを巻き込む、または複数の情報源の矛盾する情報がより多くの情報の収集を必要とする場合は、逐次的な判断手順をまとめる
査読（ピア・デブリーフィング）：査定者は、ベンチマーク、査定プロセス、および活動の前後半分の結果について話し合います。
メンバーのチェック；アセスメント手順に学習者の視点を取り入れる断続的なフィードバックサイクルを取り入れる
構造的一貫性：評価委員会が評価データの不一致について議論
Time sampling：さまざまな状況や患者にまたがるサンプル
しっかりとした詳細な説明：アセスメント手段は、定性的でナラティブな情報を含めることを容易にします、アセスメント手順では、ナラティブ情報を非常に重視します。
段階的：複製の情報源をさまざまな評価者に幅広く
監査：評価プロセスのさまざまなステップを文書化します（審査委員会によって承認された正式な評価計画、フェーズごとの結果の概要）。外部監査人による品質評価手順学習者は評価の決定に不服を申し立てることができます。
●課題
実行するために必要なコストとリソース
評価活動と学習活動の間の境界がぼやけている
経済的妥協が可能であり、またそうでなければならない。
