Twelve Tips for programmatic assessment
C.P.M. Van Der Vleuten, L.W.T. Schuwirth, E.W. Driessen, M.J.B. Govaerts & S. Heeneman
Pages 641-646 | Published online: 20 Nov 2014
Download citation https://doi.org/10.3109/0142159X.2014.973388
https://www.tandfonline.com/doi/full/10.3109/0142159X.2014.973388
programmatic assessmentは、学習機能、意思決定機能、カリキュラムの品質保証機能を最適化することを目的とした、評価プログラムの設計に不可欠なアプローチである。個々の評価方法は、カリキュラムの成果との整合性、および学習者、教師、組織にとっての情報価値を考慮して意図的に選択され、個々のデータポイントとしてみなされます。これらの個々のデータポイントの情報価値は、学習者にフィードバックを与えることによって最大化されます。評価の瞬間と決定の瞬間は切り離されます。中間および高ステージの決定は、意味のある情報集約の後、複数のデータポイントに基づき、その信頼性を確保するための厳格な組織的手続きにサポートされています。評価情報の分析およびそれに続く学習目標の達成を通じた学習の自己調整学習は、指導システムによって支援されます。programmatic assessmentは、学習コンセプトが構成主義的であれば、トレーニングのどの段階にも適用することができる。本論文は、programmatic assessmentを実施するための具体的な提言を行うものである。
ヒント1 評価のためのマスタープランを作成する
重要なのは、通常はコンピテンシーフレームワークのような形で、包括的な構造を選択することです。 programmatic assessmentでは、個々の評価場面で合否を決定するのではなく、多くの評価場面で首尾一貫した解釈を行った後に合否を決定するため、これは重要なことです。個々の評価は、1つのデータポイントとして考えることができます。従来の形成的評価と総括的評価の二項対立は、低い評価から高い評価までの連続的な評価として再定義されます。意思決定のステークスとデータポイントから得られる情報の豊富さは関連しており、意思決定の比例性を保証している。これらのデータポイントの情報を有意義に集約するためには、コンピテンシーフレームワークのような包括的な構造が必要です。さまざまなデータポイントからの情報を組み合わせて、フレームワークのドメインまたは役割の進捗状況を知らせることができます。
したがって、マスタープランでは、データポイントを包括的な構造およびカリキュラムにマッピングする必要がある。カリキュラムと評価のためのマスタープランは、理想的には1つのマスタープランである。
専門家の判断による非標準的な評価から生じる主観性は、 programmatic assessmentでは2つの方法で対処することが可能である。第一に、多くの主観的な判断が集約されたデータから安定した一般化を提供するため、多くのコンテキストと評価者をサンプリングすることである。第二に、主観は、決定に至る方法におけるデュープロセスを示すバイアス低減戦略によって対処することができる。
ヒント2 フィードバック指向を促進する試験規定を策定する。
個々のデータポイントは、学習者の学習の質に関する情報やフィードバックを提供するために最適化されており、合格・不合格を決定するためのものではありません。従来の規定でよく見られるように、個々のデータポイントに基づいて合否を決定してはならない。
ヒント3 情報収集のための強固なシステムを採用する
プログラム評価では、学習者についての情報が不可欠であり、膨大な情報が時間をかけて収集されます。この情報を柔軟に扱えるようにすることが重要です。情報収集の一つの方法として、（電子）ポートフォリオの活用があります。
ヒント4 すべてのローステークス評価は、学習のための有意義なフィードバックを提供することを保証する。
情報の豊富さは、 programmatic assessmentの基礎となるものです。意味のあるフィードバックには多くの形態があります。1つは、テスト実施後に正解または不正解に関する情報を記載したテスト資料を配布することです。標準化されたテストでは、例えば、行われた評価に関するオンライン情報、またはスキルドメイン（すなわちOSCEにおいて）、または進捗テスト結果の縦断的概要（Muijtjensら2010）を与えることによって、パフォーマンスに関するより詳細（Harrisonら2013）スコアレポートを使用するかもしれません。評価中または評価後に口頭でフィードバックすることもある（Hodder et al.1989）。複雑なスキルに対するフィードバックは、ナラティブな情報によって強化される（Govaerts et al.2007）。また、ナラティブな情報は標準化されたアセスメントをより充実させることができる。成績は、意図せずしてフィードバックのプロセスを「腐敗」させる可能性があります。意味のあるフィードバックを提供するために、測定基準や言葉を適切なときに注意深く使用する。
教師、上司、同僚から効果的なフィードバックを得ることは、時間と資源を必要とするため、退屈なプロセスになりかねませんが 質の良いフィードバックを提供するには時間と労力がかかる。 programmatic assessmentでは、評価と学習が完全に絡み合っているため（学習としての評価）、教育と評価の時間がむしろ曖昧になる。第二に、頻度の多い悪いフィードバックよりも、頻度の低い良いフィードバックの方が良いということである。フィードバックの受け取り方は、フィードバックの信頼性に大きく依存するため（Watling et al.2012）、「less-is-more」の原則は、フィードバックを与えるプロセスにも当てはまります。質の高いフィードバックは、個々のデータポイントの主要な目的であるべきです。もし、これが実施されないと、プログラムアセスメントは失敗に終わります。
ヒント5 学習者にメンタリングを提供する
フィードバックだけでは、学習者が十分に耳を傾けることができない場合がある。研究結果は、フィードバック、リフレクション、そしてフィードバックに対するフォローアップが学習と専門性の向上に不可欠であることを明確に示している（。単なるリフレクションのためのリフレクションは学習者に受け入れられませんが、議論の基礎としてのリフレクションは評価されます。フィードバックは、理想的には（省察的な）対話の一部であり、フィードバックのフォローアップを刺激するものであるべきです。メンタリングは、そのような対話を生み出す効果的な方法であり、良好な学習成果と関連付けられている（。
programmatic assessmentでは、フィードバックプロセスやフィードバック活用を支援するためにメンタリングが活用される。委託された人との対話の中で、パフォーマンスをモニターし、振り返りを共有し、検証し、改善活動を計画し、フォローアップを交渉し、モニターすることができる。メンターの役割は、学習者の能力を最大限に引き出すことである。従来の評価プログラムでは、昇進や卒業のためには、最低限の基準を遵守すれば十分であった。プログラム評価では、個人の卓越性が目標であり、メンターは、そのような卓越性を促進するキーパーソンです。
ヒント6 信頼できる意思決定を確保する
重要な意思決定は、豊富な情報の多くのデータポイント、つまり、文脈、方法、評価者間の幅広いサンプリングに基づいて行われなければならない。この豊富な情報は、量的および質的性質を持っているため、情報の集約には専門家の判断が必要です。このような専門的な判断は、利害関係が強いため、信頼できるものでなければならない。この信頼性の根拠となる手技を導入する必要がある。このような手技には、以下のようなものがある（Driessen et al.2013）。
・意思決定（合否判定、昇進判定）に責任を持つ評価委員会または委員会の設置（
・利益相反の防止と、個々の学習者の学習過程からの委員会メンバーの独立性の確保。
・叙述的な基準やマイルストーンの使用。
・基準の解釈について、例えば過去の例外的な事例や異常な事例を研修に用いるなどして、委員を訓練すること。
・情報の明確さに比例した審議の組織化。
・委員会の審議と行動に関する証跡を提供することで、影響の大きい決定の正当性を証明すること。
・メンターと学習者の意見を取り入れること。
・不服申し立て手続きの提供。
このリストは完全なものではなく、手続きや専門家の判断の専門性など、法廷でも通用するような手段を考えることが有効である。これらは通常、信憑性があり、信頼できる強固な判断につながる。
ヒント7 中間意思決定評価の実施
コース、年度、プログラムの終了時に行われるハイステークスな決定は、学習者にとって決して驚くべきことではありません。したがって、学習者に情報を提供する中間評価や、将来起こりうる決定に関する事前フィードバックを提供することは、実際、最終決定の信頼性を高めるもう一つの手技であると言えます。中間評価は、最終決定よりも少ないデータポイントに基づきます。
ヒント8 個人別再履修を奨励・促進する
再履修は、再試験や追試験とは本質的に異なります。補習は、継続的な内省的プロセス（すなわち、メンターとのミーティング、中間評価、学習者自身）から発せられる診断情報に基づいて行われ、常に個人に合わせたものである。したがって、カリキュラムは、学習者が補習を計画し、完了するために十分な柔軟性を提供する必要があります。そのため、カリキュラムは学習者が補習を計画し、完了できるような十分な柔軟性を備えていなければなりません。（費用のかかる）補習パッケージを開発する必要はありません。経験豊富な指導者のサポートのもと、何をどのように補習すべきか、学習者の意思決定に関与させる。理想的なのは、学習者の責任において補習を行うことであり、そのために十分なサポートとインプットが提供されることです。
ヒント9 プログラムの学習効果をモニター・評価し、適応させる
カリキュラムが計画・実行・サイクルの中で評価を必要とするように、評価プログラムも同様です。評価効果は予期しないことがあり、副作用がしばしば発生します。評価活動、特に非常に日常的なものは、しばしば矮小化され、無関係になる傾向があります。評価プログラムは、体系的にモニタリングし、評価し、適応させる。programmatic assessmentのプロセスに関わるすべての関係者は、評価プログラムの質に関する良い情報源となる。非常に重要な利害関係者の一人は、指導者である。メンターと学習者の相互作用を通じて、彼らはカリキュラムの実施について優れた見解を持つことになる。この情報は体系的に収集され、カリキュラムや評価プログラムの管理に責任を持つ他の関係者と交換することができます。ほとんどの学校は、教育プログラムの質に関するデータ収集のためのシステムを持っているであろう。量的・質的情報を組み合わせた複合的な方法によるアプローチが推奨される
ヒント10 評価プロセスの情報をカリキュラム評価に活用する
評価は、学習の促進、学習成果が達成されたかどうかの適切な判断、そしてカリキュラムの評価の3つの機能を果たすことができる。プログラム評価では、豊富な情報がカリキュラム評価のための完璧な基礎となる。
ヒント11 関係者間の継続的な交流を促進する
これまでの説明で明らかなように、programmatic assessmentは、学生、試験官、指導者、試験委員会、評価開発者、カリキュラム設計者など、すべてのレベルで影響を及ぼします。したがって、programmatic assessmentは、教育組織全体の責任である。実施にあたっては、異なる利害関係者間の頻繁かつ継続的なコミュニケーションが不可欠である。コミュニケーションは、基準の運用における不完全性、マイルストーン、インシデント、およびシステムの改善に影響を与える可能性のある興味深いケースを考慮することができる。このようなコミュニケーションは、最終的には手技や規定に影響を与える可能性があり、将来の意思決定の校正をサポートする可能性があります。
ヒント12 実施に向けた戦略を練る
programmatic assessmentは、既存の教育実践ではなかなか実現できない、評価に対する考え方のカルチャーチェンジを必要とします。従来の評価は、一般的にモジュール式で、モジュールの最後に総括的な判断と成績評価が行われます。合格すれば、そのモジュールは完了する。不合格の場合は、再受験やモジュールの繰り返しによる救済措置が取られるのが一般的です。これはすべて、学習に対する習得学習観において非常に適切なものである。しかし、現代の教育は、学習者が自分自身の知識やスキルを創造するという概念から始まる構成主義的な学習理論に基づいており、能力を導き、サポートするための水平方向および/または垂直方向に統合されたプログラムにおいて、構築されています。programmatic assessmentは、フィードバック、個人の学習を最適化するためのフィードバックの利用、個々の学生のニーズに合わせた補習を重視することで、構成主義的学習や長期的な能力開発の概念により合致している。このような急激な評価における文化の変化には変化戦略が必要である(Stephens & Graham 2010)。変革戦略は、マクロ、メゾ、ミクロの各レベルで行う必要がある。
マクロレベルでは、国の法規制や大学の規則が評価方針について厳しい場合が多い。大学によっては、すべての研修プログラムで標準化された成績評価システムを規定しているところもある。このようなマクロレベルの制約に影響を与えることは容易ではありませんが、これらの政策が特定の環境において望ましい変化をもたらすために残している「余地」を知ることは重要なことです
メゾレベルでは、programmatic assessmentはカリキュラムに影響を与える可能性がある。評価は、包括的なコンピテンシーの枠組みに合わせるだけでなく、カリキュラムにも合わせる必要があります。カリキュラムの縦断線は不可欠であり、モジュール型と縦断型の要素を慎重にバランスさせることが必要である。個々の利害関係者や委員会は、できるだけ早い段階で関与する必要がある。試験の規則や規定は、最適な透明性と防御力を持ちながら、programmatic assessmentにおける集合的な意思決定を尊重したものにする必要がある。また、カリキュラムは、補習のための十分な柔軟性を持たせる必要がある。また、信頼性と権威を備えた革新的なリーダーを任命する必要があります。
最後に、ミクロのレベルでは、教師と学習者が最初から変革に参加する必要があります。教師と学習者からの賛同が不可欠です。賛同を得るためには、関係者が変化の本質を理解する必要がありますが、さらに重要なことは、その変化が現行のシステムに対する自分たちの懸念にどのように対処するものであるかを理解させる必要があるということです。
結論
programmatic assessmentには明確な論理があり、研究や教育実践を通じて形成された多くの評価に関する洞察に基づくものである。しかし、 programmatic assessmentでは、ロジックと実現性は反比例する。本格的な programmatic assessmentを実践するためには、すべての関係者が納得する必要がある。これは簡単なことではありません。PBLと同様に、 programmatic assessmentでも部分的な導入は可能である（評価プログラムにおけるフィードバックや情報の増加、メンタリングなど）。PBLと同じように、部分的な成功につながるでしょう。これらのヒントによって、あなたが得られる限りのことを可能にすることを願っています。
