Twelve Tips for programmatic assessment
C.P.M. Van Der Vleuten, L.W.T. Schuwirth, E.W. Driessen, M.J.B. Govaerts & S. Heeneman
Pages 641-646 | Published online: 20 Nov 2014
Download citation https://doi.org/10.3109/0142159X.2014.973388
https://www.tandfonline.com/doi/full/10.3109/0142159X.2014.973388?scroll=top&needAccess=true
抄録
programmatic assessmentは、学習機能、意思決定機能、カリキュラムの質保証機能を最適化することを意図したプログラムの設計に不可欠なアプロー チである。カリキュラムの成果との整合性、学習者、教師、組織にとっての情報価値を考慮して意図的に選択された個々の評価方法は、個々のデータポイントとみなされます。これらの個々のデータポイントの情報価値は、学習者にフィードバックを与えることによって最大化される。評価の瞬間と決定の瞬間は切り離されている。中間のハイステークスな決定は、意味のある情報を集約した後、複数のデータポイントに基づいて行われ、その信頼性を確保するための厳格な組織的手続きに支えられている。評価情報の分析とそれに続く学習目標の達成を通じて、学習の自己制御がメンタリングシステムによって足場となる。プログラムによる学習のための評価は、基礎となる学習の概念が構成主義的であれば、訓練の連続体のどの部分にも適用することができる。本論文では、programmatic assessmentの実施のための具体的な推奨事項を提供する。
ヒント1 評価のためのマスタープランを作成する
programmatic assessmentもマスタープランに基づいていなければなりません。ここで重要なのは、通常はコンピテンシーフレームワークの形で包括的な構造を選択することです。なぜなら、programmatic assessmentでは、合否の決定は個々のアセスメントの瞬間のレベルではなく、多くのアセスメントの瞬間にまたがって首尾一貫した解釈ができるようになってからでなければ行われないからです。
ヒント2 フィードバック志向を促進するための試験規定の整備
個々のデータポイントは、学習の質に関する情報とフィードバックを学習者に提供するために最適化されており、合否判定のためのものではない。従来よく見られるように、個々のデータポイントに基づいて合否判定を行うべきではない。
ヒント3 堅牢な情報収集システムの採用
programmatic assessmentでは、学習者に関する情報が不可欠であり、時間の経過とともに膨大な情報が収集される。この情報を柔軟に扱うことができることが重要である。
ポートフォリオは、学生の能力開発と学習目標の定期的な分析を可能にする記録の機能を持っています。したがって、(e-)ポートフォリオは(1) 正式および非公式の評価フィードバックおよびその他の学習結果のリポジトリを提供すること、(2) 評価プロセスの管理およびロジスティックな側面を容易にすること、(3) 集計された情報の概要（情報源全体のフィードバックレポートなど）を迅速に把握することを可能にすることである。
ヒント4 すべてのローステークス評価が学習のための有意義なフィードバックを提供することを保証する。
情報の豊富さは、programmatic assessmentの基礎となるものです。有意義なフィードバックには多くの形態があります。1つは、テストの実施後に、正解または不正解に関する情報とともにテスト教材を配布することです。評価中または評価後に口頭でのフィードバックが行われることもあります。物語的情報は、標準化された評価を豊かにすることもある。
教師、監督者、または仲間から効果的なフィードバックを得ることは、時間とリソースがかかるため、面倒なプロセスになります。リソースを考える際には、2つの問題を念頭に置いておく必要があります。programmatic assessmentでは、評価と学習が完全に絡み合っているため（学習としての評価）、教育と評価の時間が曖昧になってしまいます。第二に、頻繁に悪いフィードバックを受けるよりも、頻度の少ない良いフィードバックを受ける方が良いということです。
ヒント5 学習者へのメンタリングを行う
フィードバックだけでは、学習者に十分な注意を払うことができない場合がある。研究結果は、フィードバック、リフレクション、フィードバックのフォローアップが学習と専門性の開発に不可欠であることを明確に示している。単なるリフレクションのためのリフレクションは学習者にはあまり好まれないが、議論の基礎としてのリフレクションは評価される
programmatic assessmentでは、メンタリングはフィードバックプロセスとフィードバックの利用を支援するために利用される。programmatic assessmentでは、個人の卓越性が目標であり、メンターはそのような卓越性を促進するためのキーパーソンです。
ヒント6 信頼できる意思決定を確保する
ハイステークスな決定は、豊富な情報の多くのデータポイントに基づいていなければならず、つまり、文脈、方法、評価者をまたいだ幅広いサンプリングに基づいていなければならない。この豊富な情報は量的性質と質的性質の両方を持つため、情報の集約には専門的な判断が必要である。
意思決定（合否や昇進の決定）を担当する評価パネルまたは委員会を任命し、eポートフォリオに埋め込まれたすべての情報にアクセスできるようにする。
利害の衝突を防止し、個々の学習者の学習プロセスからのパネルメンバーの独立性を確保する。
叙述的な基準またはマイルストーンの使用。
基準の解釈に関する委員会委員の研修、例えば、過去の例外的または異常な事例を研修の目的で使用すること。
情報の明快さに比例した審議の編成。ほとんどの学習者はほとんどの時間を必要としないが、かなりの審議を必要とする学習者はほとんどいない。議長は効率的なセッションを準備すべきである。
委員会の審議と行動の記録を提供することで、影響力の高い決定の正当性を示す。
メンターと学習者のインプットの提供。メンターは学習者のことを最もよく知っている。判断の偏りをなくし、学習者との関係を守るために、メンターは最終的な合否決定に責任を持つべきではありません。賢いメンターのインプットは妥協点を設けることができます。
不服申し立て手続きの提供。
ヒント7 中間的な意思決定評価を整理する
コース、年度、またはプログラムの終わりに行われるハイステークスな決定は、学習者にとって決して驚きであってはならない。したがって、学習者に情報を提供し、将来の決定の可能性について事前にフィードバックするための中間評価の提供は、実際には、最終決定の信頼性を高めるためのもう一つの手続き上の手段である。
ヒント8 個人に合わせた改善を奨励し、促進する
リメディエーションは再試験や補習とは本質的に異なるものである。リメディエーションは、継続的な反省のプロセス（例えば、メンターミーティング、中間評価、学習者自身）から得られる診断情報に基づいており、常に個人に合わせたものである。したがって、カリキュラムは学習者が修正を計画し、完了するための十分な柔軟性を提供しなければならない。
ヒント 9 プログラムの学習効果を監視し、評価し、適応させる。
カリキュラムが計画・実行・活動のサイクルで評価を必要とするのと同じように、アセスメントプログラムも同様に評価を必要とします。評価の効果は予期せぬものであることがあり、副作用がしばしば起こり、評価活動、特に非常に日常的なものは、しばしば些細なことを矮小化したり、無関係になったりする傾向がある。
ヒント10 評価プロセス情報をカリキュラム評価に活用する
アセスメントは、学習を促進すること、学習成果が達成されているかどうかの良好な判断を促すこと、カリキュラムを評価することの3つの機能を果たすことができる。programmatic assessmentでは、情報の豊富さがカリキュラム評価のための完璧な基礎となる。
ヒント11 ステークホルダー間の継続的な交流を促進する
programmatic assessmentは、学生、試験官、指導者、試験委員会、評価開発者、カリキュラム設計者など、すべてのレベルに影響を与えます。したがって、programmatic assessmentは、教育機関全体の責任である。実施する際には、異なる関係者グループ間の頻繁かつ継続的なコミュニケーションがプロセスにおいて不可欠である。コミュニケーションは、基準やマイルストーンの運用上の不備、インシデント、システムの改善に影響を及ぼす可能性のある興味深いケースなどを考慮することができる。
ヒント12 実施のための戦略を練る
programmatic assessmentは、既存の教育実践では容易ではない、評価に関する考え方の文化的変化を必要とします。現代の教育は、構成主義的な学習理論の上に構築されており、学習者は、水平方向および／または垂直方向に統合されたプログラムの中で、能力を導き、支援するために、学習者自身の知識と技能を創造するという概念から出発している。programmatic assessmentは、フィードバックを重視し、個々の学習を最適化するためのフィードバックの使用、個々の学生のニーズに合わせた補習を行うことで、構成主義的な学習と縦断的な能力開発の概念に沿ったものとなっている。
変更戦略は、マクロ、メソ、ミクロの各レベルで策定する必要がある。
マクロレベルでは、国の法的規制や大学の規定が評価方針について厳しい場合が多い。大学によっては、すべての研修プログラムで標準化された成績制度を規定しているところもある。このようなマクロレベルの制限は、影響を与えるのは容易ではないが、特定の環境で望ましい変化をもたらすためには、これらの政策がどの程度の「余裕」を残しているかを知ることが重要である。政策立案者や管理者は、なぜ評価に関する異なる見解が必要なのかを認識する必要がある。また、評価プログラムにおける意思決定の頑健性についても納得してもらう必要がある。programmatic assessmentにおける意思決定プロセスの根底にある質的なオントロジーは、実証主義的な医療環境では挑戦的なものである。非常に重要なことは、専門用語ではなく、利害関係者の専門的な言語に沿った言語でprogrammatic assessmentを説明することである。
メソレベルでは、programmatic assessmentはカリキュラムに影響を及ぼす可能性がある。評価は、包括的なコンピテンシーの枠組みだけでなく、カリキュラムにも沿ったものでなければならない。重要なのは、カリキュラムの縦断的なラインであり、モジュール化された要素と縦断的な要素の慎重なバランスを必要とする。個々の利害関係者や委員会は、できるだけ早い段階で関与する必要がある。試験の規則や規則は、最適に透明性があり、防御可能でありながら、programmatic assessmentにおける意思決定の集合体を尊重したものを構築する必要がある。また、カリキュラムは、補習のために十分な柔軟性を持たせる必要がある。イノベーションのリーダーは、信頼性と権威のある人物を任命する必要がある。
最後に、ミクロレベルでは、教師と学習者が最初から変化に関与する必要がある。教師や学習者の賛同が不可欠である。賛同を得るためには、関係者が変更の本質を理解することが必要であるが、より重要なことは、変更がどのようにして彼ら自身の現在のシステムへの懸念にも対処するのかを知ることができるようにすることである。
programmatic assessmentの開発は、すべての人にとって学習のための練習であり、実施の最初の段階で予想外の問題が発生した場合には、率直な意見を述べることは有益です。したがって、この学習演習は、従来のファカルティ・ディベロップメントを超えた集団的な取り組みとして構成するのが良いでしょう
