「Programmatic Assessmentとは何ですか？」
編集者：Lambert Schuwirth
統合された意味のある方法で情報を収集および照合するためのアプローチです。
・学習者のパフォーマンスと進捗状況に関する情報の収集は、さまざまな評価手段を使用して行われます。
・学習者に関する情報とその進捗状況の照合は、1つの評価手段の範囲内では発生しません。複数の異なる評価および複数の異なる評価手段からの情報は、学習者のパフォーマンスに関する情報を提供するために測定されます。
・情報の収集と照合は、学習者のより良い予測と予後を可能にするために縦断的かつ継続的に行われます。
・情報は、例えば、学習者と彼らの監督者/指導者/コーチとの間で定期的に議論されるポートフォリオで収集され照合される。学習者は短い書面の自己反省を通してこれらの議論の準備をするでしょう。
・学習者の成績や進捗に関する限られた情報はローステークスの決定にしか、つながらず、ハイステークスの決定には豊富な長期的情報が必要とされるという点で意思決定を支配する原則。
・評価は通常、信頼性と妥当性に従って評価されます。しかし、信頼性と妥当性は純粋に伝統的な心理測定方法によって支配されているのではなく、透明性、文書化、会員確認、情報の飽和などの組織的な手段によっても達成されています。
・プログラムによる評価をうまく実施し維持するためには、監督者の育成が必要です。プログラムによる評価を成功裏に実施するための最も重要な側面は、スタッフの開発と能力開発の調整です。
「a program of assessment とprogrammatic assessmentよる評価の違いは何ですか？」
編集者：Lambert Schuwirth
伝統的な評価プログラムは、総括的評価と形成的評価を区別します。総括評価は意思決定に焦点を当てており、その結果は純粋に学生が次の段階に進む準備ができているかどうかを決定するために使用されます。形成的評価は、学習者にフィードバックを提供するために使用されます。この区別の問題点は、総括的評価はあまり有益ではないが非常に真剣に受け止められるのに対し、形成的評価は多くのフィードバックを提供するが学習者によって常に真剣に受け止められるとは限らないことである。
プログラムによる評価は、常に有益で、常に低い賭けから高い賭けに至るまでの賭け金を持っている評価と連携します。このようにしてすべての評価が最終的な決定に貢献しますが、1つの評価で学習者の進歩を左右することはできません。
従来の評価プログラムでは、各評価は合格不合格の決定に減らされ、学習フェーズの最後に合格と不合格の評価の数が組み合わされて、学習者が上達できるかどうかが判断されます。これはしばしば恣意的な決定につながります。
プログラムによる評価では、すべての情報は学習者が上達できるかどうかを判断するために使用されます。これは面倒なように思えますが、十分なスタッフ開発とサポートシステムがあればそれは非常に実現可能であり、投資に対する見返りは、学生の早期発見とより有効な改善によってもたらされます。
伝統的な評価プログラムでは、学習者の不満足な進歩は、抵抗的または補足的な試験につながりますが、プログラム的評価では、目標とされた是正につながります。レジストは実際には「同じ」機器で繰り返し測定されるため、いくつかの副作用があります。彼らは、ミニマリストの研究行動を奨励します（常に休職の可能性があります）。彼らは、偽陽性の結果（真の陰性を含む陰性の結果は偽陽性の結果になる可能性がある、偶然に合格）、リソースの無効な使用（少数の学生だけの高品質テスト）などを支持します。学習者が得意ではなかった特定の分野に焦点を当てているので、リソースのより効果的な使用です。
プログラムによる評価では、学習者は自身の学習に対してより多くの管理と説明責任を負う必要があり（自己反省、学習目標の策定、修復設計の機関など）、したがって学習者は自己規制生活に備える機会を増やすことができます。長い学習者標準的な標準評価プログラムは、組織内の統制を維持します。
「プログラムによる評価は、建設的アラインメントにとって何を意味するのでしょうか」
Editor: Marjan Govaerts
コンピテンシーベースの教育の文脈でプログラムによる評価モデルを採用する場合、建設的アラインメントは自明であるのと同じくらい不可欠です。構成的アラインメント（CoAl）は、意図した学習成果（ILO）、教育および学習活動（TLA）、および評価活動（AA）を統合する教育デザインアプローチを指します。プログラムによる評価においてCoAlアプローチを支える重要な原則は以下のとおりです。
能力は複雑な現象であり、能力開発は、包括的（コンピテンシー）の枠組みで規定されている意図した教育成果の学習者の達成を支援するために、慎重に選択され縦方向に並べられた一連の学習課題（すなわちカリキュラムまたはカリキュラムマップ）を必要とする。
学生は自分たちがテストされると思うことを学ぶという概念、すなわち「評価は学習を促進する」。このいわゆる逆洗は、評価タスクが埋め込まれていて、生徒が何をどのように学ぶ必要があるかに合わせて調整されている場合に、積極的に機能します。
プログラムによる評価は、通常、学習中の評価を最大限に活用することを目的としていると同時に、学習者の進歩に関する確固たる意思決定を確実にすることを目的としています。これは、学習者や意思決定者に評価課題の遂行についてのフィードバック（「私はどこに」、「生徒は何ができるか」）をフィードバックするだけでなく、評価が学習者の能力向上に役立つ意味のある情報を生み出すことも意味します。そして発展する。したがって、情報には、フィードアップ（「どこへ行く必要がある」、「達成するために必要なもの」）、およびフィードフォワード（「意図した結果を達成する方法」、「次のステップになる必要があるもの」）が含まれます。 。学習のための評価フィードバックの効果的な利用は、すべての評価活動が望ましい学習を強化することを確実にするために、長期学習軌跡において、そして実際の学習課題に最大限組み込まれている評価を通して成長を示す機会を学生に提供するカリキュラムを要求します。
要約すると、「目的に合った」プログラムによる評価の設計と実装を成功させるには、以下が必要です。
明確に述べられた学習目標、教育成果、または意図した学習成果、
「目的に合った」カリキュラム、すなわち学習者の意図した学習成果達成を効果的かつ効率的に支援するように注意深く設計された学習課題
カリキュラムと意図された学習成果にマッピングされている建設的に調整された評価プログラム。
References:
Van der Vleuten, C. P., Schuwirth, L. W. T., Driessen, E. W., Dijkstra, J., Tigelaar, D., Baartman, L. K. J., & van Tartwijk, J. (2012). A model for programmatic assessment fit for purpose. Medical Teacher, 34(3), 205-214.
Van Der Vleuten, C. P., Schuwirth, L. W. T., Driessen, E. W., Govaerts, M. J. B., & Heeneman, S. (2015). Twelve tips for programmatic assessment. Medical Teacher, 37(7), 641-646.
Biggs, J.B. & Tang, C. (2011). Teaching for quality learning at university: What the student does. McGraw-Hill Education (UK).
Konopasek, L., Norcini, J., & Krupat, E. (2016). Focusing on the formative: building an assessment system aimed at student growth and development. Academic Medicine, 91(11), 1492-1497.
Wilson, M & Sloane, K. (2000). From principles to practice. An embedded assessment system. Appl Meas Educ, 13, 181-208.
「どのような評価方法が適切ですか？」
編集者：Marjan Govaerts
基本的に、すべての評価フォーマットと方法は、プログラムによる評価の理論に従って設計された評価プログラムに組み込むことができます。プログラムによる評価では、単一の（ローステークスの）評価を学習用に最適化し、学習者の継続的な成長と成長を支援する必要があります。これは、評価方法が慎重に選択され、学習課題と意図された学習成果を一致させることを意味します（「建設的に調整」）。そのため、学習目標や評価目的に応じて、筆記テスト、課題、口頭試験、OSCE、Mini-CEXなど、標準化されたミラーのピラミッドの任意の層から目的に応じて評価方法を抽出することができます。同様に、評価には、ピア評価、360度のフィードバック手順、および/または自己評価が含まれる場合があります。
本質的に、すべての評価が将来の学習のために意味のある情報を生成するように設計されている必要があります。明らかに、意味のあるパフォーマンスのフィードバックは、パフォーマンスの標準に関する情報を提供します。慎重に設計されたローステークスアセスメントは、プログラムアセスメントアプローチの範囲内で自動的に強化/サポート（ハイステークス）意思決定プロセスを強化します。
プログレステスト（または他の種類の長期的な反復測定評価）は、テスト指向の学習の奨励を避け、継続的な業績改善のための評価フィードバックの使用を促進するため、プログラムによる評価の目的に特に適しています。同様に、評価（パフォーマンス）データを収集し、タスクパフォ ーマンスに対する学習者の反省、および将来の学習の目標設定を支援するためのポートフォリオの使用は、プログラムによる評価アプローチにおける明らかな選択のように思われます。
References:
Van der Vleuten, C. P., Schuwirth, L. W. T., Driessen, E. W., Dijkstra, J., Tigelaar, D., Baartman, L. K. J., & van Tartwijk, J. (2012). A model for programmatic assessment fit for purpose. Medical Teacher, 34(3), 205-214.
Van der Vleuten, C. P., Schuwirth, L. W. T., Driessen, E. W., Govaerts, M. J. B., & Heeneman, S. (2015). Twelve tips for programmatic assessment. Medical Teacher, 37(7), 641-646.
Heeneman, S., Schut, S., Donkers, J., Van der Vleuten, C., & Muijtjens, A. (2017). Embedding of the progress test in an assessment program designed according to the principles of programmatic assessment. Medical Teacher, 39(1), 44-52.
Driessen, E. W., Van Tartwijk, J., Govaerts, M., Teunissen, P., & Van der Vleuten, C. P. (2012). The use of programmatic assessment in the clinical workplace: a Maastricht case report. Medical Teacher, 34(3), 226-231.
Wrigley, W., Van der Vleuten, C. P., Freeman, A., & Muijtjens, A. (2012). A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Medical Teacher, 34(9), 683-697.
Van der Vleuten, C. P. M., Schuwirth, L. W. T., Scheele, F., Driessen, E. W., & Hodges, B. (2010). The assessment of professional competence: building blocks for theory development. Best Practice & Research Clinical Obstetrics & Gynaecology, 24(6), 703-719
「評価からの学習をどのように促進しますか」
編集者：Suzanne Schut
「評価は学習を促進する」、それは医学教育における評価に関する文献でよく知られた表現と一般に認められた概念である。生徒は過負荷または不安を感じ、評価されていること、つまり目標や自分の学習ニーズに合っているかどうかに焦点を合わせることができます。プログラムによる評価では、その目的は自制学習を刺激し、その恩恵を受けることです。
評価からの学習を促進するために、いくつかの要因を考慮に入れるべきです。
各単一データポイント（プログラムによる評価におけるローステークス評価）は、学習用に最適化されるべきです。これは、評価情報ができるだけ豊富であることを意味します。意味のある評価情報は、意味のある方法で学習を強化することができます。
評価および評価情報は、定量的（すなわちプロファイルスコアおよび参照実績情報）および定性的方法（物語情報）が豊富であり得る。
評価における成績の使用には注意してください。評点は、学習者に学習機会ではなく評点に集中させるための最悪の形のフィードバックおよびテントであることが知られています。
豊かで物語のフィードバック情報に焦点を当てます。そのようなフィードバックを提供するだけでなく、評価プログラムに組み込まれました。例えば、単一の評価課題に対する生徒の成績の代わりに、改善計画、改善の対象となる分野、およびフォローアップ活動に焦点を当てています。
学生への働きのための機会を創り出す。学生は自分の学習を自主規制し、自分の学習や評価に対して所有権を得る機会が必要です。評価経験を管理する機会が不可欠である（すなわち、評価情報に影響を与え、進捗の証拠を収集し、改善する機会）。評価と意思決定のプロセスに学生を巻き込みます。信頼性と安全性は、学習のレベルや生徒のステージ、したがって足場と方向性の必要性を考慮した、ここでのキーワードです。
学習機会としての評価には安全な環境が必要です。学生（そして教師）はしばしば懲罰的かつ総括的な評価を受けます。失敗から改善する機会は、評価からの学習を促進するときの標準であるべきです。教師と生徒が教師と関わる関係は不可欠です。彼らは学生の作用を刺激し、安全な学習環境を作る力を持っています。
評価を使用した学習の目標に合わせて、スタッフの育成と生徒のトレーニングを調整します。フィードバックは訓練を必要とし、対話と共同作業で行われるべきです。
Schuwirth LWT, Van der Vleuten CPM. Programmatic assessment: From assessment of learning to assessment for learning. Medical Teacher. 2011;33(6):478-85.
Van der Vleuten CP, Schuwirth LW, Driessen EW, Dijkstra J, Tigelaar D, Baartman LK, et al. A model for programmatic assessment fit for purpose. Med Teach. 2012;34(3):205-14. PubMed PMID: 22364452. eng.
Shute VJ. Focus on formative feedback. Review of educational research. 2008;78(1):153-89.
Schut, S., Driessen, E., van Tartwijk, J., van der Vleuten, C., & Heeneman, S. (2018). Stakes in the eye of the beholder: an international study of learners' perceptions within
「どのようにデータを集計しますか？」
編集者：Neil Rice
縦断的プログラム評価の重要な特徴の1つは、進捗に関する決定を知らせるために学生の進捗を正確に記録することです。進捗状況を測定できるようにするには、過去と現在のパフォーマンスデータを集計するための適切な方法が必要です。
・標準化された得点：学生の得点は、コホート内および期間にわたって直接比較できるように、何らかの方法で標準化または拡大縮小されます。標準化されたスコアを使用してさまざまな評価からのスコアを正規化することで、コホート内での、またさまざまな種類や難しさの評価間での生徒の成績の比較が可能になります。テストの難しさとコホート能力についての知識があれば、スケールされた（％）または標準化されたスコアを使用して1つのテストポイントとそれに続くテストポイント間の進歩を絶対値で計算するのはかなり簡単な心理分析です。心理測定データが豊富で、採用されている評価構成要素について多くのことが知られている評価システムでは、評価データを集計するための正規化スコアの使用は強力なツールです。
成績の集計：生徒は、合意された基準に従って、個別の評価のために通常のカテゴリ別成績を割り当てられます。累積ランニンググレードは、一連の評価に対する学生の成績に基づいて計算されます。たとえば、評価の生徒のスコアは4つのカテゴリ - 「優」、「満足」、「疑わしい」、「不満足」に分けられ、累積的な総合評点は最後の2つ（またはそれ以上）のテストに基づいて計算できます。満足できる評点から不満足な評点に移動する学生は、たとえば、疑わしい評点から満足できる評点に移動することがより懸念される場合があります。成績の割り当てと集計は、プログラムによる評価で進行を測定するための魅力的な方法です。少数の序数を使用すると、コホート間およびコホート内で自然に変化する難しさの評価に連続スコア尺度を使用することに固有の不正確さがある程度緩和されます。成績を集計すると、生徒の成績は学習の過程を通じて非線形になることが多く、最近の評価では成績が過去の成績よりも重要になるという利点もあります。
「どのようにして学習者を支援しますか？」
編集者：Sylvia Heeneman
学習者は3つの分野でサポートされる必要があります。
1.先行する（多くの場合）伝統的な評価システムからプログラムによる評価を用いたカリキュラムへの移行
2.業績に関する重要な情報の提供、収集、および使用
3.自己学習の指導ガイダンス
1：学習者は伝統的な評価システムを使用するカリキュラムに組み込まれていることが多く、プログラムによる評価の理論と実践に慣れる必要があります。学習者は何らかの形の指導を必要とします。プログラムによる評価の原則は何ですか。カリキュラムにどのように組み込まれていますか。カリキュラムにおけるデータポイント、評価およびフィードバックのタスクは何ですか。ハイステーク意思決定の瞬間の原則は何ですか？初年度の学習者にプログラムによる評価の原則が実際にどのように機能するかを説明するために、次の年の学習者をカリキュラムに含めることは有用です。指示と説明には限界があり、「すること」によって「学ぶ」と「経験する」ことへの重要なステップです。学習者はカリキュラムを進めながら評価とフィードバックの情報を受け取り、すべての評価タスクについて「不合格」の決定を受けないことが意味することを体感します。この「することによる学習」は時間と指導を必要とし（指導者による。ポイント2と3を参照）、この時間が利用可能であることが重要です。プログラムによる評価がどのように機能するかを体験する時間を学習者に与えます。これは完全な最初の評価サイクル、すなわち最初の高ステーク決定までにかかる可能性がある。これは、学習者が意思決定手順を経験するためには、中間決定を適切に実施することの重要性を強調し、サイクルの最後での高ステーク決定は驚くべきことではないことを強調します。
2：幅広い評価方法と有意義なナラティブフィードバックの提供、収集、使用（ポイント3も参照）を可能にするシステムが整備されている必要があります。これはしばしばポートフォリオによって促進されます。さらに、評価とフィードバックのタスクは意図した学習成果と一致させる必要があり、それは学習者にとって透明である必要があります。パフォーマンスに関する有意義なナラティブフィードバックは、学習者が学習をサポートできるようにするための重要な要素です。したがって、フィードバックの提供者は、豊富なナラティブフィードバックの提供について教育を受ける必要があります。フィードバック提供者は教員と同様に同僚であることが多いので、学習者と教員の両方のための教育訓練プログラムを組織し提供しなければならない。さらに、質の悪いフィードバックよりも質の高いフィードバックをあまり頻繁に行わない方が好ましいということに留意する必要があります。フィードバックの使用と受け入れはフィードバックの信頼性に依存しているため、「もっと少ない」の原則を適用する必要があります。
３：指導者を指導し支援するための指導システムが必要である。フィードバックを提供するだけでは十分ではなく、フィードバックの対話を実施する必要があることはよく知られています。さらに、プログラムによる評価を使用するカリキュラムでは、学習者は複数のデータポイント、すなわち彼らの成績に関する評価およびフィードバック情報を受け取り、収集します。学習者はデータを監視し、パターンを検出し、学習目標を設定し、そして学習を自己指示する必要があります。自己学習の方向性は方向性を必要とするというパラドックスがあります。したがって、メンターとの対話の中で、パフォーマンスが監視され、意見が共有され議論され、修復活動が計画され、学習目標のフォローアップが監視されます。カリキュラムとプログラムによる評価が絡み合っていて、より長い期間にわたるので、メンターシステムも縦断的であり、メンターとメンティーはプログラムの期間中一緒に働いていることが勧められます。
注目に値するのは、「ポートフォリオ」と「メンタリング」に関する別々のAskAMEEトピックです。追加の情報があります。
For further reading:
Bok H, Teunissen P, Favier RP, Rietbroek N, Theyse L, Brommer H, Haarhuis J, van Beukelen P, van der Vleuten C, Jaarsma D. Programmatic assessment of competency-based workplace learning: when theory meets practice. BMC Medical Education 2013, 13:123.
Driessen E, van Tartwijk J, Govaerts M, Teunissen P, van der Vleuten C. The use of programmatic assessment in the clinical workplace: A Maastricht case report. Medical teacher 2012, 34:226-231.
Driessen E, Overeem K: Mentoring. In: Oxford textbook of medical education. Edited by Walsh K. Oxford, UK: Oxford University Press; 2013: 265-274.
Ginsburg S, van der Vleuten C, Eva K. The hidden value of narrative comments for assessment: a quantitative reliability analysis of qualitative data. Academic Medicine 2017, 92:1617-1621.
Hattie J, Timperley H. The power of feedback. Review of educational research 2007, 77:81-112.
Heeneman S, Oudkerk Pool A, Schuwirth L, van der Vleuten C, Driessen E. The impact of programmatic assessment on student learning: theory versus practice. Medical education 2015, 49:487-498.
Heeneman S, de Grave W. Tensions in mentoring medical students toward self-directed and reflective learning in a longitudinal portfolio-based mentoring system–An activity theory analysis. Medical Teacher 2017, 39:368-376.
Sambunjak D, Straus S, Marusic A. Mentoring in academic medicine: a systematic review. JAMA 2006, 296:1103-1115.
van der Vleuten C, Schuwirth L, Driessen E, Govaerts M, Heeneman S. Twelve tips for programmatic assessment. Medical teacher 2015, 37:641-646.
Watling C, Driessen E, van der Vleuten CPM, Vanstone M, Lingard L. Understanding responses to feedback: the potential and limitations of regulatory focus theory. Medical education 2012, 46:593-603.
Other papers/ reviews, next to review/ perspective papers by Cees and Lambert > perhaps with other questions:
Wilkinson T, Tweed M. Deconstructing programmatic assessment. Advances in Medical Education and Practice 2018:9 191–197
Hauer K, O’Sullivan P, Fitzhenry K, Boscardin C. Translating Theory Into Practice: Implementing a Program of Assessment. Acad Med. 2018, 93:444–450
「どのようにして教員を支援しますか？」
Sylvia Heeneman
教員もプログラムによる評価への移行段階で支援を必要とするでしょう。プログラムによる評価の実践には、（既存の）認識論的な考え方の変更と評価の概念が必要です。これは、教員が伝統的な評価の実践に長年携わってきたときには達成が容易ではないかもしれません。プログラムによる評価を実施するためには、教員を主要な利害関係者として関与させることが非常に重要です。設計プロセスに教員と学習者が関わる共同参加形式は、成功した変更を支援し、関係者による所有権を生み出します。さらに、共同参加プロセスによって、持続可能な変化を促進する教師コミュニティが生まれます。
プログラムによる評価カリキュラムで働く教職員も継続的な支援を必要としています。これは、目的に合った、即時的な教員育成セッションの形式であり得る。有意義なナラティブフィードバック、または改善の分野に対処するフィードバック（「ネガティブ」フィードバック）の提供、彼らが提供するフィードバックに何が起こるか、それが学習者によってどのように使用されているか、そしてそれがどのようにポートフォリオアセスメント委員会またはハイステークスの決定使用されているかを示す、または説明することも有効である。喜んで行う学習者は、自分のポートフォリオの一部を表示したり、フィードバックまたはフィードバック対話のフォローアップの結果を共有したりすることができます。実施段階や共同参加段階と同様に、教員や教員のコミュニティを維持し、教員を支援することができる正式で非公式の連絡先を確保し、専門能力開発を可能にすることが重要です。メンターのために、メンターコミュニティを作るために調整された教員育成プログラムとネットワーキングミーティングも必要です。最後に、教員は有意義なナラティブフィードバックを提供し、さまざまな評価タスクを統合する時間が必要です。効果的なフィードバックは時間とリソースを集中的に使用するプロセスです。リソースに関して留意すべきことは、（1）プログラムによる評価では、評価と学習が絡み合っている（学習としての評価）ので、指導と評価の時間が重なることです。そして（2）、「もっと少ない」フィードバックの原則を利用し適用することです。さらに、リソース節約手順（例えば、ピアフィードバックまたは自動オンラインフィードバックシステム）を考慮することができるが、最終的に良質のフィードバックを提供することは時間と労力を要するであろう。
Jamieson J, Jenkins G, Beatty S, Palermo C. Designing programmes of assessment: A participatory approach, Medical Teacher, 2017, 39:11, 1182-1188
O’Sullivan PS, Irby DM. Reframing research on faculty development. Acad Med. 2011;86: 421– 428
Steinert Y, Mann K, Anderson B, Barnett BM, Centeno A, Naismith L, Prideaux P, Spencer J, Tullo E, Viggiano T, Ward H, Dolmans D. A systematic review of faculty development initiatives designed to enhance teaching effectiveness: A 10-year update: BEME Guide No. 40, Medical Teacher, 2016, 38:8, 769-786
「あなたはどのようにしてハイステークスの決定を下しますか？」
Andrea Oudkerk Pool
ハイステークスの決定の例は、学習者が資格を取得できるのか、コースの次の段階に進むことができるのかを決定することです。そのような決定は強固である必要があり、したがって学習者の長所と短所に関する豊富な情報を提供する大量のデータポイントを必要とします。これらの定量的および定性的データポイントは、複数の状況、評価者および方法にわたってサンプリングされる必要があります。これらの定量的および定性的データの集計には専門家の判断が必要です。システムがうまく機能すれば、結果は学習者にとって驚きではないでしょう。
これらの決定の重要性が高いため、決定の質を向上させるために複数の対策を講じることが重要です。これらの対策の例は次のとおりです。
・評価委員会の任命：専門家の評価者は同様の最終的な（不合格）決定を下すが、彼らの情報処理アプローチと彼らの判断の根拠は異なる。したがって、評価について議論する訓練を受けた評価者の委員会は、ハイステークスの決定を下すべきです。委員会は、彼らの決定を合否に限定するべきではなく、正当化によって彼らの決定を動機付けるべきです。
・利益相反を避ける：専門家の評価者は、個々の学習者の学習過程に関与するべきではありません。
・語られる基準やマイルストーンを使う
・委員会メンバーの訓練：専門家アセスメント担当者は、規格の解釈方法に関する訓練を受けるべきである。
・情報の明確さに比例した審議：ほとんどの学習者に関する決定は難しくなく、多くの時間を必要としません。一部の学習者のパフォーマンスは、境界線としての資格がある可能性があるため、これらの決定にはより慎重な検討が必要になります。利用可能なデータに基づいて決定を下すことが不可能な場合は、より多くのデータポイントを収集する必要があります。
・学習者および指導者の意見：これらの決定には偏りがあり、学習者との関係が損なわれる可能性があるため、指導者は最終的な合否判定に責任を負うべきではありません。しかしながら、メンターは、例えば、ポートフォリオの信憑性について署名すること、または学習者によって注釈が付けられた勧告を委員会に書くことによって、決定のための入力を提供することができる。
・上訴手続き：学習者は決定に対して上訴する可能性を持つべきです。
Bok, H. G., Teunissen, P. W., Favier, R. P., Rietbroek, N. J., Theyse, L. F., Brommer, H., ... & Jaarsma, D. A. (2013). Programmatic assessment of competency-based workplace learning: when theory meets practice. BMC Medical Education, 13(1), 123.
Driessen, E. W., Van Tartwijk, J., Govaerts, M., Teunissen, P., & van der Vleuten, C. P. (2012). The use of programmatic assessment in the clinical workplace: a Maastricht case report. Medical Teacher, 34(3), 226-231.
Oudkerk Pool, A., Govaerts, M. J., Jaarsma, D. A., & Driessen, E. W. (2018). From aggregation to interpretation: how assessors judge complex data in a competency-based portfolio. Advances in Health Sciences Education, 23(2), 275-287.
van der Vleuten, C. P., Schuwirth, L. W. T., Driessen, E. W., Dijkstra, J., Tigelaar, D., Baartman, L. K. J., & van Tartwijk, J. (2012). A model for programmatic assessment fit for purpose. Medical
Van Der Vleuten, C. P., Schuwirth, L. W. T., Driessen, E. W., Govaerts, M. J. B., & Heeneman, S. (2015). Twelve tips for programmatic assessment. Medical
「programmatic assessmentでの修正とは何ですか？」
Neil Rice
従来の評価では、評価に「不合格」となった学生には、通常、再評価を受ける前に、援助を受けたり、特定の知識、スキル、その他の問題について指導する機会が与えられます。programmatic assessmentでの修正は、単に再評価に関するものではありません。
programmatic assessmentにおける改善の原則は、一連の関連情報が内省的で個別化された評価と開発に利用可能であるという前提に基づいています。パフォーマンスモニタリングに応じて学術的支援サービスによって修復を開始することができますが、programmatic assessmentで詳細なフィードバックが一般的である場合、学生は自己反映して賢明な修復決定をすることに従事するようになります。
長期にわたる継続的な性質と進行に対する評価の頻繁な外観は、従来の評価よりも早く修復が行われる可能性があることを意味します。programmatic assessmentでは、学生の評価は個別ではありません。評価のパフォーマンスの傾向とパターンは、従来の（個別の合否）評価ではそのような感度が欠けている可能性がある有益な修復活動の要件を示します。programmatic assessmentは一般的に非常に優れており、修復が役立つ可能性がある低レベルの問題を拾います。例えば、期待されたレベルで仕事をしていない、または進歩していないが、「合格する」ために十分な努力をしている学生には、programmatic assessment修正モデルで早期にフラグが立てられます。
「Programmatic Assessment の質をどのように保証しますか？」
Adrian Freeman
従来の評価とProgrammatic Assessment の間には、品質保証に類似点と相違点があることがわかります。多くはプログラムの設定方法によって異なります。
たとえば、前テストを通じて知識をテストするなど、「数字」ベースのプログラム内に重要なコンポーネントがある場合があります。それぞれの個々のテストとその項目は、例えば、ブロック終了の単一の選択テストと同じように、品質を監視するための同じ定量的（心理測定）測定に従うことができます。Entrustable Professional Activities（EPA）やOSCEステーションなどの従来のコンピテンシー評価と同じ品質保証方法を利用できるスキルをテストする個々のコンポーネントがあるかもしれません。
ただし、プログラムによる評価の明確な概念の1つは、それぞれがローステークスである可能性がある複数の判断ですが、最終的な判断につながるのは、すべてのローステークス評価の全体像です。その最終見直しプロセスでは、さまざまな品質の観点が必要になります。
プログラムによる評価は、有効性に関するKaneの観点に明らかに役立ちます。プロセスは複数の小さな判断から、定量的および定性的判断を組み合わせる最終的な推論を行います。ローステークスの個々の審査は、それらの審査/教員のためにそれほど集中的でないトレーニングを必要とするかもしれません。ただし、最終的な推論を行うためにすべての証拠をまとめている試験官は、ベンチマークなどの慎重なトレーニングを必要とします。
品質保証の重要な側面は、データの収集、保存、および表示です。システムは複数の試験官にまたがって調整されるべきです。データが記録されていることを確実にするために管理／教員による定期的な体系化された見直しがあるべきであり、進行の決定の時点で大きなギャップがないことでしょう。
Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: a practical guide to Kane's framework. Med Educ 2015;49(6):560–75.
Schuwirth LWT, van der Vleuten CPM. Programmatic assessment and Kane’s validity perspective. Med Educ. 2012;46(1):38–48
「どのようなITサポートが必要ですか」
Cees van der Vleuten
プログラムによる評価における主な手段は電子ポートフォリオです。物理的なポートフォリオよりも電子的なポートフォリオを持つ利点は次のとおりです。
・移植性の向上
・情報への容易なアクセスと保存
・評価データ収集における電子的支援（例えば、マルチソースフィードバックラウンドの組織化および管理における）
・データの自動集計により、ポートフォリオの効率的な概要と判断が容易になります（メンタリングまたは重要な意思決定のために）
・簡単なナビゲーションとデータのフィルタリング
・魅力的なフィードバックレポート（グラフ、スパイダーダイアグラムなど）
こういうシステムでは、Webベースのアクセスと個人用デバイスの使用が必須です。多くの場合、これらの電子ソリューションには独自の構成フレームワークがあります。これはプログラムによる評価の実装と一致するはずです。また、データ集約は、データポイントをまたぐ構造で可能な場合にのみ可能です。そのため、データポイントを取得するために使用される機器は、（たとえばコンピテンシーやAPAフレームワークによって）同様の構造を持つ必要があります。
Reference
Driessen, EW, Muijtjens, AM, van Tartwijk, J & van der Vleuten, CP (2007) Web- or paper-based portfolios: is there a difference? Medical Education, 41, 1067-73.
