医学教育つれづれ

医学教育に関する論文のPOINTを書き出した備忘録的なブログです。

オタワ2020 programmatic assessmentのためのコンセンサス・ステートメント - 1. 原則の合意

Ottawa 2020 consensus statement for programmatic assessment – 1. Agreement on the principles
Sylvia Heeneman, Lubberta H. de Jong, Luke J. Dawson, Tim J. WilkinsonORCID Icon, Anna Ryan, Glendon R. Tait, show all
Published online: 03 Aug 2021
Download citation https://doi.org/10.1080/0142159X.2021.1957088

 

https://www.tandfonline.com/doi/full/10.1080/0142159X.2021.1957088?af=R


はじめに

Ottawa 2018 Consensus framework for good assessmentでは、評価のシステムについての基準が示された。現在、programmatic assessmentが確立されているプログラムが増えてきている。

programmatic assessmentは、van der VleutenとSchuwirthによって導入されたもので、個々の評価方法やツールにはそれぞれ限界があり、個々の評価だけを(合否)判定に使用する場合には妥協が必要であるという原則に基づき、アセスメントの学習・判断機能を最適化することを目的とした、アセスメントと教育のデザインに対する具体的なアプローチとして定義されています。様々な評価形式の複数のデータポイントに由来する評価情報とフィードバックは、学習者とスタッフによって集約され、学習や、次年度への昇格や資格取得などのハイステークな意思決定に利用されます

programmatic assessmentは、様々な主要論文で説明されているように、いくつかの重要な原則に基づいて構築されている

1 すべての評価(の一部)はデータポイントにすぎない
2 すべてのデータポイントは、学習者に意味のあるフィードバックを与えることで、学習に最適化される。
3 合否判定は、1つのデータポイントで行われるものではない
4 様々な評価方法が混在している
5 どの方法を選択するかは、その方法を使用する教育上の正当性による。
6 総括的評価と形成的評価の区別は、評価の連続性に置き換えられる
7 学習者の進歩に関する意思決定は、評価に比例して行われる
8 評価情報は、適切なフレームワークに向けて、データポイント間で相互に関連付けられる
9 ハイステークスな決定(昇進、卒業)は、信頼性と透明性のある方法で、全体的なアプローチを用いて行われる。
10 中間レビューは、学習者の進級について学習者と話し合い、決定するために行われる。
11 学習者は、すべての評価データの自己分析を用いて、(教員の)メンター/コーチと繰り返し学習ミーティングを行う。
12 プログラム評価は、個々の学習の優先順位をサポートするために学習を調整することで、学習者の主体性と学習に対する説明責任を徐々に高めていくことを目的としています。

programmatic assessmentであるためには、理論的原則が教育および評価プログラムの設計に統合され、学習機能(すなわち原則1/2/3/11/12)および評価の決定機能(すなわち原則7/8/9/10)の両方に関連する原則が存在する必要があります。

このOttawa 2020 consensus statement for programmatic assessmentでは、実践と研究からの洞察をもとに、programmatic assessmentの原則を定義している。

 

方法

専門家グループのメンバーが所属する15の医療専門職教育プログラムについて、programmatic assessmentの構成要素、根拠、重要性を把握するための目録を作成した。2020年のオタワ会議で開催されたprogrammatic assessmentのワークショップとシンポジウムの参加者からの意見も取り入れた。その結果を、現在の理論と研究に照らし合わせて考察した。

 

結果と考察

programmatic assessmentの重要かつ認識可能な側面と考えられる12の原則が示された。これらの原則は、様々なアプローチと厳密さをもってしても、全体的にカリキュラムと評価のデザインに使用されており、programmatic assessmentは、実践と研究の両方に組み込まれた、達成可能な教育と評価のモデルであることを示唆している。programmatic assessmentがどのように運用されているかを知り、共有することは、教育者がそれぞれのプログラムにprogrammatic assessmentを導入する際の一助となるでしょう。

 

原則1/2/3:すべての評価はデータポイントである/すべてのデータポイントは学習者に意味のあるフィードバックを与えることで学習に最適化される/合否判定は1つのデータポイントでは行われない

根拠は、「評価は学習行動を促進する」という観察から導き出されており、したがって、学習アプローチにポジティブな影響を与えることが最優先されなければならないということです。

 

原則4/5:評価方法が混在している/方法の選択はその方法を使用する教育的正当性による。

これらの原則の重要な根拠は、どのような評価方法であっても、妥当性と信頼性の面で限界があり、ミラーのピラミッドの1つのレベルにしか使用できないため、ピラミッド全体をカバーし、信頼性と妥当性の適切な組み合わせを確保するためには、緻密で目的に応じた方法の組み合わせを使用する必要があります。さらに、どのような評価形式を選択するにしても、意図する学習成果や教育活動との建設的な整合性に基づいて行う必要があります

 

原則6/7:総括的、形成的の区別をステークスの連続性に置き換える/学習者の進歩に関する意思決定はステークスに比例して行われる

プログラムアセスメントでは、アセスメントのステークスは、低ステークスから高ステークスまでの連続体として概念化されています。これらの原則を活用する上での注意点がいくつか挙げられました。1つは、重大な決断を下す際にはデータを飽和させる必要があるという点、また教育現場や職場環境における心理的安全性の必要性についても指摘されました。最後に、プログラム評価というリスクの高い意思決定機能の中で、学習者の成長に焦点を当て、リフレクションを可能にする必要性が指摘されました。

 

原則8:適切なフレームワークに向けた、データポイント間の評価情報の三角測量

三角測量の原則は、領域特異性に基づいています。コンピテンシーのような構成要素は、コンテンツの領域が同じであれば、評価形式を超えてよく一般化します。

 

原則9:ホリスティックなアプローチを用いて、信頼性と透明性のある方法で行われるハイステークスな意思決定

コンテクスト、評価方法、多様な評価者を超えた幅広いサンプリングから得られる豊富な情報に基づいて行われます。手続き上の対策としては、訓練を受けた専門家で構成される評価委員会の任命、判断の正当性の提示、コーチ/メンターと学習者のメンバーチェック、不服申し立て手続きの設置などが考えられます。

 

原則10:学習者の進歩について学習者と話し合い、決定するために中間レビューが行われる

この中間レビューは、ハイステークスな意思決定の信頼性を確保するための重要な手続き上の措置とも言え、学習者がどのようにしているのか、何ができるのかという「診断」メッセージを与えることを目的としています。この中間レビューでは、学習者がコーチ/メンター(原則11)の指導を受けていること、そしてフィードバックの対話が行われていることが重要です。

 

原則11:学習者は、すべての評価データの自己分析を用いて、(教員の)メンター/コーチと繰り返し学習ミーティングを行う。

上記(原則1/2/3、10)で示したように、学習と専門的な開発にはフィードバックが不可欠である。そのフィードバックを学習者が利用する際には、自己分析やリフレクションを行うことが多い。教員育成プログラムの重要性と、メンタリング関係において指導手段(原則8参照)として機能するポートフォリオが、ハイステークスな意思決定にも使用される場合に、メンターやコーチが感じる可能性のある緊張感に注意する

 

原則12:プログラム的評価は、学習が個々の学習の優先順位をサポートするように調整されることを通じて、学習者の主体性と自らの学習に対する説明責任を徐々に高めようとするものである。

評価の学習機能(原則1/2/3)については、評価とフィードバックはリスクが低いものとして設計されており、継続的な情報の流れが自己調整学習を促進する。自己決定理論や自己調整学習などのフレームワークは、学習者の学習に対する動機付けや主体性の重要性を確かに支持し、プログラムによって学習者が自分で評価を開始したり、自分の進歩のための証拠を選択したりできる場合には、エージェンシー感が促されました。

programmatic assessmentで学習に焦点を当てていることから、すでにうまくいっている人はサポートされ、さらにうまくいくように促され、すべての医療従事者にとっての生涯学習の重要性が強化されていることがわかります。