医学教育つれづれ

医学教育に関する論文のPOINTを書き出した備忘録的なブログです。

評価の次の時代：信頼できる評価システムの構築

The Next Era of Assessment: Building a Trustworthy Assessment System

Authors:

Holly A. Caretta-WeyerEmail Holly A. Caretta-Weyer

Alina Smirnova

Michael A. Barone

Jason R. Frank

Tina Hernandez-Boussard

Dana Levinson

Kiki M. J. M. H. Lombarts

Kimberly D. Lomis

Abigail Martini

Daniel J. Schumacher

David A. Turner

Abigail Schuh

https://pmejournal.org/articles/10.5334/pme.1110

 
DALL·Eによって生成された
 
 

医学教育におけるアセスメントは、それぞれ明確な見解と価値観を中心とした一連の時代を経て発展してきた。これらの時代には、測定（例：知識試験、客観的な構造化臨床試験）、次に判断（例：職場に基づく評価、委託可能な専門的活動）、そして最近ではシステムまたはプログラムによる評価が含まれ、時間をかけて複数の種類とデータ源が収集され、個々の学習者が研修の次の段階に進む準備ができていることを確認するために能力委員会によって組み合わされる。しかし、アセスメントの社会的背景にはあまり関心が払われておらず、学習者や現場の評価者を含む様々な利害関係者によるアセスメントへの信頼が全体的に低下している。

有意義に前進するために、著者らは、信頼の再確立がアセスメントの次の時代の基礎となるべきだと主張している。私たちの行動や介入において、医学教育指導者はシステムレベルで評価に取り組み、信頼を構築することが不可欠である。そのために、著者らはまず、評価の社会的文脈化と信頼との関連に関する考え方をレビューし、低信頼の現状が続く場合の結果について論じている。そして、信頼関係や信用できる関係は、個人レベルだけでなく、組織やシステムレベルでも存在しうることを提唱する。最後に、著者らは、将来の評価システムにおいて、複数のレベルで信頼を構築するための枠組みを提案する。この枠組みは、専門家と人間の成長を招き、支援するものであり、評価を医学教育と国民の健康との間の社会的契約を再交渉する基本的な要素として位置づける可能性を持つものである。

 

医学教育における評価の現状

  1. 技術的側面への重点: 過去の評価は、主に知識試験や客観的臨床試験（OSCE）のような技術的な測定に焦点を当てていました。これらの方法は、学習者の知識や技能を定量的に測定することに重点を置いています。

  2. 判断としての評価: 評価は、職場に基づいた評価や信頼できる専門活動（EPA）など、より主観的な判断を伴う形式へと進化しました。これらは、学習者が実際の職場環境でどのように機能するかを評価することを目的としています。

  3. プログラム的評価への移行: 最近では、複数のデータタイプと情報源を時間をかけて収集し、組み合わせることで、学習者が次のトレーニング段階に進む準備ができているかを保証するシステムまたはプログラム的評価に焦点が移っています。これには、能力委員会による継続的な評価が含まれます。

  4. 社会的文脈の欠如: これまでの評価の進化では、技術的な側面と実装に多くの注意が払われてきましたが、評価の社会的文脈には十分な注意が払われていませんでした。これが、学習者や一線の評価者を含むさまざまなステークホルダーからの信頼の全体的な低下につながっています。

  5. 信頼の損失: 評価の社会的文脈への注意不足は、評価システムへの信頼の全体的な侵食を招きました。これは、学習者が不公平に評価されていると感じたり、評価が個人の成長や開発に直接的なフィードバックを提供していないと感じる場合に特に顕著です。

  6. 公衆と専門職への説明責任: 評価の究極の目的は、学習者が公平に評価されていることを保証し、医療システムが公衆の健康と疾病のニーズに対応し、包括的で思いやりのあるケアを提供し、能力のある労働力を訓練することを公衆が信頼できるようにすることです。

評価の信頼を阻む要因

  1. バイアスと不公平: 評価プロセスにおける意識的または無意識的なバイアスは、特定の学習者群に不利益をもたらす可能性があり、評価の信頼性と公正性を損ないます。これには、人種、性別、民族性、社会経済的背景に基づくバイアスが含まれる場合があります。

  2. 透明性の欠如: 評価プロセス、基準、結果の不透明性は、学習者、教育者、その他のステークホルダーの間での信頼を損なう可能性があります。評価の目的、方法、利用される基準が明確に共有されていない場合、評価プロセスへの信頼は低下します。

  3. フィードバックの欠如または不適切なフィードバック: 学習者に対する適切で建設的なフィードバックの欠如は、評価の意義と有効性に疑問を投げかけます。フィードバックが提供されない、またはフィードバックが不明確、非具体的、または非建設的である場合、学習者は評価プロセスに疑問を持ち、信頼を失う可能性があります。

  4. 標準化と個別化のバランスの欠如: 評価が過度に標準化されていると、個々の学習者の特異性やニーズが十分に考慮されない可能性があります。一方で、評価があまりに個別化されていると、公平性と比較可能性が損なわれる可能性があります。

  5. 教育と評価のミスマッチ: 学習目標やカリキュラムの内容と評価が一致していない場合、評価は学習者の実際の能力や知識を正確に反映していないと見なされる可能性があります。

  6. 過度な圧力とストレス: 評価が過度の圧力やストレスを引き起こす場合、これは学習者のパフォーマンスに否定的な影響を及ぼし、評価の結果に対する信頼性を低下させる可能性があります。

  7. リソースとサポートの不足: 評価者が適切な訓練を受けていない、または評価プロセスを支援するための十分なリソースがない場合、評価の品質と一貫性が低下する可能性があります。

  8. 教育的価値の欠如: 評価が学習プロセスの一部としての役割を果たしていない、または学習の促進に貢献していないと感じられる場合、評価は形式的な演習と見なされ、その信頼性が問われます。

  9.  

  10. 評価の信頼回復

    1. 透明性の向上: 評価基準、プロセス、および結果を明確にし、全ての関係者と共有します。評価の目的、使用されるツール、評価方法がどのように学習目標に関連しているかを説明することが重要です。

    2. 公平性と一貫性の保証: 評価基準を一貫して適用し、バイアスを最小限に抑えるための措置を講じます。これには、評価者の訓練や複数の評価者の使用、匿名化された評価などが含まれます。

    3. 建設的なフィードバックの提供: 学習者に対して具体的で、適時な、かつ建設的なフィードバックを提供します。フィードバックは、学習者が自分自身を改善するための具体的な行動を特定できるようにする必要があります。

    4. 教育者と評価者の研修: 教育者と評価者に対して、効果的な評価方法、バイアスの認識と管理、建設的なフィードバックの提供方法に関する継続的な研修を提供します。

    5. 学習者の参加とエンゲージメントの促進: 評価プロセスの設計と実施に学習者を巻き込むことで、評価が彼らの学習ニーズと目標に合致していることを確認します。自己評価や相互評価の機会を提供することも有効です。

    6. フォーマティブ（形成的）評価の活用: 学習プロセス全体でフォーマティブ評価を行い、学習者に継続的なフィードバックと成長の機会を提供します。これにより、評価は学習の一部と見なされ、学習者は評価結果を自分の学習に積極的に活用できるようになります。

    7. 評価方法の多様化: 一つの評価方法に依存するのではなく、複数の評価方法（筆記試験、OSCE、ポートフォリオ、360度評価など）を組み合わせることで、学習者の能力をより公平かつ正確に評価します。

    8. 継続的な評価と改善: 評価システムを定期的にレビューし、フィードバックを収集して、必要に応じて調整します。評価プロセスの有効性を評価し、改善のための戦略を実施します。

    9. 文化とコミュニケーションの改善: 評価を学習と成長の機会として位置づける文化を育成し、全ての関係者間でオープンで正直なコミュニケーションを促進します。