Twelve tips for embedding assessment for and as learning practices in a programmatic assessment system
Aubrie Swan Sein , Hanin Rashid , Jennifer Meka , Jonathan Amiel & William Pluta
Published online: 13 Jul 2020
Download citation https://doi.org/10.1080/0142159X.2020.1789081
https://www.tandfonline.com/doi/full/10.1080/0142159X.2020.1789081?af=R
評価は、学生のパフォーマンス、能力、学習不足、進歩への準備、専門的な活動の委託などを測定することができる。評価はまた、学生が自らの学習を指示するように促すために、学習行動を促進したり、形にしたりすることもできる。評価システムはまた、学生を医学の実践に向けて準備させ、信頼性などの重要な職業上の価値観を養うのにも役立つ。臨床実習前の学生が患者ケアに責任を持つようになると、学生の長期的な学習を管理し、知識を実践に生かすことに動機付けを与える臨床実習前の評価システムは、学習と専門家としてのアイデンティティーの形成を強化することができる。医学部は、学習の尺度としての評価の重要性を強調することから、学習を促進するために、また学生の自己調節を促進するための学習として、意図的に評価を使用することにシフトすることができる。
Programmatic assessmentは、個々のアセスメントが学習者にフィードバックを提供し、各アセスメントが全体的に見られる大きなシステムの一部として見られることで、ハイステークスな能力/昇進の決定を行うものである。2018年版「the 2018 Consensus Framework for Good Assessment」によると、Programmatic assessmentの目的は以下の通りである。
1. 学習、個々の学生に関する決定、カリキュラムの質に対する評価の影響を最適化する。
2. 個々の学生の強みと弱みの領域を特定し、フィードバックを提供する。
3. 学生が自己評価を行い、学習の必要性を判断するための適切な根拠を提供する。
4. 学生の弱点を修正するための動機付けを行う。
5. 改善の指針となる指導効果に関する情報を提供する
ヒント1 学習原理のためのアセスメントを使用して、学習を強化するためのカリキュラムとアセスメントの構造を構築する
カリキュラム設計のプロセスは、意図された教育プログラムの学習成果に沿ったカリキュラム構造を計画することから始まります。学習を強化するための評価システムを設計することが次の段階になります。
学習と改善のために評価を利用することを組織として約束する際には、評価の目的と評価の成果の利用について明確に伝える必要がある。
学習のために理想的に設計された評価は以下のようなものである
1) 学習者がコースの目的を達成する上で自分がどこにいるのかを明確にするのを助ける
2) さらに何をする必要があるのかを特定する
3) 自分の知識やスキルを新しい状況に移すための準備をする
4) 素材のより深い理解を得ることを可能にする
5) 学習を個人化する機会を提供する、などである。
学習に焦点を当てたカリキュラムと評価システムが設計されれば、適切な指導と学習の機会を開発することができる。
ヒント2 コンピテンシーに基づいた教育と評価の仕組みと、パフォーマンスよりも学習を重視する文化を採用することで、学習を促進する。
学習に焦点を当てた理想的なカリキュラムと評価システムは、学習者と教師の間で成長のマインドセット志向を促進する。コンピテンシーに基づいた教育と評価の構造は、学習者が仲間との相対的なパフォーマンスではなく、事前に定義されたしきい値を達成したかどうかによって、学習者の成長の基準を定義している。合格/不合格の評定を採用することは、競争を減らし、クラスのメンバー間の協力関係を促進することができます。
自己調節を促進する評価システムの構築は、短期的な学習や非効率的な学習戦略（詰め込み学習など）を用いた暗記に報いることを意図的に避けるべきである。
ヒント3 医師としての学生の専門的なアイデンティティを開発するための評価の文化を作る
私たちは、臨床実習前の評価システムと評価の文化全体は、学習者の専門的なアイデンティティ形成、すなわち、学習者の中核的価値観、道徳原則、自己認識を支援することによって、医療の専門的規範と一致しているべきであると考えています。倫理原則は、医学生に期待値を設定し、正直さと誠実さに関連した職業上の中核的な価値観を託すことができ、学生に明確かつ具体的な基準を設定し、学生との期待値設定の話し合いを行うことで、学生は専門的に行動し、これらの基準に対して仲間に説明責任を負わせることを学ぶことができる。
試験監督なしの試験と時間的柔軟性のある試験は、専門家としてのアイデンティティの形成とプロフェッショナリズムを育成するのに役立つ。
ヒント4 学習と成長を促進するために、コーチを活用して進歩を支援し、アカデミックサクセスシステムを開発する。
学生が成績、反省、学習機会、次のステップを振り返るためのコーチやメンターを提供することも、学生の学習を促進する上で重要である。リメディエーションを学業支援の機会と捉え、積極的かつ予防的な支援システムを確立することは、学習と改善を導き、将来の受験失敗を防ぎ、学習に向けた学校の文化を方向付けることができる。
エラーに焦点を当てることは学習の強力な推進力となる可能性がある。学習の専門家は、評価や練習問題から学ぶ方法、フィードバックを処理して弱点を改善する方法、より深い学習を促進するために自己評価戦略を活用した学習戦略をモデル化し、学生に時間管理のスキルを教え、自己テスト戦略を促進する方法など、すべての学生が長期的な学習戦略を使うことができるように支援することができます。
ヒント5 学生の自主的な学習を促進するために、学習としての評価を促進する
学習としてのアセスメントは、学習とアセスメントを絡め、学習に対する所有権を学生の役割に置く。その意図は、学生がメタ認知戦略を用いて学習を計画し、監視し、自己調節することである。ポートフォリオやリフレクション演習などの学習ツールとしての評価は、学生がメタ認知的になり、学習を自己調節するのに役立つ。学生のポートフォリオをプログラムの評価に使用することは、複数の評価をまとめ、時間をかけて評価の証拠を収集し、複数の評価者からのフィードバックを集めるのに役立つ。
ヒント6 頻繁に行われるローステークス評価とフィードバックを通じて、学習のための評価を促進する
アセスメントの構造を確実にして、学生が学習とフィードバックのための評価を頻繁に受けることができるようにすることが重要である。学習は、事前評価、真の評価、および事後評価の各段階を含む評価サイクルのすべての段階を通して行われます。事前評価の段階では、試験の設計図や模擬試験を介して試験について学習することで、何を学習し、何を学ぶべきかについて学生に指示を与えます。真の評価段階では、検索の練習をすることで、情報を記憶し、将来的に情報を検索する能力を高めます。評価後の段階では、学生は自分のパフォーマンスに関するフィードバックを受けたり、不正確な解答を復習したりすることで、失敗から学ぶことができる
ヒント7 累積評価を使用して、学生が時間をかけて情報を検索し、応用することを奨励する。
間隔をおいた実践の原則に基づいて、評価システムは、学生を直接または間接的に、累積的かつ反復的にコンテンツにさらすべきである。最近のコンテンツとプログラムを通して学習したコンテンツを含む累積的な評価は、学生の学習と長期的な定着を促進します。これは、学生が累積的な試験を期待している場合、学生は時間をかけてコンテンツを利用可能な状態に維持しようと努力するためです。学校は、学習を強化し、学習の自己調節を促進するために、定期的な累積試験の実施や、カリキュラム全体を通して過去のトピックの問題を試験に統合することを検討することができる。
ヒント8 様々なタイプの評価問題を使用して、学生が様々な学習戦略を採用することに挑戦します。
検索の練習がテスト効果をもたらし、質の高い学習につながることはよく知られている。問題は生徒が検索練習に取り組み、学習を応用することに挑戦しているからである。
試験が、深い問題に答えることで検索の練習をさせ、事実を勉強して覚えるだけでなく、より深い推論と精緻化にも関与させることができると、学生はよく学習する。なぜ、どのように、どのように、どのように、そしてwhat-ifに答えるように生徒に問いかける問題は、より深い理解と学習レベルを促進する。
ヒント9 複雑な問題を使って、知識の領域を超えて統合する
基礎科学を現在および将来の目標にとって重要であると考える学生は、より高い持続性を示し、 より深い学習のための戦略を採用し、達成度の向上を示す可能性がある。評価のための質問は、基礎科学、社会・行動科学、健康システム科学、人文科学などのさまざまな領域につい て学生が価値を認識しているかどうかを確認するのに役立ち、関連性のあるものでなければならず、学生の意欲を刺激し、思慮深く答えさせるものでなければならない。
総合的な学習を評価するために、多くのタイプの評価問題を使用することができます。これらには、関連する情報間の関連性を引き出すリフレクション問題が含まれます。多肢選択式自己評価問題や概念評価問題では、臨床シナリオの所見の背後にあるメカニズムを問うことができる。学生が患者の問題と関連するメカニズムを説明する段落を書く臨床推論演習も、学習の統合化に役立つ。学生が鑑別診断と患者の問題の根拠を提案する診断正当化演習も利用できる。
ヒント10 認知知識評価システム内での本物の学習実践を活用する
医師には、チームとしての仕事と学習、コミュニケーションスキルとピアアセスメントスキルの開発、新しい知識の参照と適用の能力と意欲が必要である。協働学習は、個人作業と比較して、また競争的な学習パラダイムと比較して、学業成績の向上、対人関係の改善、社会的支援の認識、自尊心、学業プログラムの定着につながる可能性がある。
評価における本格的な認知的実践は、オープンブック試験を受けることである。研究では、オープンブック試験とクローズドブック試験の両方の利点が示されている。
概念的な問題のクローズドブック小テストを終了すると、学生は情報を思い出す練習をし、小テストを検索の練習として使用するため、忘れることが少なくなることがある。オープンブックテストの準備をすることで、学生は詳細を暗記することよりも、重要な概念や内容を理解することに集中するようになるかもしれません。
ヒント11 学習を促進する非懲罰的な試験の再受験プロセスを作成する
いくつかのprogrammatic assessmentでは、長期にわたって複数の評価が学生の進級に関する重要な決定を下すために使用され、学生の評価の観点から再受験が不要になるため、再受験は利用されません。再試験を評価システムの一部として通常かつ非懲罰的なものとすることで、教育機関は学習文化を変え始め、学生が能力を達成するために必要な知識、技能、および態度を習得することに責任を持てるようにすることができる。公平な再評価は、学生に適切な補習を提供し、以前に特定された不備分野の学習が成功したことを証明する機会を提供すべきである。
最適な再受験のタイミングは間違いの量と種類によって異なります。再受験は失敗したときの近く、その後の学習活動に参加した後、および/または学生が準備ができていると感じたときに行うことができます。迅速な再受験の利点としては、カリキュラムの次のブロックに必要な教材を学習し、遅れを取らないことが挙げられます。別のコースでの再履修は、新しい内容の学習に支障をきたす可能性がある。概念的な知識が不足している学生や、知識が不足している学生は、専用の学習時間や学習のための追加サポートを受けることができるかもしれません。
ヒント12 試験のフィードバックデータを学生の学習に活用し、最終的には重要な意思決定に活用する。
学生に試験のフィードバックを与えることは、多くの指導戦略よりも学習に影響を与える可能性がある。ハイステークス 評価での迅速なフィードバックは、学生が再びテストを受けることができないことが多いため、学習に大きな影響を与える可能性があります。学生がすぐにフィードバックを与えて活用しなければ、間違った答えが学習され、強化される可能性があります
programmatic assessmentは、長期的に収集された評価から複数のデータポイントを使用してハイステークスの決定を行うことに依存しているため、学生の学習進度委員会のレビューのためのデータをまとめるために評価技術を使用することも重要です。評価データは、カリキュラムやプログラムの評価と改善の目的でも使用することができ、また使用すべきである
結論
よく設計されたアセスメントプログラムは学習に多くの利益をもたらしますが、エビデンスに基づいたアセスメントシステムの開発と実施は、さらなる検討と研究が必要な分野です。
これらのヒントは、以下の場合にアセスメントシステムが学習を最適化できることを示している。
(1) 学習者が信頼関係のある環境に入り込み、それを促進する
(2) 学校がコンピテンシーのしきい値を設定し、学習者がコンピテンシーに達するまで再試験を受ける機会を与える
(3) 学校が十分なフィードバックとリソースを提供し、自主的な学習を促進する。
(4) 学習者と学校が協力して学習に焦点を当て、「失敗」の汚名をなくす - 背景や学習戦略によっては、より多くの時間や努力を必要とする内容もある
(5) 評価は事実を思い出すだけでなく、臨床的な推論に焦点を当てている
(6) 学生が以前に学んだことを忘れないように、学校は累積評価を行っている。
私たちは、「思考を混乱させる」ためのヒントを提供し、学校が肯定的な学習行動を生み出すための評価プログラムを開発するのを支援してきたが、これにより、学生が患者ケア活動の中で知識を伝達し、応用できるようになる。すべての管理者、教員、学生がアセスメントを学生やプログラムのための最も重要な学習ツールとして受け入れるためには、文化の変化が必要であると思われます。教育環境は複雑であり、最終的には、学校は長期的な学生の学習にとって何が最善か、学生の幸福のために何が最善か、何が実現可能か、そして何が学校の学習文化とうまく機能するかのバランスをとる必要がある。
