Technology enhanced assessment: Ottawa consensus statement and recommendations
Richard Fuller, Viktoria C. T. Goddard, Vishna D. NadarajahORCID Icon, Tamsin Treasure-Jones, Peter YeatesORCID Icon, Karen ScottORCID Icon, show all
Pages 836-850 | Published online: 30 Jun 2022
Download citation https://doi.org/10.1080/0142159X.2022.2083489
https://www.tandfonline.com/doi/full/10.1080/0142159X.2022.2083489?af=R
ポイント
教育機関と個々の教育者は、評価を強化するためにテクノロジーを採用する準備ができているかどうかを評価する必要がある。これには、アセスメントに関わるプログラム、その「人、プロセス、製品」のデジタル的な公平性と準備の確認が含まれる。
テクノロジーは、学生や教員の積極的な関与のもと、評価の焦点や推進力ではなく、評価の実現手段であるべきである。
学生は、Technology Enhanced Assessment の計画や実施に積極的に参加することが望ましい。
評価における新しいテクノロジーの導入は、チャンスであると同時に大きなリスクも伴い、質の悪い評価の実践の影響を増大させる可能性がある。
テクノロジーは、アセスメントの真正性と個別性を最大化するものでなければならず、また、テクノロジーに対応したヘルスケアと効果的に連携するものでなければなりません。
テクノロジーは、評価のデザイン、スケジューリング、実施、およびフィードバックを強化し、学習者と教育者の能力開発をサポートする機会を提供する必要があります。
評価とフィードバックの「ライフサイクル」モデルは、評価システムの変更をサポートすることができます。
技術的に強化された評価の影響を評価し、普及させ、保健医療専門職教育内で加速させることが不可欠である。
技術強化型評価のベストプラクティスを世界的に共有することは、すべての保健医療専門職の教育者の責任である。
リソースの少ない環境から学び、共に学び、実装し、同僚をスキルアップさせ、デジタルの公平性とアクセシビリティのギャップを減らすことに重点を置くことを考慮する必要があります。
はじめに
2011年、技術支援型アセスメント（TEA）、その優れた実践、および将来の展望に関するコンセンサスレポートが作成された。それ以来、技術の進歩は、学習者の評価方法に革命をもたらす革新的な実践とツールを可能にした。この最新版では、技術の可能性と、学習者の達成度、教員の能力開発、医療行為の改善に関する評価の最終的な目標についてまとめている。
方法
本報告書の資料として、HPEと一般高等教育におけるTEAに関する学術論文、2020年オタワ会議ワークショップからのフィードバック、Covid-19パンデミック時の評価技術実践に関する学術論文を使用しました。
結果と結論
グループは、解決すべきコンセンサスの領域とTEAの進化において生じた問題を特定した。3段階のアプローチ（技術導入の準備、アセスメント技術の適用、評価・普及）を採用した。応用段階では、アセスメントの「ライフサイクル」アプローチを採用し、次の5つの主要な焦点に焦点を当てた
(1) アセスメントの信頼性の向上
HPEにおけるTEAの開発は、教育学、テクノロジー、臨床実践の「真正性のインターフェース」をどのように埋めるかを批判的に検討する必要がある。
教育学的に、評価の焦点は、学習の評価という唯一の焦点から、学習のための評価、ひいては「持続可能な評価」（Boud 2000）へとより大きな表現へと移行し続けている。その目的は、学生の今日の成績に成績をつけるだけでなく、学生の将来の学習や自己調整学習能力の成長を支援し、学習の目標を設定し、知識、スキル、行動をモニターすることである。持続可能な評価は、学生が教育現場だけでなく、将来の社会人生活を通じて、自らのパフォーマンスを評価する能力を身につけることを重視している（Boud 2000; Boud and Soler 2016）。
TEAにおいては、測定や評価ツールの技術的な開発にはあまり焦点を当てず、本物の学習／職場のコンテキストで学生の学習を促進する定性的で人格的な評価に大きな焦点を当てることを保証することを意味する。評価の結果としてのメタ認知機能および学生の関与を考慮した代替的な学習分類法を評価ツールと並行して使用することで、本格的なツールの選択と設計に情報を与えることができる（Marzano and Kendall 2007; Villarroel et al.2018 ）。
技術的には、TEAは教育技術開発の主要原則を活用し、「ナビゲーション」の問題を最小限に抑え、学習者と教員をデザインの中心に据えるべきである(Divami 2021)。
(2) 学習者とアセスメントの関わり合い
理想的な教育プログラムでは、学習者は学習プログラムを通じて常にアセスメントに完全に関与している（重要だと認識したときだけでなく）。本コンセンサスで紹介された各優良事例の主要原則は、非同期性と接続性の機会があれば、TEAを通じて学習者の関与をより促進することができることを強調している。学習者の積極的な関与は、より深い学習（Villarroel et al.2019）および達成と強く関連しており、活動を測定・監視するための技術（仮想学習環境など）の使用は、評価結果における学習者の早期関与と持続性の両方の重要性を強調するものである（Korhonen 2021）。
(3) デザインとスケジュールの強化
過去10年間の技術開発の多くは、特に質、または妥当性のレンズを通して見た場合、HPEアセスメントへのアプローチのかなりの発展を可能にした（St-Onge et al.2017）。
パフォーマンス評価におけるTEAの使用は、特にWork Based Assessment（WBA）形式を用いた場合に影響が大きく、臨床現場においてより学習者中心で日和見的なパフォーマンス評価の文化を発展させる機会を提供している。
学習者の個人および集団レベルの進捗を定期的に把握する評価管理システムの増加により、より新しい評価アプローチを設計するための大規模なデータセットの有意義な利用が可能になった。
オンラインテストの大規模かつグローバルな経験（および、従来のシングルベストアンサー形式の使用などによる「クローズドブック」形式のテストの課題）は、オープンブック形式のテストとテクノロジーがもたらす可能性への関心を新たにした（Zagury-Orly and Durning 2021）。
(4) アセスメント実施と学習者の達成度の記録の最適化
Covid-19がアセスメントに与えた最大の影響を見直すことは興味深いことである。オンライン知識テストの成長により、テストの配信と自動採点をサポートするために技術が使用される、効果的な大規模オンラインテストの出現を見ました。洗練された評価管理システム（アイテムバンキングも提供）は、EbelやAngoffなど、認知された標準設定方法の自動適用をサポートしています。また、テクノロジーは、受験者が自由記述で回答できるVSA（Very Short answer）問題や、採点の大部分を行う機械学習アルゴリズムの使用など、代替的な知識テスト形式の配信と自動採点を可能にしました（Sam et al.2018）。
アセスメントマネジメントシステムは、モバイルデバイスを用いた採点などを通じて、パフォーマンス評価、特にOSCEにおける採点と自動的な基準設定（ボーダーライン法の使用など）の提供をサポートし、学習者へのフィードバックも取り込むことができる。
また、評価におけるテクノロジーの活用は、評価の質の分析、事後評価指標、スコア報告にも強力なメリットをもたらしている（Boursicot et al.2021）。
(5) 学習者の進歩および教員の活動の追跡、それにより長期的学習と継続的評価のサポートを行うこと。
テクノロジーの活用は、評価のプロセスと実践に変革をもたらす可能性がある一方で、学習者の進歩に関するテクノロジー主導の「判断」の出現は、大きな課題と懸念をもたらす。べてのデータは最終的に人間によって生成されるため、意思決定の拙さ、コーディングの責任、あらゆるアウトプットの利用という「AI」の課題は人間に残ると強調しています（Broussard 2018）。
教育分野では、AIベースの技術は、学習者の成功を予測したり、学習または幸福に関連するかどうかにかかわらず、ターゲットとなるサポートが必要な人々を検出する機会を予告している（JISC 2020）。
データを使って、将来失敗するリスクのある学習者を特定し有意義に支援したり（Foster and Siddle 2020）、自己規制や学習者のよりよい選択を支援したり（Broos et al. 現在の課題は、この原則が、学習への有意義な影響という点で、教育の成果がまちまちであることを強調する、限られた発表済みの証拠ベースの中に位置づけられることである（Shum and Luckin 2019）。
まとめ
より広範な教育がパンデミックによって形成され続ける中、未来はどうなるのだろうか。国際的な高等教育情報技術団体であるEducauseは、デジタル技術が教育や評価をどのように形成し続けるかを探るために、「復元」「進化」「変革」の3つのモデルを提案している（EDUCAUSE 2021）。著者らは、パンデミック後の一連の代替的な未来を指摘していますが、そこでは、手頃な価格、デジタルセキュリティ、デジタルエクイティ、教育への公平なアクセスといった問題が、TEAへの戦略的アプローチを形成する原動力となることが予想されます。
今後10年間の技術トレンドに関する予測は、仕事、（健康）、社会に対するより広範な変化を強調するかもしれませんが（Gartner 2015）、HPEにとってより基本的なことは、学習技術が、人々を変革する能力（例：創造性やイノベーション）、学習者の主体性と幸福に焦点を当てるように軸を移すことです（OECD 2015）。これらは、学習者の自己規制、発達、貢献、セルフケアをサポートするために、これらのテクノロジーに取り組む学習者の能力をどのように「評価」するかを考える、TEAにとって興味深い可能性を示しています。テクノロジーの未来学者は、私たちがより多くの自動化を用いて学習し、ヘルスケアを提供する中で、「人間だけの特性」（例えば、思いやり、創造性）の価値が高まっていると指摘している（Leonhard 2021年）。テクノロジーとの共存において、これらの特性、実践に基づく倫理、意思決定（および自動化システムからの離脱）をどのように「評価」するかは、HPEにおける評価にとって大きな課題であることを証明するものです。
このコンセンサスの作成を通じて、すべての貢献者が重要なテーマとして指摘したのは、「より良い評価の未来」を真に可能にするテクノロジーの必要性である。HPEでは、これを実現するために必要な学習とスキルに焦点を当て、真に変革的なTEAが、評価のライフサイクルだけでなく、学習者、教員、患者のニーズを考慮し、テクノロジーを用いた真の評価の追求を確実にすることを意味する。
