医学教育つれづれ

医学教育に関する論文のPOINTを書き出した備忘録的なブログです。

COVID-19は評価を強化するための「代替手段がない」(TINA:There is no alternative)機会となりうるか?

Could COVID-19 be our ‘There is no alternative’ (TINA) opportunity to enhance assessment?
Richard Fuller, Viktoria Joynes, Jon Cooper, Katharine Boursicot & Trudie Roberts
Published online: 19 Jun 2020
Download citation https://doi.org/10.1080/0142159X.2020.1779206

 

https://www.tandfonline.com/doi/full/10.1080/0142159X.2020.1779206?af=R

 

ポイント

教育/アセスメントシステム全体の混乱は世界的に見ても大きなものですが、理論と実践から導き出された「何を、なぜ、いつ、何を」というフレームワークを適用することで、同僚が自分たちのアセスメントに利益をもたらす賢明な選択をするのを助けることができます。

評価の「方法」を問うことで、不正行為、技術、既存の評価ツールの適応など、評価における重要な課題を再考することができます。

COVID-19の危機への対応を理解することは、学習者を積極的に参加させるべき思いやりのある大学の実践モデルに焦点を当てて、評価をさらに発展させる真の機会を提供します。

 

COVID-19のため、学校教育と大学レベルでの評価は特に影響を受けており、英国では大きな変化により、高校、大学入学前の国家試験、卒業試験、専門職試験が突然中止されました。医療従事者教育(HPE)では、多くの学習者と教員が、教育と学習の役割に加えて、臨床現場での医療従事者としての役割を兼任しているため、この混乱は特に複雑なものとなっている。

これらの変化は、私たちが確立した評価アプローチにどのような影響を与えているのでしょうか?距離を置く必要があるため、従来の試験方法のほとんどは、大規模なコホートにはもはや実行可能ではなく、適切ではありません。OSCEは、さらに複雑な要因として、試験官の採用の難しさや、特に患者のボランティアが使用されている場合の安全性の問題などが挙げられる。職場ベースの評価(WBA)は、特に大学院の評価では代替の形式として検討されるかもしれないが、臨床医とその指導医は、臨床業務量が大幅に増加している時には、これに従事するのに苦労するかもしれない。

 

・評価の「なぜ、誰が」を再考する

評価の決定の礎となるのは、その目的とカリキュラムや学習プログラムとの明確な整合性である。「なぜ」評価を行うのか(例:有能な実践への卒業、学習者の育成、カリキュラムの評価)について、より文脈に即したアプロー チを理解することで、「誰を」評価しているのか、またその学習段階(医学生、卒業生、実践中の臨床医)を検討することができる。これにより、評価に関する決定が短期的、長期的にどのような結果をもたらすのかをよりよく理解することができます。

現在の状況では、カリキュラムや研修プログラムの初期段階にある学生に対しては、評価を別の方法、または後にする機会を探究すべきである。評価の「なぜ」は、特にまだ成熟期に入っていない研修プログラムの評価において、その価値を認識することが重要である。

 

「いつ」を再考する - 評価を思いやりのあるものにする

評価を「いつ」するかである。意図的な結果と意図しない結果のいくつかを理解することは、このような状況下での意思決定を支援することができます。教員や教育機関は新しいシステムやプロセスの急速な変化に対処しているため、短期間での「代替」の評価は誤りのリスクを伴う可能性が高いです。アセスメントの変更には、ルールとプロセス(緩和、不服申し立て、許可された受験回数など)の見直しを伴うことが不可欠です。

評価ツールからシステムへと思考の焦点を変えようとする現在進行中の動きは、「今、評価する必要があるのか?これは、アセスメントをプログラムの後半に延期するか、または後の段階でアセスメントに吸収される可能性のあるアセスメントをキャンセルする機会を提供します。この決定の重要な要素は、学生についてどのようなデータを保持しているかを理解し、どの程度、すでに知られていることに付加価値を与えるのかを理解することです。

評価に対するprogrammatic approaches to assessment(van der Vleuten 2016)は、、評価が「パーソナライズされ、プログラム化された」ものであることを見極める非常にエキサイティングな機会を提供します。しかし、これらのシステムは、優れた設計と計画によって成功していることは注目に値します。一方で、(異なる目的のために設計された)既存のフォーマティブな評価データを(誤って)使用して、ステークスの高い意思決定を行うという突然の決定は、「なぜ」評価を行うのかという信頼を容易に取り戻すことができない学生のコホート全体を不安にさせ、評価の結果に関する不必要な挑戦を何年も続けることになる危険性があります。

 

「何」をを再考する - 評価設計を考える機会となるか?

試験設計における最近の進化は、この混乱の時代に、異なる評価を提供する機会をもたらしています。しかし、これらの機会はすべて、教員や学習者が形式に慣れていない場合に、高額な評価方法を導入するという課題とのバランスを取らなければならない。

COVID-19は学習のための評価(AfL:assessment for learning)のデザインを探求する真の機会をもたらします。ローステークス評価は学習者に実用的なフィードバックを提供することに焦点を当てたものであるため、特に授業の実施が中断された場合に、学生が特定の概念に苦戦している場合に、教員やカリキュラムプランナーに情報を提供するためのデータを生成する上で重要な価値を持つことができます。

よく設計されたオープンブック形式のテストは,インターネットの検索エンジンでは容易に解答できない問題を使用しており,(臨床的な)ケースや問題を使用するのに適しています。

 

「どのように」を再考する

AMEEのCOVID-19ウェビナーシリーズでは、世界中の同僚から最も頻繁に寄せられる質問の一つに「どうすればいいですか?」。しかし、多くの同僚にとっては、この質問は障壁や課題という形で表現されることが多かったです。よくある反論は、オンライン評価と不正行為のリスクに関連しており、オンライン評価ができない理由やすべきでない理由として挙げられています。

 

・誰もがデバイスを持っているので、自宅でできるオンラインテストに切り替えるのは簡単です。

高等教育内のほとんどの文脈において、学習者の大多数は、オンライン学習をサポートするための少なくとも1種類のデバイススマートフォンタブレット、ラップトップ、デスクトップコンピュータなど)にアクセスしている。デバイスの所有は、常に最新のデバイスやオンラインアセスメントを実行するのに適したデバイスを意味するわけではありません。学習者の中には最新のテクノロジーにアクセスできる人もいれば、中古品や貸与されたデバイスで生き延びている人、あるいは兄弟や両親、同居人と機器を共有している人もいる。接続性の問題は一般的であり、すべてのWi-Fiアクセスが同じ(または一貫している)わけではなく、これはオンラインテスト形式を検討する際に大きな意味を持ちます。これらの問題は、デバイスの利用可能性、接続性、臨床環境のすべてがさらなる課題となっている専門職や大学院教育の分野では、さらに複雑なものとなっている。

学生が何にアクセスできるか(デバイス、接続性、適切なスペース)を理解し、アクセスできない学生のための緊急時の計画(例えば、オンラインで評価を実施するためのキャンパス内の社会的に離れたスペースなど)を理解することは、この「単純な」切り替えのための重要な検討事項です。これらの考慮事項がなければ、評価は非認知的な問題によるミスや達成度の差を招く危険性があります。

 

・オンラインテストは単にカンニングの機会が増えることを意味します。

不正行為とは、「優位に立つためにルールを破ること」である。オンライン評価への移行は、不正な評価行動がこれまでに遭遇したものよりも広まることを意味するのでしょうか?

現在の知識評価の多くはすでにオンライン技術を利用して実施していますが、受験者の自宅でのオンライン試験への切り替えは、明らかにこれらの試験センターを利用できないことを意味します。自宅でオンライン評価を受ける学生は、従来のキャンパス内の評価状況でテストを受ける学生よりも不正行為に関与する可能性が高いという逸話的な仮定に基づいていますが、ベックによる2014年の論文では、学業上の不正行為が増加したという証拠は見つかりませんでした。

この証拠の欠如にもかかわらず、学生の不正行為を検出するために設計されたソフトウェアシステムが爆発的に増えています。このような措置をとることは、学生に「正直な学生を信頼していない」というシグナルを与えることになります。教員は、グーグルが提供できる単純な事実の想起よりも高次の知的能力を必要とする本物の評価を考案するために時間を費やすべきである。学校は、最終的に成功することを認めた非常に有能な学生をサポートするような文化を発展させる必要があります。

このような行動の投資に対するリターンは、学生をスパイするためにますます複雑化する技術に財政支出を続けるよりも、確実に良い価値があるでしょう。

 

・ハイステークス臨床評価を実行したり、忙しい臨床現場で評価したりすることは不可能です。

学術的およびベストプラクティスの観点からは、臨床、コミュニケーション、および実技の試験は、試験官が学生や研修生のパフォーマンスを観察する必要のない形式に置き換えることはできません。試験が重要なものであれば(例えばタイムリーな卒業など)、最良の感染予防対策を施した状態でOSCEを実施することが可能である。

より厳格な「社会的距離」の要件を満たすためには、試験官を別の場所に配置し、臨床作業を行う学生/研修生(例:マネキンを用いた実技試験)をビデオで見ることが可能である。これにより、臨床現場にいながらにして試験を行い、電子的に観察・採点を行うことができるという利点がある。テクノロジーを駆使した評価とヘルスケアの長所を最大限に活用し、現在および将来の医療従事者と患者の相互作用の真の表現を反映したOSCE形式の新しい概念が生まれています。

多忙な臨床現場での評価は、シフトパターンの変化、サービスをカバーするための再配置、チーム構造の変化は多くの臨床医に影響を与えているが、職場評価(WBA)に取り組む真の機会を提供している。

ベッドサイドでのWBA形式(ミニCEXなど)は、感染予防ガイダンスやPPE(個人用保護具)の使用のため、実施がより困難になるかもしれないが、症例ベースのディスカッションなどの代替的なWBA形式は、患者と対面する場所から離れた場所で後から実施したり、オンラインで実施したりすることも可能である。WBA のエピソード数が減ったとしても、学習の証拠を照合することは、学生/研修生の成長を継続的に監視し、サポートを提供するために不可欠である。

 

・COVID-19の期間中、オンライン評価に投資する必要があるのでしょうか?

学習とヘルスケアにもたらされた大きな課題と本論文で提起された議論を考えると、テクノロジーでサポートされた評価への投資を検討すべきなのでしょうか?

世界経済や国家経済が縮小する中で、教育予算への影響が予測されており、教育機関は教育よりも健康予算に重点を置き、財政的にリスクを回避するようになると思われます。そのため、一見高価に見える技術への投資は、現時点では奇抜な選択のように感じるかもしれない。

しかし、今日の投資は、アセスメントの混乱に対処する(そして、それと並行して技術革新を行う)機会であるだけではな く、COVID-19感染のさらなる「ピーク」の可能性や、まだ知られていない別の世界的な混乱など、予期せぬさらなる混乱から私たちのコースを将来的に守る機会でもあるのです。新しいシステムは「高価」かもしれないが、これは単純な金銭的コストではなく、スタッフのキャパシティ、時間、専門知識を反映しているのが一般的である。評価を支援するための技術を採用することは、特に適切な環境下では、資源の制約が創造性と起業家精神を刺激する重要な要素となり得るため、高価なものである必要はない。

学習者が(評価の)所有権と機会(課題へのアプローチ方法の多様性)の両方を持つことができるような評価を作成することは、評価をより楽しく、社会的なものにする一つの方法です。

 

代替手段のない時間と評価のための勇敢な新世界?

アセスメントの「なぜ、誰が、何を、いつ、何を、どのように」(およびテクノロジーの使用)へのアプローチの結果の多くは、成功と失敗の両方を通じて、重要な結果を生み出すでしょう。アセスメントの変化が意図した結果と意図していない結果の両方の証拠を収集し、学習者、教員、患者、教育機関の意見を収集することが重要になります。学習者の視点から見ると、これは成功した評価の新しい方法を維持し、開発することを要求するものであると思われ、これらの新しいアプローチが「失敗した」のか「規模を拡大した」のかについて、さらに一連の批判的な疑問が生じることになります。

 

 

 

短期的な危機対応策と、長期的に強化される可能性のある開発を区別することは、この変化を理解するために有用な戦略となり得る。

大規模な試験会場はもはや時代遅れであり、評価に対するこのアプローチを「手放す」べきなのか?日常的な評価を再開する際には、どのような要因を考慮する必要があるのか。どのような一時的なアプローチを終了すべきか?重要なことは、どのような評価の分野が真の転換点となり、変化の可能性があるのか?評価の未来にどのように対処すべきでしょうか?

コミュニケーションはすべての利害関係者にとって不可欠です。明確な情報を提供し、重要なことは説明と推論を行うことで、学習者や同僚があなたの教育機関における評価の「なぜ、いつ、どのように」を理解するのを助けることができ、特に他の人が異なるアプローチをしている場合には、それを理解することができます。

意思決定に柔軟性を持たせることは、前進する上で今後も不可欠である。

教育者のコミュニティでは、これまで以上に協調性が重要になっています。関係は教員や教育機関に限定されるべきものではなく、学生や研修生と協力する真の機会を提供しています。

スタッフ、学生、患者、地域社会との関わりにおいては、思いやりの心を原動力とすべきです。私たちは、仕事と私生活の中で教育を両立させる中で、優先順位、役割、負担、そしてCOVID-19がすべての人に与える影響の変化に注意を払う必要があります