Twelve tips for OSCE-style Tele-assessment
Raymond Lewandowski[1], Angela Stratton[1], Tarun Sen Gupta[2], Michelle Cooper[1]
Institution: 1. The Australian College of Rural and Remote Medicine, 2. James Cook University and The Australian College of Rural and Remote Medicine
Corresponding Author: Prof Tarun Sen Gupta (tarun.sengupta@jcu.edu.au)
Categories: Assessment, Technology
DOI: https://doi.org/10.15694/mep.2020.000168.1
https://www.mededpublish.org/manuscripts/3275
Australian College of Rural and Remote Medicine (ACRRM)は、その評価方法を提供するための柔軟な「遠隔評価」アプローチを開発した。受験者は、診療所の近くで遠隔地から試験を受けることができるため、地方の医師（受験者と試験官の両方）が評価のために地域を離れる必要性を軽減することができます。
評価プロセスの主要な要素は、複数の患者シナリオを用いた構造化評価（StAMPS：Structured Assessment using Multiple Patient Scenarios ）試験であり、客観的構造化臨床試験（OSCE）と伝統的な試験の形式を組み合わせたものである。この試験は、学問的に厳密で、柔軟性があり、有効性があり、信頼性があり、公正であるように設計されたハイステークスの評価です。
2008 年から ACRRM は、StAMPS の試験を受ける受験者にビデオ会議オプションを提供しており、受験者は自宅または自宅の近くにいながら、試験官が中央の試験会場で待ち合わせをすることができるようになっています。SARS-CoV-2パンデミックによる渡航制限のため、受験者と試験官の両方がビデオ会議を介してStAMPSに参加するのは初めてのことでした。
ACRRMは2020年5月中旬、65名の受験者を対象に、ビデオ会議技術を利用したオンラインStAMPSアセスメントを実施しました。この12のヒントは、過去12年間に実施した遠隔アセスメントの経験の一部を紹介するものである。
ヒント1: 評価可能なものを評価する
評価のブループリンとを見直し、遠隔評価の形式に合わせて試験を調整する。複数の医師のコンピテンシーは、ビデオ会議で行われる口頭試問でカバーすることができます。従来から行われてきたことにとらわれることなく、自分の選んだ形式で何が最もよく試されたり、実証されたりできるかを考えてみましょう。可能性は無限であり、創意工夫がルールです。
ヒント2：形式に合わせて試験を設計する
試験の構成を慎重に考えてください。ローテーションの計画には、情報技術（IT）プラットフォームの詳細と参加者がどのように交流するかを考慮する必要があります。計画を立てるには、シナリオの数、時間、ブリーフィングを考慮した計算を行う必要があります。試験のシナリオ数は、各仮想「グループ」の大きさの目安となりますが、休憩所を含めることも可能です。最近の ACRRM StAMPS 試験では、8 つのシナリオで構成され、1 つのシナリオにつき 1 人の試験官がいました。そのため、8人の試験官からなる2つの「仮想グループ」を形成し、チームリーダーと品質保証の試験官を追加しました。
従来のOSCE形式の試験。試験官(E)は試験期間中一箇所に留まり、受験者(C)は各ステーションを順番に移動する。
バーチャルStAMPS試験。受験者(C)はそれぞれのバーチャルルームに滞在し、試験官(E)は各バーチャルルームを順番に移動します。
今回の試験では、各ステーションのタイミングを標準的なものにしましたが、ステーション間の時間を通常の5分から10分に延長しました。この変更により、「バーチャル・ティールーム」での試験官同士のディスカッションのための時間が追加され、さらに書類作成やオンラインでの提出のための時間も追加されました。また、試験官がバーチャル・ティールームに入るまでの間、試験官間の時間が増えたことで、試験官がバーチャル・ティールームに入るまでの間のITの遅れを補うことができました。その他の遅延は、受験者が十分な時間を確保できるように、サイクルの最後に補うことができます。
ヒント3. ケースの準備
臨床に関連したシナリオを準備し、受験者が読解時間中にすべての関連資料を入手できるようにしておく。ACRRM の StAMPS 試験では、配布資料を必要とするステーションを避けています。
口頭での質問の長さに注意してください。。質問に使用される言語の複雑さについても、同じ原則が適用されます。すべてのStAMPSのシナリオは、最近の合格者を使ってバーチャルに「ロードテスト」され、必要に応じて編集されています。
ヒント4. 試験官の準備
試験官が十分な説明を受け、プロセスと使用される IT プラットフォームに精通していることを確認する。ACRRMは、「遠隔試験官トレーニング」の一形態として「司会者セッション」を長い間使用してきた。
試験前には、大人数のグループでバーチャル試験官ブリーフィングを行い、必要に応じて当日は小人数でのキャッチアップを行う。一日の終わりに試験官の報告会を行うことも有効です。試験の合間に試験官同士やスタッフと連絡を取り合うことができるように、バーチャルな「ティールーム」や中心的な連絡先を用意することを検討してください。試験中に中断される可能性のあるリスクを最小限に抑えることと、ビデオの「適切な仮想背景」を考慮することについて、試験官に注意を促してください。電話が「邪魔にならないように」設定されていること、試験に使用されるコンピュータの通知がオフになっていること、人やペットが使用される部屋に出入りしないことを確認します。
ヒント5：受験者の準備
受験者との明確なコミュニケーションが不可欠である。受験者は、計画とそれが受験者にとってどのような意味を持つのか、また受験者にとってどのような準備が必要なのかを理解する必要がある。
明確なコミュニケーション計画と、受講者の受け入れを確保し、受講者に「納得してもらう」ための重要な戦略である。ITプラットフォームと当日使用する実際のコンピュータを使用した練習セッションは、トラブルシューティングを行い、慣れ親しんでもらうために不可欠である。 ACRRMは、試験前の数週間、受験者を対象にプラットフォーム上で公開セッションを複数回実施し、テストや慣れ親しんだり、質問をしたりすることができました。
ヒント6：ITプラットフォームを正しく利用する
プラットフォームの選択は、試験の規模、コスト、技術的要件、信頼性、セキュリティ機能、ITサポートなどのいくつかの要因に依存します。何よりも、受験者と受験者にとって使いやすいものであることが必要です。
ヒント7：セキュリティにこだわる
試験プロセスの各段階では、セキュリティに細心の注意を払う必要があります。遠隔地にいる受験者は、本人確認を行い、不正な資料へのアクセスなどの試験プロセスへの違反がないこと、および試験の機密性が維持されていることを確認することができる、承認された試験官が必要となります。試験官は、マーキングシートの受領、保管、提出のための安全なプロセスを必要とします。
ヒント8：情報技術。テストして、テストして、またテストする
テスト可能なものをテストして、またテストしよう! 受験者や試験官は、適切な信頼性の高い帯域幅、ビデオ機能、マイク、スピーカーなど、試験に必要な要件についての指示が必要になります。今後の検討事項としては、同じバーチャルフォーマットで「模擬試験」を実施することで、より本格的なトレーニング体験を提供し、IT関連の問題点を事前に特定することが考えられます。
ヒント9：品質保証プロセスを開発する
品質保証プロセスは、試験の実施と採点に取り組むべきである。試験終了後、指導者はグループに含まれていない試験官のビデオを確認し、答案の一貫性を確認し、与えられた答案に適切な採点がなされているかどうかを確認しました。
ヒント10. マーキングプロセスを開発する
StAMPS は、試験のための標準的な採点システムを持っています。このシステムはバーチャル試験で採用され、モデレーションセッションでは、すべての試験官と事前に検討されました。試験官が試験を実施するために使用した紙の試験資料には、受験者ごとの個別の採点シートと採点項目のセット、ローテーションプラン、インシデント報告シートなどの標準的な試験資料が含まれていました。
ヒント11：ライト! カメラ! アクション！物流を正しく行う
StAMPSの試験は、各受験者が各シナリオの問題を10分で解くことを想定して設計されています。この時間を確保するための努力が必要です。
最も効率的で確実な方法は、試験官が受験者のリンクを最低30秒早くクリックすることです。試験官は待合室に入り、部屋のモニターが試験開始時間の約10秒前に試験室に入ることを許可します。これにより、試験官はシナリオ開始前に技術的に必要なものをすべて整理しておく時間を確保することができます。あまりにも早く試験室に入れられてしまうと、試験官が受験者の画面に映ってしまい、気が散ってしまうので、あまり有利ではありません。試験官は、シナリオを提供する前の最終確認として、受験者の名前と想定されるシナリオ番号を確認することが求められていました。部屋のモニターはまた、シナリオのために10分が割り当てられたことを確認する権限を与えられました。セッションの開始時間が遅くなった場合は、終了時間が遅くなっても構いません。
ヒント 12: 失敗することを計画する
よくある格言に「計画を立てないことは、失敗することを計画している」というものがあります。しかし、この反肯定は真実ではありません。失敗することを計画しているのであれば、失敗に備えて事前に準備ができていることになり、失敗を回避するための準備ができていることになります。正式なリスク管理文書を作成し、意思決定者やその他の利害関係者と共有する。
結論
現在では、従来は対面で行われていた多くの評価が、現在では遠隔評価で行われるようになり、利便性の向上、移動時間やコストの削減、試験以外の必要性や障害への対応が可能になっています。 ACRRMは、OSCEのような高難度の評価をバーチャルな形式で提供できることを示しています。 最近のパンデミックでは旅行の制限を考えると、対面式の試験を実施することはほぼ不可能であったであろうから、このアプローチはトレーニングと評価を中断なく継続することを可能にした。
事後評価では、このアプローチは受験者、試験官、およびその他の利害関係者に受け入れられたことが示されており、 受験者のパフォーマンスは、この評価のための対面式試験に匹敵するものであった。
すべての評価方法に当てはまることですが、私たちは、「評価の3つのP」（準備、準備、準備）が成功に不可欠であることを示唆しています。これらの12のヒントは、バーチャル配信のために評価を適応させる必要があるかもしれない他の教育者のために、この準備を指示するのに役立つはずです。これらのアプローチはオーストラリアの地方や遠隔地の文脈のために開発されましたが、学んだ教訓はどのような設定にも適用できます。これが新しい常識になるかもしれません。
メッセージ
地方や遠隔地でも、現在の技術でOSCE形式の高得点遠隔評価が可能に
多くのカリキュラムの構成要素は、このような方法で評価することができます。
慎重な準備、細部への注意とセキュリティとの警戒が不可欠です。
このアプローチは、受験者、試験官、その他の関係者に受け入れられます。
