医学教育つれづれ

医学教育に関する論文のPOINTを書き出した備忘録的なブログです。

委託決定のための職場ベースの評価を支援するモバイル技術:プログラムと教育者のためのガイドライン。AMEE Guide No.154

Mobile technologies to support workplace-based assessment for entrustment decisions: guidelines for programs and educators: AMEE Guide No. 154
Adrian Philipp MartyORCID Icon, Machelle Linsenmeyer, Brian GeorgeORCID Icon, John Q. YoungORCID Icon, Jan BreckwoldtORCID Icon & Olle ten CateORCID Icon
Published online: 27 Jan 2023
Download citation  https://doi.org/10.1080/0142159X.2023.2168527

https://www.tandfonline.com/doi/full/10.1080/0142159X.2023.2168527?af=R

 

今世紀に入ってから、コンピテンシーベースの医学教育や職場ベースの評価(WBA)が盛んになり、評価の方法について多くのことが語られるようになった。直接観察やその他の情報源は、多くの臨床プログラムで標準的なものとなっている。また、委託業務(EPA)も、臨床現場における評価の中心的存在となっている。紙と鉛筆(最も初期のモバイル技術の1つ!)で観察を記録することは、デジタル技術の出現でほとんど時代遅れになっています。一般的に、臨床指導医はコンピュータ上のフォームを使用してアセスメント評価を文書化するよう求められます。しかし、これらのフォームにアクセスするのは面倒で、既存の臨床ワークフローに簡単に統合できるものではありません。より頻繁な文書化が求められる中、このやり方は持続不可能であり、モバイルテクノロジーは急速に不可欠なものになりつつあります。学習者のパフォーマンスをポイントオブケアで文書化することは、WBAと患者ケアを融合させることになり、WBAはこの目的のためにますますスマートフォンアプリケーションを使用するようになっています。

この AMEE ガイドは、モバイル技術を使用して EPA に基づく評価、およびより一般的にはあらゆるタイプの職場に基づく評価の実施を希望する機関およびプログラムを支援するために作成された。本書では、WBAEPA、委託意思決定の背景、モバイル技術の選択・開発に関するガイダンス、課題、およびベストプラクティスについて説明している。

 

ポイント

モバイル技術(Mobile Technology:MT)は、職場ベースの評価(Workshop-based Assessment:WBA)において急速にスタンダードになりつつある。

スマートフォンを利用したMTは、教育病院における臨床業務とWBAを連携させる可能性があり、その混乱はわずかである。

モバイルアプリケーションは、購入することも作成することもできる。我々は、考慮すべき事項のチェックリストを提供する。

考慮すべき問題は、財政、インフラ、プライバシー、倫理、データアクセスおよび所有権、デバイスの衛生管理などである。

 

学習者をEPAに認定するための有効な総括的委託決定を支援するためには、適切な職場ベースの評価情報が必要である。

・委託決定を支援するための情報源

短時間の直接観察:通常 5~15 分間の活動(EPA など)の観察、およびその後の研修生との会話によるフィードバックが含まれる。よく知られたミニCEX法を含む多くの例が存在する。これらの活動は、病歴や身体診察を伴う臨床的な診察であったり、DOPS(direct observation of procedural skills)と呼ばれる手技であったりする。最近では、これらの直接観察を記録するために「フィールドノート」が使用されている。

縦断的モニタリング:経時的な印象形成に関して。縦断的な監督関係の中で繰り返される直接観察がその一例である。多部門フィードバック(MSF)または360度評価も、アプローチは様々であるが、年に1回以上のMSFシーケンスを頻度で適用する、適したアプローチである。MSFは簡単に自動化でき、いくつかのeポートフォリオシステムにも取り入れられている。縦断的なモニタリングは、専門的な行動や、委託の決定を支えることが知られている学習者の特徴(信頼性、誠実さ、謙虚さ、代理性、能力)の全体的な印象など、集中し、しばしば計画された直接観察の瞬間には容易に捉えられない行動を評価するのに特に有用である。MSF は、専門的な成長を知らせるために最もよく利用される。

個別ディスカッション:電子カルテの症例データを参照する場合としない場合の、症例ベースのディスカッション(CBD)やチャート・スティミュレーテッド・リコール(CSR)セッションが含まれます。これらは、知識と臨床推論に焦点を当てたミニ口頭試験とみなされることもあります。 より詳細で、しばしばより簡潔な例として、1分間指導者法およびSNAPPS法がある。具体的なアプローチとしては、委託判断の際のリスク推定を支援するために考案された委託ベースの議論(EBD)手法がある。

成果評価:患者ケアの実践という目に見える成果は、間違いなく最も関連性が高いが、多くの変数が患者に提供されるケアの質に影響するため、測定が最も困難でもある。しかし、より近接した成果物を評価することができるものもある。電子カルテの入力項目や意思決定の選択を評価したり、ケアに対する患者の満足度を聞いたり、歯科や外科などの人工物の品質を判断したりすることができる。研修生が有意義な影響を与えた患者の転帰は、電子カルテから抽出することができる。

 

総括的な委託の意思決定を支援するための職場ベースの評価データの一般的な流れ。

 

職場ベースのアセスメントの課題

監督者と研修生は、しばしばWBAの訓練が不十分で、目的を理解しておらず、直接観察および/またはフィードバックの会話のための時間が不十分な環境で交流しています。フィードバックはしばしば不適切であり、研修生に対する信頼性を損なっている。次に、多くの監督関係は短く、頻繁に変わるため、信頼を含む強力な教育関係の発展を妨げている。最後に、研修生は、形成を意図していても評価を総括的なものと認識し、望ましいと認識するものに適合するためだけに行動を採用することが多い。

 

・成功する直接観察と構造化されたフィードバック・プログラムの主な特徴。

1。3つの領域で定期的かつ継続的に研修を行う。

 a 直接観察(観察中の研修生の自律性を支援する方法を含む)。

   b パフォーマンスの次元、参照枠、およびナラティブコメントに注意を払いながら、選択したWBAを使用する。

   c フィードバックは、双方向の共同構成による会話とし、高次の質問と傾聴、励まし、行動計画への同意を重視する。

2、長期的な監督者と被指導者の関係を構築するために臨床ローテーションをデザインする。

3、文化の一部となるような、繰り返される頻繁な観察。

理想的には、研修の初期には直接観察を頻繁に行い、研修生が独立に向けて準備が整うにしたがって、観察回数を減らしていく(ただし、止めるのではない)。

4、教員が観察する時間、教員と研修生がフィードバックする時間が確保されていること。

5、可能な限り、有効性が証明された構造化された観察ツールを使用する。

6、教員と研修生の遵守状況や参加状況をモニタリングする(例:各ローテーションまたは診療所ごとに教員または研修生が1ヶ月に完了した直接観察評価の数)。

 

EPAWBA における e- ポートフォリオとモバイル技術の役割

モバイルテクノロジーは、WBA の実施におけるすべての課題を克服することはできないが、(a) 豊富なデータを 収集するようプログラムアセスメントの理論家が強く推奨していること、(b) モバイルテクノロジーはどこにでも あること、(c) こうしたイノベーションを適用するにあたり最近の教育研究から学ぶ機会や必要性を考慮すると、 重要なリソースとして機能することが可能である。

モバイル技術で収集されたWBAデータは、集中型データベース内に集約することができる。データの集中保管により、学習分析を用いて訓練生の進歩やSTARの受給資格を推論するための一カ所が提供される。評価データは、(i)個々の研修生、理想的にはeポートフォリオの一部として、(ii)プログラムディレクター、臨床能力委員会、機関管理者などの機関関係者が利用できるようにする必要がある。

 

モバイルアプリケーションは何を取得すべきなのか、あるいは何ができるのか?

・データに必要な要素 推奨される要素
 学習者の名前またはID

 評価者の名前またはID

 評価日時

 対象EPA

 専門分野、ローテーション、臨床実習

 ESスケールが提供する、または推奨する監督レベル

 フィードバックまたは学習目標

・データに推奨される要素

 症例または状況の複雑さの度合い

 EPAに定義されている場合、フィードバックに関連する能力領域

 書面または、できれば録音されたフィードバックのためのスペース

 オプションの説明文(EPA、監督水準、基準について)

 

評価者と学習者間の相互作用には複数のオプションがあります。

評価者からのアセスメント:評価者は、自分の時間に自分のデバイス (教育機関によって承認された) で評価を完了し、後で読むことができるように学習者にフィードバックを提出することができます。

仮の自己評価;学習者が自己評価を行い、確認のために指導する臨床医に報告書を送ることができる。

学習者主導の直接アクセスと評価:学習者は、パーソナライズされた QR コードを提供するか、EPA 評価のための評価を直接デバイスに表示し、すぐに入力できるようにするか、または臨床医が直接アクセスできるようにスキャンして、関心のある評価フォームに入力/提出し、研修生と議論することができます。

自己評価とスーパーバイザー評価を同時実施:評価者と学習者は、同時に評価を行い、すぐに比較し、フィードバックディスカッションを行うことができます。学習者は、オプションでスーパーバイザーを評価することもできます。

モバイルアプリを用いた評価は、単一の患者診察だけでなく、縦断的なモニタリングも可能である。数日から数週間、数ヶ月、数年にわたり、同じスーパーバイザーが複数の患者との診察を直接観察することで、特に電子的に捉えて可視化した場合、強さと苦労の永続的なパターンを特定しやすくなり、学習者が信頼できると考える豊かなナラティブフィードバックが生成されます。

 

eポートフォリオには何が含まれ、何が表示されるべきなのか?

ポートフォリオとは、「ある人の仕事のサンプルの集まりで、通常、特定の分野におけるその人の業績の質と幅を伝えることを目的としたもの」と説明することができる。学習者のeポートフォリオ内のデータは、様々な目的に使用されるアイテムのダッシュボードと同じように考えることができる。データベースは、様々な関係者(学習者、教師、管理者、臨床能力委員会)が選択的にアクセスでき、異なる目的のためにダッシュボードとして使用または最適化することができます。

目的の一つは、臨床能力委員会における意思決定である。もう一つは、学習者に的を絞った集約的なフィードバックを提供することである。第三の目的は、学習者が行動する資格がある各EPAに対する具体的な監督レベルを示す委託決定の概要を表示することである。

さらに一歩進んで、STARを反映したEPAのデジタルバッジを作成し、臨床スタッフや看護スタッフなどの関連するステークホルダーに対して、(通常は上級の)学習者がどのレベルの監督で資格を取得したのか、実践範囲を示すことである。学習者の進歩のデータベースとしての E ポートフォリオは、認定機関の報告書としての役割も果たすかもしれない。

 

モバイル技術を検討・設計する際に考慮すべき重要な事項

考慮すべき重要な点は、通常3つの領域に分類されます。コスト、品質、管理です。

コスト:職場ベースの評価システムを構築するためのコストには、設計と開発の初期コストと、メンテナンスの継続的なコストが含まれます。設計と開発のコストは、機能の範囲と、システムが他の既存のソフトウェアシステムとどの程度統合されるかに決定的に依存します。さらに、ソフトウェアの保守にかかる費用も見落とされがちです。社内システムの開発者は、設計、構築、保守を行う機能の範囲を慎重に検討する必要があると思われる。また、状況によっては、スマートフォンやインターネット接続のデータパッケージを個人で取得するためのコストも考慮する必要があります。

品質:技術的な機能、ユーザーエクスペリエンス(機能をいかに見つけやすく、使いやすいか)、サポートの組み合わせで決まります。インタラクションの強さは、実装の複雑さと範囲、およびユーザーの特定のニーズによって異なります。様々な利害関係者と定期的に協議することが強く推奨されます。

管理:将来、どの機能を開発し、どの機能を開発しないかを決めるのは誰なのか。ソフトウェアの重要なカスタマイズが必要となるような予見可能な状況はあるか?同様に、追加の認証を必要とする病院のファイアウォールは、既存のシステムを適応させることができるか、それともカスタムの社内システムを開発する必要があるかを評価する上で重要な考慮事項となるかもしれません。同様に、新しい分析や改良が有用であると思われる場合、施設はソフトウェア開発に対してコントロールを及ぼすことができるはずである。

 

ツールの検討・設計に先立つ検討事項

これからのセクションでは、ツールのレビューまたは設計の前、最中、後に検討する価値のある様々な具体的要素について説明する。


目的:頻繁でない形成的フィードバックを記録することだけが目的であれば、評価システムは非常にシンプルなものになります。一方、評価データを頻繁に取得し、総括的な委託の決定にも使用する場合は、モバイル技術を使用したより高度な実装が保証されます。最も複雑なレベルでは、他のITシステム(大学の学習管理システム、大学の成績・進級登録システム、国のeポートフォリオシステム、認証評価ソフトなど)と連携する場合は、カスタマイズされたソフトウェアが必要となる。

コンテキスト:医学部教育で技術を使用する場合、学生は通常、多くの異なる指導者のもと、異なる場所でコースや臨床実習に参加するため、非常に異なる環境で実行する必要があります。プラットフォームとしては、どのアプリも少なくともAndroidiOSをサポートする必要があります。多くの教育機関では、デバイスの持ち込みを禁止しているため、評価技術はユーザー自身のデバイスでも動作することをお勧めします。

オフライン機能:インターネットやネットワーク接続が一時的に利用できない場合や信頼できない場合に、ユーザーが評価データを取得できるようにするためには、オフライン機能の確保が重要である。

ユーザー:デジタルリテラシーの差は大きい。そのため、アセスメントアプリのデザインとワークフローは、直感的で、すべてのユーザーグループに十分適応できるものでなければなりません

 

ツールのレビューまたは設計時の考慮事項

ユーザーインターフェイス:モバイル技術のアイデアは、アセスメント状況の記録をケアのポイントにもたらすことです。データ取得のためには、モバイル技術が最適であり、ウェブベースのバージョンは予備的なオプションにとどめるべきでしょう。データ分析やダッシュボードには、より大きな画面が必要です。プログラムは、可能な限り、有効性の根拠を示す WBA を選択または適合させるべきである。WBAは、モバイルデバイスの小さな画面に適したインターフェイスを確保するために適合させる必要があります

システムの適応性:EPA リストなどの変更は、新たなアプリのリリースを必要とせず、現地の開発者、 プログラム責任者または管理者がバックエンドで管理可能であるべきである。EPA の枠組み内であっても、異なる評価要素が開発されるべきである

ユーザーエクスペリエンス:ユーザビリティが高ければ高いほど、ユーザ教育や教員育成に費やす労力は少なくて済む。ユーザーエクスペリエンスを最適化するために、初期の設計とパイロットテストにステークホルダーを参加させる。これには、モバイルアプリを試用し、使いやすさを向上させるためのフィードバックを提供する教員、学習者、管理者を数名募集することが考えられます。

セキュリティと検証:どのようなシステムであっても、厳格なデータ安全ルール(GDPR、HIPAAなど)を遵守する必要があります。さらに、評価者を検証する何らかの方法が、データ品質にとって重要です。一つのアプローチとして、ユーザー認証を要求することがあります。

データ管理;一般に、データは教育、ひいては質の高い患者ケアを促進するような方法で管理されるべきである。データの使用方法について主導権を持つべき個々の研修生の利益とバランスを取らなければならない。

報告書作成:新しいモバイル評価技術を導入するには、どのデータを誰に(研修生、プログラムディレクター、CCC、大学、病院管理者など)、どれくらいの期間、どのように報告するか、または見えるようにするかについて慎重に検討する必要がある。

その他の検討事項:モバイルアプリケーションを、直接観察、コースの確認、マルチソースフィードバックなどの他の機能にも使用できるオプションがあるとよいでしょう。

 

・ツールのレビューまたは設計後の検討事項

 評価のタイミングと選択:一般的に、WBAはできるだけ頻繁に、理想的には1日に数回実施されるべきであり、その一部は長期的な監督関係や臨床派遣の中で実施されるべきである。必要な手技の回数の代わりに、患者ケアの EPA を任される前に、満足できる WBA の回数を、すべての研修プログラムまたは国の専門学会が定義する必要があります。すべての評価が研修生と議論されるよう、可能な限りオープンであることを推奨する。

 研修:アプリを提供するグループまたは企業によって提供されるべきです。ホワイトペーパー、チュートリアル、ウェビナーなど、適切なリソースを利用できるようにする必要があります。さらに、監督者や学習者が意図した方法でツール(委託尺度など)を適用できるようにするために、トレーニングを継続的に行う必要があります。

 サポート体制:質問に対するレスポンスが良く、可能な限り迅速にサポートを提供する必要があります。さらに重要なのは、アプリ開発者による継続的な技術サポートです。基本的なことですが、スマートフォンのOS(androidiOS)の新しいバージョンにアプリを更新し続ける努力が必要です。アプリの魅力と使いやすさを維持するために、新機能やワークフローを定期的に追加することもあります。

 法律、倫理、プライバシーの問題: 2018年以降、ヨーロッパでは、個々の市民のプライバシーを保護するために、厳しい規則と、違反に対する高い罰金が設けられています。データを収集する欧州の取り組みは、この一般データ保護規定(GDPR)を遵守する必要があります

 消毒・除菌:臨床現場におけるモバイルデバイスの衛生管理について懸念されることがあります。医療機関は、電子機器の洗浄・消毒に関するルールやガイダンスを明確にしておく必要があります。

 継続的な改善:あらゆる介入と同様に、継続的な評価と改善が実施の一部であるべきである。それらの努力は、「何がどこで、なぜうまくいくのか」、「将来に向けてどのようにシステムを適応させるべきか」に焦点を当てるべきである。