医学教育つれづれ

医学教育に関する論文のPOINTを書き出した備忘録的なブログです。

programmatic assessmentのための学習者パフォーマンスダッシュボードの作成

Creating a learner performance dashboard for programmatic assessment
Sally A Santen Leif Myklebust Clare Cabrera Johmarx Patton … See all authors
First published: 12 November 2019 https://doi.org/10.1111/tct.13106

 

https://onlinelibrary.wiley.com/doi/full/10.1111/tct.13106?af=R

programmatic assessmentは、医療および健康の専門教育で注目を集めているプロセスです。コンピテンシーベースの教育と連携するアプローチです。学習者の能力に関する定期的および長期的なデータが収集され、その進捗状況は定期的にレビューおよび分析されます。一般的に、学習者と教育者の両方が学習の範囲を理解し、最適な教育的影響(学習の評価)に対するフィードバックを最大化できるようにするという全体的な目的で、さまざまな評価方法が使用されます。最終的に、このプロセスは、プログラムの終了時または学習段階(学習の評価)での重要な決定に使用される場合があります。このツールボックスの記事では、著者は、ダッシュボードでのプログラムによる評価中に医学生の達成度を視覚的に表現する方法をどのように開発したかを説明しています。この開発には、教育者、教員、情報技術スタッフからの意見が必要でした。得られたグラフは、学生とスタッフが学生の経時的なパフォーマンスを確認するのに役立ちます。

f:id:medical-educator:20191205054053p:plain

(a)のグラフを見ると、パフォーマンスのストーリーをどのように伝えているかがわかりました。しかし、クラスの平均を中心とするこのグラフはCBME評価に対する目標を反映していないことも認識しました。

その後、(b)の各学生のパフォーマンスの基準ベースの視覚化を作成しました。各バンドの色分けは、基礎科学コースの基準は、75%のカットオフポイントで確立されました。 75%未満のスコアはレッドゾーンにありました。これは、学生がコースに不合格であり、ドメインの能力がないことを示しています。

最終的に、他の学生がどのように実行したかは問題ではなく、平均を表示する必要はありません。しかし、最終的には、標準参照データを含めることでパフォーマンスに関する有意義な知識が得られると感じたため、グラフにクラス平均(三角形でプロット)を含めることにしました(図1c)。

f:id:medical-educator:20191205054423p:plain

臨床実習用には、何がどれくらいできているのか視覚化した。

 

データを視覚化するために

・あなたの評価フレームワークは何でしたか?

 評価フレームワークに基づいてダッシュボード開発を行い、データの視覚化がそれを反映していることを確認します

・開発に携わったのは誰ですか?

 教育リーダー、情報技術専門家、評価専門家、データ管理者、学習者とダッシュボードチームを編成します。設計および実装プロセスに学生を含むすべての利害関係者を参加させる

・パフォーマンスベンチマークを特定して表示しましたか?

どのベンチマークに意味があるかを判断し、それらを示します。データを表現する明確さを重視

・チャートでポイントを強調しましたか?

データに最適なチャートタイプを選択し、ポイントを強調する機能(特定のデータポイントの色、比較データ、ハイライト、注釈など)を追加し、一目でわかるデータの視覚化を使用して主要なパフォーマンスメトリックを統合します

・データの視覚化の目的に集中しましたか?

ユーザーがチャートを見たときに表示される内容を説明する説明的な見出しを作成します