Design and usability testing of an in-house developed performance feedback tool for medical students
Yadira Roa Romero, Hannah Tame, Ylva Holzhausen, Mandy Petzold, Jan-Vincent Wyszynski, Harm Peters, Mohammed Alhassan-Altoaama, Monika Domanska & Martin Dittmar
BMC Medical Education volume 21, Article number: 354 (2021)
背景
医学教育のような自己管理型の学習環境では、フィードバックが不可欠です。フィードバックの手段が広く普及すると、これらの情報を一つのプラットフォームに統合するシステムが必要になります。本稿では、ベルリンの大規模教育機関であるシャリテ大学医学部の医学生を対象としたフィードバックツールの設計と初期テストについて報告する。私たちは、ニーズ分析に続いて、ユーザー中心のアプローチでフィードバックツールを設計し、プログラムしました。出来上がったインターフェースは、リリース前にユーザビリティテストで評価され、リリース後に量的・質的アンケートで再度評価されました。
＊良いフィードバックの条件
1) 良いパフォーマンスの定義を助ける
2) 自己反省を促進する
3) 学習に関する質の高い情報を学生に提供する
4) 教師と学生の対話を促進する
５) 肯定的な動機付け信念を提供し、自尊心を醸成する
6) 現在のパフォーマンスと望ましいパフォーマンスのギャップを縮める
7) 指導者に指導を形成するための情報を提供する。
結果
私たちが作成したツールは、デスクトップやモバイルデバイスで使用できるブラウザアプリケーションです。学生がログインすると，評価結果の要約，習得した実践的スキルの記録，コースの進捗状況などが記載された「カード」がダッシュボードに表示されます。また、各フォーマットの平均値も表示されます。ラーニングアナリティクスでは、学生の得意分野が科目ごとにランク付けされています。インターフェースは、カラフルでシンプルなグラフィックが特徴です。このツールの初期段階では、学生から全体的に高い評価を得ています。テストでは、タスク完了率が78％と高く、重大ではないエラーが少ないことから、使い勝手が良いことがわかり、定量的なデータ（システム・ユーザビリティ・スコアリング）からも使いやすさが高いことがわかりました。本ツールのソースコードはオープンソースであり、他の医療学部でも採用可能である。
＊特徴
ダッシュボード：進捗状況を把握するためのパフォーマンス指標やキーデータを視覚的に追跡、分析、表示。
Study Progress Tracker： マイルストーン（クラークシップなど）や完了したモジュールや試験を視覚化した学習進捗の概要
タイムライン；完了したすべての評価の時系列的な概要
MCQ試験結果の詳細； 学生のコホート、科目、モジュールと比較したMCQ試験の成績を、統計的な詳細とともに視覚化
強みと弱みの分析 ；MCQ 試験および PTM に基づく、科目ごとの強みと弱みのランキング
実践的コンピテンシー（EPA）： 自己評価と教員による評価を含む実践的コンピテンシーの開発記録
PTM結果の縦断的な概要； 科目ごとのPTMパフォーマンスの縦断的および横断的な概要
アドバイスサービス ：学生に対するすべてのアドバイスサービスの概要です。
オンラインツール ：便利なツールとプラットフォームへのリンク
ユーザビリティテストとオンラインアンケートの結果によると、LevelUpは初期リリースの形でよく受け入れられており、シャリテ大学のモジュール式カリキュラムに関する学生へのフィードバックの必要性を満たしています。学生は、単一の使いやすいプラットフォーム上で、すべての評価結果の概要を見ることができることを高く評価しています。このツールの使い勝手の良さは、学生が定期的にこのプラットフォームを利用する可能性が高いことを意味しています。繰り返し行われるユーザビリティテストや、より広範な学生の評価調査から得られるデータは、ツールの継続的な開発のための情報となります。このツールの長期的な目標は、医学研究中のフィードバックのギャップを埋めるための戦略の一環として、学生に高品質のオンラインフィードバックを提供することです。
