The Quality of Assessment of Learning (Qual) Score: Validity Evidence for a Scoring System Aimed at Rating Short, Workplace-Based Comments on Trainee Performance
Teresa M. ChanORCID Icon, Stefanie S. Sebok-Syer, Christopher SampsonORCID Icon & Sandra MonteiroORCID Icon
Published online: 04 Feb 2020
Download citation https://doi.org/10.1080/10401334.2019.1708365
https://www.tandfonline.com/doi/full/10.1080/10401334.2019.1708365?af=R
背景
この研究は、competency-based medical education (CBME)の評価で一般的な現場ベースの評価に入力された特定のスコアに関連する短い定性的コメントを評価するために作成された学習スコアの評価の質（QuAL score： Quality of Assessment for Learning score）の有効性の証拠を決定しようとしています。
CBMEにおいて、定性的コメントは、ベッドサイドのオブザーバーによって示された定量的スコアを明確にするのに重要な役割を果たします。現在、実習終了レポートを評価するために最初に作成された包括的な完了臨床評価レポート評価ツール（CCERR：Completed Clinical Evaluation Report Rating tool）以外に、混合データ（関連するスコアとコメントデータなど）を評価する実用的なツールはほとんどありません。
アプローチ
CCERRと比較したQuALスコアの評価特性を評価するために、多施設無作為化コホートベースの評価演習を実施しました。 1つのグループはQuALスコアを使用してコメントを評価し、もう1つのグループはCCERRを使用してコメントを評価しました。一般化可能性研究（G-Study）および意思決定研究（D-study）を実施して、信頼できる評価（phi係数目標> 0.80）のメタ評価者の数を決定しました。両方のスコアは、スコアを読んでいる教員と研修医の両方に対する評価者の効用のゲシュタルト認識と相関していた。
＊QuALスコア
証拠-評価者は、研修医のパフォーマンスに関する十分な証拠を提供していますか？ （3段階の評価：0-コメントなし、1-いいえ、コメントあり、2-やや、3-はい/完全な説明）
提案-評価者は改善のための提案を提供しますか？ （0-no / 1-yes）
つながり-評価者の提案は、説明されている動作に関連していますか？ （0-no / 1-yes）
結果
20箇所からの25人のメタ評価者がこの評価演習に参加しました。 G-Studyは、CCERRグループ（n = 13）が非常に高い信頼性（Phi = 0.97）でコメントを評価したことを明らかにしました。一方、QuALグループ（n = 12）は、同様に高い信頼性でコメントを評価しました（Phi = 0.97）。 QuALスコアでは、0.80を超える許容可能な目標信頼性を達成するために2人の評価者が必要でしたが、CCERRでは3人が必要でした。 QuALスコアは、効用の認識と相関しました（メタ評価者の有用性、ピアソンのr = 0.69、p <0.001;研修医の認識された有用性、r = 40.74、p <0.001）。 CCERRも同様に実行され、教員（r = 0.67、<0.001）および研修医の有用性（0.79、<0.001）と相関しています。
結論
QuALスコアは信頼性の高い評価スコアであり、効用の認識とよく相関しています。 QuALスコアは、現場ベースの評価によって生成された短いコメントの評価に役立つ場合があります。
QuALスコアは、以下の複数の目的のために、これらの短い時間の現場ベースの評価を調和させるのを助けるために、臨床で積極的に展開される認知的足場です。
（1）コンピテンシー委員会の決定において評価者にメタ認知の提供
（2）後で正当化され有用な研修生のためのフィードバックの保管
（3）研修生の学習軌跡の次のステップをカスタマイズするためのデータの提供
