Psychometric validation of the reconstructed version of the assessment of reasoning tool
Satid Thammasitboon , Moushumi Sur , Joseph J. Rencic , Gurpreet Dhaliwal , Shelley Kumar , Suresh Sundaram & show all
Published online: 17 Oct 2020
Download citation https://doi.org/10.1080/0142159X.2020.1830960
https://www.tandfonline.com/doi/full/10.1080/0142159X.2020.1830960?af=R
背景
医学教育において、学習者の診断推論能力を評価することは困難であり、標準化されていない。本研究では、理論に基づいた行動的に固定化されたルーブリック、Assessment of Reasoning Tool (ART)を開発し、その内容と応答プロセスの妥当性を検証した。本研究では、このツールの内部構造とそこから導き出された測定値の解釈を裏付ける証拠を収集した。
方法
ARTドメインと記述子を用いて15項目5点リッカート尺度としてreconstructed version of ART (ART-R)を導出した。心理測定評価を行った。学習者の口頭発表のビデオバリエーションを18種類作成し、ART-Rの異なるパフォーマンスレベルを示した。
結果
152 名の教員が 2 本のビデオを視聴し、学習者をグローバルに評価した後、ART-R を使用した。確認的因子分析の結果、a favorable comparative fit index = 0.99, root mean square error of approximation = 0.097, and standardized root mean square residual = 0.026.が得られた。仮説に基づいた情報収集、問題表現、優先的鑑別診断、診断評価、認知傾向・情動的要因の認識の5つのドメインは、高い内部整合性を有していた。また、各領域の合計スコアは、診断推論のグローバル評価と正の関連性を示した。
結論
本研究では、5つの理論領域、内部整合性、グローバル評価との関連性など、ART-Rの評価ツールとしての妥当性を示す結果が得られた。
ポイント
・臨床技能の観察ツールは複数発表されているが、診断推論プロセスに特化したものはない。
・推論評価ツールは理論に基づいた行動的に固定されたルーブリックであり、指導医が診断的推論を評価し、5つの領域でフィードバックの会話を構成することができる。
・ARTの脱構築版（ART-R）は、オリジナルのARTルーブリックの行動記述から派生した15項目のリッカート尺度評価ツールである。
・心理学的評価により、内部構造およびART-Rの他の変数との関係に関する妥当性の証拠が得られた。
・ARTとART-Rは相補的なものであり、どちらも診断的推論の能力を評価するために使用することができる。
ARTは、診断的推論プロセスの5つの領域に関連する学習者への評価とフィードバックのための構造を提供するように設計された尺度である。それぞれの領域には、症例提示中の学習者の推論の「完全な」診断的推論パフォーマンスの特徴付けを助ける行動を形成する明確な記述がある。
また、各分野の記述が、それぞれの分野の総合的なパフォーマンスにどのように寄与しているかを理解するために、個別に評価した。ART-Rは、ARTの5つのドメインの各3つの項目を持つ15項目に再構築された。
因子1：仮説指向型情報収集
HD1 患者から情報を収集する際に、特定の診断に向けて明確な線引きをする学習者の能力。 HD2 患者から情報を収集する際に、特定の診断の可能性を高める/減らすような方法で質問を指示する学習者の能力。
HD3 特定の診断の可能性を高める／減らすような方法で身体検査を行う学習者の能力
因子2：問題表現
PR1 臨床上の問題の概要を明確に伝える学習者の能力
PR2 アセスメントで重要なポジティブな所見とネガティブな所見を強調する学習者の能力
PR3 評価において医学用語（semantic qualifiers）を採用する学習者の能力
因子3：鑑別診断の優先順位付け
PD1 鑑別診断を明確にランク付けする学習者の能力
PD2 可能性の高い診断と見逃せない診断を含める学習者の能力
PD3 鑑別診断に重要な診断を含める学習者の能力
因子4：検査を反映した診断評価
HVT1 最も可能性の高い診断と見逃せない診断に評価を向ける学習者の能力
HVT2 効率的な順序で評価を指示する学習者の能
HVT3 可能性の低い、または重要度の低い診断に向けた検査を延期する学習者の能力。
因子5：潜在的な認知傾向と感情的要因（CEF）の認識
CEF1 学習者の意思決定に影響を与えた可能性のある1つ以上の潜在的な認知傾向を認識する学習者の能力。
CEF2 学習者の意思決定に影響を与えた可能性のある1つ以上の潜在的な感情的/状況的要因を認識する能力。
CEF3 認知的／情動的／状況的要因が自分の意思決定に影響を与えたと思われる方法を説明する能力。
本研究では、15項目5点リッカート尺度ART-RというARTの代替形態を導き出し、指導医が学習者のパフォーマンスを評価するための追加ツールを提供できるようにした。ここで示された心理測定特性は、ART-Rの評価結果の解釈を支持し、オリジナルのARTの行動記述を支持する有効性の証拠を追加した。
オリジナルの ART ルーブリックが学習を促進するための形成的評価（つまりステークスなし）として使用されることを意図しているのに対し、ART-R は「ステークスなし」と「ステークスの低い」評価の両方に使用することができる。ART と ART-R は、臨床推論のコンピテンシーを評価するプログラムの一部として機能するために、さまざまな文脈で、異なる評価者によって補完的に使用することができる。
結論として、推論力評価ツール（ART-R）の再構築版は、内部構造や他の変数との関係に関連した妥当性の証拠を持っている。本研究では、診断的推論におけるコンピテンシーの向上に向けた学習者の教育と評価を導くために、ART-Rを使用することを提案する。
