Potential for Bias: Rater Cognition and the Influence of Prior Performance Information
Ho Lee, Seung BMSc1; Shaw, Tammy MD, MMEd2; Tran, Christopher MD, MMEd3; Humphrey-Murto, Susan MD, MEd4
Author Information
Academic Medicine 98(9):p 1096, September 2023. | DOI: 10.1097/ACM.0000000000004962
- 評価者の判断は、医学教育における評価のフィードバックと総括的判断に不可欠である。
- 心理学では、評価者の判断に影響を与える状況を広く文脈効果と呼ぶ。
- 学習者のパフォーマンス（すなわち、目標パフォーマンス）を評価する前に評価者が受け取るデータで、文脈効果につながる可能性のあるものは、事前パフォーマンス情報（prior performance information (PPI)）と呼ばれます。
- PPIが評価者の認知に与える影響（同化、対比、影響なしなど）を予測することは困難です。
直接的
評価者が同じ学習者を何度も観察する（例えば、1つのクリニックで連続したケース）。
直接的なPPIは、PPIがなければそうであったであろうものから判断をシフトさせることがある（コントラスト）。
あなたはある学習者の3つの弱いパフォーマンスを観察します。次のパフォーマンスは平均的です。PPIはあなたの評価にどのように影響しますか?
PPIが強い場合よりも、次のパフォーマンスを高く評価するかもしれない。
間接的
評価者が他の情報源から情報を受け取る（例えば、学習者の引き継ぎ）。
間接的なPPIは、PPIに含まれる情報へと判断をシフトさせます（同化）。
例：学習者を評価する前に、同僚からその学習者は「弱い」と知らされました。
PPIが強かった場合よりも、彼らのパフォーマンスを低く評価するかもしれない。
現実世界の要因が文脈効果に影響する可能性
- 否定的なPPI： 学習者に関する否定的な情報は、肯定的な情報よりも強い文脈効果と関連することが多い。
- 評価者 ：評定者の信念や性格は、文脈効果の影響を受けやすさに影響するかもしれないが、評定者の専門知識は、文脈効果を保護しない- 評定者の訓練（例えば、教員養成）は、文脈効果を低減しないようである。
- 時間遅延：PPIを受け取ってから学習者を評価するまでの時間遅延は、文脈効果を減少させる可能性があるが、一貫して減少させることはできない。
- 認知的負荷： 例えば、学習者の評価と同時にマルチタスクを行っている場合、PPIの影響をより強く受ける可能性があります。
- 目標パフォーマンス: どのレベルの目標パフォーマンスも文脈効果の影響を受ける可能性がありますが、目標パフォーマンスが平均的であれば、その影響はより一貫したものになります。
- 相加効果： 例えば、学習者の体重とPPIが独立してパフォーマンス判断に影響を与えることがあります。
