THEORY MADE PRACTICAL – VOLUME 4, PART 9: SIU & REITER’S TAU APPROACH
非認知的評価に対するTAUのアプローチは、現在医学部入試で使用されている評価ツールの予測的妥当性に関するガイダンスを医学部入試委員会に提供し、3つの主要な原則を説明しています。
TAU:Trust no one、Avoid self reporting、Use repeated measures:
誰も信用しない：志願者はリスクが高すぎるため信用できない。
自己申告を避ける：弱い志願者は最悪の自己評価者である。
繰り返しの測定を使用してください。医学部の面接は1回だけでは信頼できません。選考プロセスに反復測定法を導入することが推奨される。
背景には以下のようなものがあります。
競争の激しい医学部志願者市場では、入試委員会が信頼性の高い有効な選考ツールを使用することが不可欠です。
医学部志願者の多くは、合格を勝ち取るためには、非常に高いモチベーションを持っている人たちです。現在、医学部教員が自由に利用できるツールは複数あります。
志願者の成績平均点、医学部入学試験のスコア、multiple mini-interviewは、最も実用的で、医学部の成績との相関関係に統計的に有意なものの一つです。
TAU の見解では、現在の出願プロセスの妥当性にはほとんど信頼を持たないとしている。特に、出願者の推薦者、ファイルレビュアー、面接官を評価する際には、「誰も信用しない」というアプローチが推奨されている。
この論文では、客観的に自己申告することができない志願者の無力さが強調されています。膨大なプレッシャーにさらされている医学部志願者が、正直かつ確実に自己評価を行うことを期待するのは不合理である。
面接プロセスの妥当性を判断するために反復測定を用いることは、非常に価値があると考えられる。例えば、候補者の潜在的なパフォーマンスを効果的に予測するためには、単一のインタラクションではなく、複数回の面接が推奨される。
現代のテイクまたはアドバンス
推薦状は、医学部でも研修医プログラムでも、出願書類の一部としてよく見られるものである。推薦状は、「予測能力が低い」「評価者間の信頼性が低い」と批判されてきた。TAUアプローチが発表されて以来、多くの医学部で標準化された評価書（SLOE：standardized letters of evaluation）への傾向が現れてきた。SLOE は、より客観的な測定を可能にし、以前の推薦状の主な評価方法であった個人的な説明文だけではない。一般的なSLOEには、説明文の部分に加えて、「7つのコンピテンシーに焦点を当てた質問」が含まれており、評価者は志願者をランク付けすることを要求されます。この順位付けは、複数の評価者が申請者と相対的に行うものであり、これにより SLOE は反復測定という TAU の枠組みの中にうまく収まっている。
また、出版物やプレゼンテーションなどの学術的活動も、申請プロセスにおいて重要なものとして挙げられている。救急医療のレジデンシーディレクターを対象とした調査では、志願者を評価する上で重要な要素として学術的活動が挙げられています。学術活動は客観的な方法で評価することができ、申請者が参加した研究、出版物、発表の強さに応じて異なる重みが与えられます。客観的な基準が使用されている場合は、申請者のグローバルな評価に加えて、学術活動を定量的に評価することができます。このような定量的な測定は、自己申告を避けることで、TAU の枠組みに適合している。
医療専門職への出願が「非伝統的」であり、出願の構成要素に大きな多様性をもたらすものが増えていることから、TAU の枠組みはますます重要になっている。これにより、出願書類を相対的に比較することの難しさが増している。入学試験に TAU アプローチを使用することで、入学委員会は、将来の合格を予測する妥当性を損なうことなく、個々の出願の独自性を評価することができる。
この理論が教室及び臨床設定の例
研修医と教員の臨床評価はパフォーマンスの重要な指標であり、同様に自己申告は避けるべきである。古典的な救急医学の研修医の評価は、1対1の直接観察で行われている。この評価方法は現在のところ、評価者のバイアスと主観によって制限されている。
研修医の評価はマイルストーンに基づいたものが増えており、すべての教員が客観的に研修医を評価するための枠組みを提供している。このようなコンピテンシーに基づく評価は、より頻繁に行われ、同じプログラム内の他の研修医と比較したり、他のプログラム全体の研修医と比較したりすることで、研修医のパフォーマンスをより正確に評価することができる。これは TAU のアプローチとより一貫している。
新任の教員は、管理能力、指導能力、ベッドサイドでの診断能力、その他の役割を評価するために TAU アプローチの恩恵を受けることができるだろう。新任教員、サポートスタッフ、研修生の同僚は、教育能力やベッドサイドでの臨床スキルなど、いくつかの標準化されたパラメータで初期の教員を評価すべきである。また、既存の管理職の指導的役割を担っている人たちも、初期の教員の自己評価に頼るのではなく、指導力や組織的能力についてフィードバックを行うべきである。評価における TAU アプローチの一環として客観的なデータを使用するという原則は、多くの臨床・教育分野に適用可能である。
主題となる論文
Siu, E. and Reiter, H. (2009). Overview: what’s worked and what hasn’t as a guide towards predictive admissions tool development. Advances in Health Sciences Education, 14(5), pp.759-775.
将来のパフォーマンスの予測的妥当性を示すツール（MCATやmultiple mini-interviewなど）は、妥当性を示さないツール（個人的な陳述書や推薦状など）よりも、おそらく医学部の入学プロセスに有用であると述べ、TAUのアプローチを説明しています。この論文では、入学プロセスの各構成要素に個別に焦点を当てることができます。
