Three key issues for determining competence in a system of assessment
Jorie M. Colbert-Getz ORCID Icon & Judy A. Shea
Published online: 12 Aug 2020
Download citation https://doi.org/10.1080/0142159X.2020.1804540
https://www.tandfonline.com/doi/full/10.1080/0142159X.2020.1804540?af=R
医学教育は、多元的、多方法的、多目的的な形態の評価を含むべきであり、それゆえに一貫性のある評価システムへと移行すべきであるということで、広く合意されている。評価システムの枠組みに適合する可能性の一つは、コンピテンシーに基づいた医学教育モデルを中心に評価を組織することである。
医学教育の評価方法は一貫したアセスメントのシステムに焦点を当てることに変わってきています。システムとは、評価を行う単一の方法ではなく、マルチソースであること、マルチメソッドであること、多目的であること、少なくとも大学院医学教育と継続的専門能力開発の分野では、実践に基づいた評価をデザインし、提供する方法を示唆しています。評価がどのように概念化され、どのようにデザインされるかという具体的なことは、意図的にシステムで定義されていない。評価フレームワークのシステムに適合する一つの可能性は、コンピテンシーベースの医学教育（CBME）モデルを中心に評価を編成することである。
コンピテンシーに基づいた医学教育モデルがいかに概念的に魅力的であっても、コンピテンシー（または合否のポイント）の決定の詳細についての議論は希薄である。そこで、より具体的な議論を行うために、コンピテンシーベースの評価を実施する上での3つの重要な課題を提示した。
１）各コンピテンシーは複数の評価で測定されます。
CBME では、個々のアセスメントレベルだけでなく、コンピテンシーレベルでパフォーマンス基準が設定されているため、複数のアセスメントや潜在的に複数のアセスメントタイプのパフォーマンスを各コンピテンシー内で組み合わせる必要があります。例えば、医学的知識は、内部で開発されたコースの多肢選択式試験と National Board of Medical Examiners (NBME) clerkship shelinations 試験で測定されることがあり、学習者が十分な医学的知識を持っているかどうかを判断するためには、これらの両方の評価のスコアを組み合わせる必要があります。しかし、他のほとんどのコンピテンシーは複数の評価タイプで測定される。例えば、患者ケアは、0～100%の尺度で採点される客観的臨床試験（OSCE）と 0～4 の 5 段階の尺度で採点されるプリセプター評価フォームで測定されることがあります。各評価タイプの測定尺度は、合意された1つの尺度に変換することができますが、スコアが何を表しているかについての意味が失われてしまう可能性があります。
２）すべての評価がコンピテンシーのスコアを生成するわけではありません。
複数の評価が異なるスコア・スケールを使用するだけでなく、スコアの代わりにパフォーマンスを示すために定性的な情報を使用することもできます。定性的情報は評価に変換することができますが、いくつかの評価ではこれは実行可能ではありません。ナラティブフィードバックは、コンピテンシーレベルでのパフォーマンス基準を設定する前に、まず何らかの方法で合成し、他のデータソースと三角測量する必要がある。定性的情報をパフォーマンスのビンに分類することは可能であるが、コメントが何を言っているのか、そして潜在的には何を意味しているのかの豊かさが失われてしまう。
３）コンピテンシーの決定は、アセスメントのパフォーマンスが累積されると、再び起こります。
CBME に焦点を当てた評価システムでは、コンピテンシーの決定を行う際に、学習者がしきい値を満たしているかどうかを判断するためのエビデンスが複数の情報源から得られることが、必ずしも明示的に述べられているわけではないが、十分に認識されている。
コンピテンシーの決定は、一度の「最終的な」決定ではなく、おそらく毎年のように、ある程度の周期性を持つことになるであろう。最終的な決定はまだ行われなければならないが、初期のパフォーマンスは蓄積され、後に発生する決定が最大の情報で行われるようになるだろう。「今」に焦点を当てると、多くの事前評価が無視され、より質の高い意思決定がより多くのデータポイントから得られることはよく知られている。
結論
評価システム、特にコンピテンシーベースの評価は直感的に魅力的ですが、プログラムが評価の決定を行う際には、複数の問題が発生します。コンピテンシーを決定するために評価データを集約するアプローチがプログラムには必要であることは明らかです。CBMEのアプローチに賛同することは一つですが、評価を設計し、慎重な決定につながる手順を実施するための意味合いを考えることは別のことです。私たちは、CBMEアセスメントを実施する際に生じる重要な問題点を概説してきました。
第二に、この論文は、学習の軌跡の潜在的なパーソナライズされた性質にどのように対処するかという点で、規定的なものではありませんでした。
第三に、カリキュラムが合否に移行するにつれて、コンピテンシーの決定の性質が異なる可能性があります。
第四に、現実には、コンピテンシーにきちんと結びつけられていない複雑で複雑な意思決定には、多くの情報が含まれていることを認識しています。
最後に、個々の評価ではなく、統合されたパフォーマンスを見ることを求めていることを思い出すべきである。コンピテンシーで自分たちを定義している学校やプログラムでは、コンピテンシーの中でのパフォーマン スを見ることに価値があると考える。
