Twelve tips for introducing very short answer questions (VSAQs) into your medical curriculum
Laksha BalaORCID Icon, Rachel J. WestacottORCID Icon, Celia BrownORCID Icon & Amir H. SamORCID Icon
Published online: 14 Jul 2022
Download citation https://doi.org/10.1080/0142159X.2022.2093706
https://www.tandfonline.com/doi/full/10.1080/0142159X.2022.2093706?af=R
学部の筆記試験の多くは，医学知識の評価に単一選択問題（SBAQs）などの多肢選択問題を用いている．近年，超短答式問題（VSAQ）の利用を支持する強力なエビデンスベースが出現している．VSAQは、学部の形成的評価と総括的評価の両方において、許容可能で、信頼性が高く、判別可能で、費用対効果の高い評価ツールであることが示されてきた。VSAQは、SBAQを使用する教育者から提起された多くの懸念に対処するものである。SBAQが学生および教師の両方に提供する限られたフィードバックと同様に、本物ではない臨床シナリオ、学生によるキューイングとテスト受験の行動も含まれる。医学評価におけるVSAQの普及は、おそらくこの評価方法に対する慣れや経験の不足から、まだ採用されていません。以下の12のヒントは、医学教育者が医学カリキュラムの中でVSAQを計画、構築、実施する際に役立つよう、文献からの裏付けとともに、私たち自身のVSAQの実践経験をもとに構築されたものである。
VSAQは、臨床シナリオ（必要に応じてプレゼンテーション、検査所見、検査結果を含む）とリードイン問題で構成される。受験者は、あらかじめ決められたリストから選択肢を選ぶのではなく、自分で自由記述の回答をしなければならない。採点を容易にし、学生の回答負担を軽減するために、求められる回答が1～5ワードになるように問題を構成することを推奨しています。
VSAQの内容と構成
ヒント１ VSAQで評価するのが最適な応用知識分野を特定する。
医療カリキュラムの多くの領域で応用知識をテストするためにSBAQを使用することは可能ですが、すべてではありません。
VSAQは、処方など、本来SBAQ形式に適さないカリキュラムの領域をテストするのに理想的である。SBAQは、5つの選択肢の中から正しい処方を選択する能力をテストするのに対し、VSAQは、学生自身が薬の詳細（投与量、経路、頻度など）を作成することを要求するものである。カナダ、オーストラリア、ニュージーランドで採用されている、英国の医学生が受験する国家試験「処方安全性評価」（Maxwellら2015, 2017; Hardistyら2019）は、コンピュータでマークする様々な問題形式を用いて、このスキルをよくテストする。
VSAQを使用して処方を評価することは、特に電子処方の時代において、学生が職場で処方を実践することがますます困難になっているため、貴重なツールである。このような形で評価を行うことで、学生の安全な処方のスキルを高め、処方ミスを減らすことができる可能性があります。
ヒント2 すべてのSBAQビネットがVSAQとして機能するわけではない
新しい評価の導入に必要なリソースを考慮する必要があります。VSAQを簡単に作成する方法の1つは、既存のSBAQを回答選択肢を削除するだけで変換することです。カバーテストに合格したほとんどのSBAQ（すなわち、解答選択肢を必要とせず、問題文のみから回答できる）は、理論的にはVSAQに変換することができます。しかし、SBAQの変換がうまくいかない状況もある。例えば、臨床ビネットで言及されている5つの選択肢（例えば、5つの危険因子と5つの薬剤）の中から最も良いものを選択するよう学生に求めるSBAQは、VSAQとしてうまく機能しない。たとえ5つの回答の選択肢が削除されたとしても、質問は臨床ヴィネットで提供された情報に基づく5つの質問のうちベストなものを選ぶことになります。
ヒント3 本物のシナリオを使用する
SBAQを作成する際、本物の臨床シナリオは、しばしば4つのもっともらしいディストラクターを作成するために調整されます。これでは、臨床例が不自然になり、信頼性が損なわれてしまいます。これに対して、VSAQは、4つのもっともらしいディストラクタを作成する必要がないため、本物のケースをそのまま使用して作成することができます。
また、VSAQは、診断、調査、管理などの不確実な状況下での臨床推論をテストするのに有効な評価方法である。VSAQで使用される回答形式は、SBAQが回答の選択肢を提供することで制限している臨床的不確実性の認識と管理を可能にするものである。しかし、VSAQは、質問の構成そのものよりも、それによって生じる不確実性が臨床的な問題に関連していることを確認するために、注意深く記述する必要があります。
ヒント4 VSAQは特定のリードインを必要とする
VSAQによって生じる不確実性が本物であり、VSAQの構成とは対照的に臨床問題に関連していることをさらに確実にするために、問題作成者はリードインが具体的で、知識の特定かつ個別の領域をテストすることを確認する必要があります。これにより、問題が何を尋ねているのかという不確実性を回避することができます。
ヒント5 VSAQでは、正解の範囲が決められている
与えられた質問に対する唯一のベストアンサーが存在しないという事実は、臨床医学を忠実に表現しています。この概念は、専門的な実践の準備のために、学生に受け入れられ、強調されるべきです。
もし評価者が、採点に多くの時間とリソースを要することを認識し、より幅広い回答を受け入れることに満足するのであれば、VSAQは必ずしもこのように指示的である必要はないことに注意することが重要です。
また、5語以内の解答を推奨することで、他の形式の自由記述式試験で問題となりうる採点者間の主観を排除し、より厳格な採点方式を可能にします
もちろん、VSAQの利点の1つは、学生の回答に柔軟性が提供されることである。学生が、以前は考慮されなかった実行可能な代替解答を提供した場合、SBAQでは不可能であるのに対し、VSAQではこれを採点することができる。
・VSAQの実施
ヒント 6 採点方法を検討する
自由記述問題を評価に使用する際の障壁の1つは、採点に必要な時間でした。オンライン試験管理ソフトウェアにより、iPadタブレットや固定端末コンピュータでVSAQ評価を実施し、採点を半自動化することができるようになりました。
VSAQ の採点戦略を決定する際に考慮すべきことは、以下の通りです。
スペルミスを考慮し、臨床的に誤った回答（hypoとhyperの違いなど）を許さないために、学生が正解にどれだけ近づく必要があるか（レーベンシュタイン距離の使用など）。
部分的に正しい回答に対して、ハーフマークが認められるかどうか。これは明示的な採点方法を必要とし、採点時間を増加させ、一貫性を確保するためにモデレーションを必要とする可能性が高くなります。
人の採点の正確さ - 何人の採点者が、機械で採点されない項目を採点するのか。裁定者または2回目のレビューを行うべきか？
ポストホックレビュープロセス - 問題および受験者のパフォーマンスのレビューは、パフォーマンスが低い問題を管理するプロセス（これらは削除されるか?
ヒント7 標準設定者に許容される回答へのアクセスを提供する
VSAQの回答は、有効な基準と適切な論文合格点を導き出すために、基準設定者に提供されるべきです。SBAQの解答へのアクセスは、標準設定者が問題の難易度を過小評価する結果になることさえあるようです
解答へのアクセスを提供することは、VSAQ の難易度に関する基準設定者の認識に影響を与え、問題の難易度の明確な指標を提供することができます。
VSAQの解答を提供するだけでなく、合格に必要な基準（特に、一般的に同等のSBAQの論文よりも低くなること）、VSAQの形式、使用する基準設定方法（AngoffやEbelなど）に慣れるために、基準設定担当者に詳しいトレーニングを用意する必要があります。
ヒント 8 学生にVSAQの準備をさせる
学生に新しい評価を導入する場合、評価方法への不慣れから生まれる新たな不安がないように、プロセスをできる限り透明化する必要があります。これは、評価が有用であり、学生が知識を実証する最良の機会を提供することを保証するのに役立ちます。
カバーすべき重要な領域は以下の通りです。
・VSAQとは何か、この評価方法の付加価値を理解する
・学生への問題への取り組み方のアドバイス - 例：分析的推論、学生がSBAQのために身につけたと思われる受験行動の回避。
質問への回答の仕方を学生にアドバイスする。
学生に練習問題を解かせて、使用するソフトウェアに慣れさせ、解答のフィードバックを得る機会を与える。これは、総括的な評価で使用する前に特に重要である。
ヒント9 VSAQの解答を学生へのフィードバックに利用する
SBAQと比較した場合のVSAQのもう一つの大きな利点は、学生の回答から提供される豊富なフィードバックです。学生の回答は、SBAQでは必ずしも特定されない判断ミスを強調することができます。学生の回答は、問題がどのように誤答されやすいかという先入観を持っているSBAQの問題作成者によって提供される不正解要因とは異なることが多いのです。
評価後に学生へのフィードバックが行われる場合、個人レベル（例えば、学生は試験プラットフォームにログインすることで個人の成績を確認できる）または共通のエラーに関するクラス全体のフィードバックのいずれかを提供することが可能である。
ヒント10 教師へのフィードバックにVSAQ解答を使用する
VSAQの解答は、学生へのフィードバックに加え、学生の認知プロセスやエラーの原因を特定することができます。これは、学生が臨床問題にどのようにアプローチしているかについての理解を深めるのに役立つため、学生の臨床知識、学生が難しいと感じる概念や推論、学生がエラーを起こしやすい場所について教員にフィードバックすることができます
学生の誤解、認知的アプローチ、エラーに関するこの洞察は、さらなる投資と開発を必要とするカリキュラムの領域を強調し、臨床教育を形成し改善する機会を提供するかもしれない
重要なことは、いくつかのVSAQが、SBAQでは明らかにならなかった、あるいは、問題作成者が学生の回答として考えたことさえなかった、重大な認知エラーを強調することが示されたことである。不正解を分析することで、一般的な認知エラーを特定し、学生の知識と理解についてより深い洞察を得ることができ、今後の指導に役立てることができるのである。
ヒント11 学生の VSAQ 解答を SBAQ のためのもっともらしいディストラクタとして使用する。
学生や教育者にフィードバックを与えるだけでなく、学生のVSAQの回答は、SBAQの作成に役立つこともあります。VSAQに対する学生の回答は、学生にとって本当に気が散る回答について学ぶユニークな機会を提供し、それがもっともらしいものであれば、今度はSBAQの気が散る回答として使用することができます。
ヒント 12 学習のための評価を強化するためにVSAQを使用する
形成的チーム学習（TBL）セッションでVSAQを使用した研究からの証拠は、学生の学習のためにSBAQよりもVSAQを使用することをサポートしています（Millarら2021）。この研究では、ほとんどの学生が、SBAQと比較して、VSAQは臨床実習でどのように質問に答えることが期待されるかをよりよく表現していると考え、セッションは臨床実習の準備の改善に役立つことが示された。また、本研究では、形成的TBLセッションでVSAQsを使用することで、グループディスカッションを重視することができることも示された。
また、形成的な場での学習のための評価としてVSAQを使用することは、学生の理解における誤解を早期に（すなわち、評価の高い総括的な試験の前に）特定し、対処する機会を提供するものである。VSAQは、TBLだけでなく、あらゆる教育方法（少人数制のチュートリアル、講義など）に適用可能であり、形成的な場での学生の学習のためのVSAQの利用が可能である。
まとめ
この記事では、VSAQ評価の計画、構築、および実施を成功させるために必要な主要な考慮事項を提示した。また、SBAQと比較して、信頼性、識別性、信頼性の高い応用知識のテストとして、VSAQの使用を支持するエビデンスベースと教育理論について議論してきました。特に、VSAQは学生が実際に何を知っているかについてのユニークな洞察を提供し、その結果、学生や教員のフィードバックを提供し、医学部カリキュラムを形成するために使用できることを強調した。最終的には、VSAQを慎重に構築し実施することで、学生が臨床実習に備え、高品質で安全な患者ケアを提供できるよう、より良い準備をすることを期待している。
