Rapid Blueprinting: An Efficient Method for Designing Content of Assessments
Monograph
Published: 28 February 2024
問題
医学教育における多くの評価では、内容領域の習熟度を測定する。そのため、この分野のテストの適切な内容開発（blueprinting）は第一に重要である。アセスメント開発の一環としてコンテンツレビューを実施する先行研究は、時間とリソースを要するものであり、実践分析に依存し、さらにリンク手法に依存してきた。このモノグラフでは、厳密性を備えた効率的なアセスメント開発を可能にする、「迅速で費用対効果の高い」ブループリントのアプローチを探求する。私たちの調査は、アセスメント要件に直接焦点を当てることで、医療資格認定および評価試験の内容設計（ブループリント）を作成するための効率的かつ効果的な代替方法を模索するものである。
アプローチ
迅速なブループリント作成法を提案するために、2段階のプロセスを採用しました。フェーズ1では、コンテンツの専門家/実務家が1日かけて直接ミーティングを行った。フェーズ2では、より多くの専門家・実務家を対象とした裏付け調査を実施した。ラピッド・ブループリント法は、11のブループリント（医療専門家認定用5つ、医療専門職認定用5つ、研修中アセスメント用1つ）の開発に適用された。
＊迅速ブループリント作成方法
-
背景資料と参考文献の準備： 対象分野、試験プログラムの目的、スコアから求められる推論に関連する背景資料と参考文献を準備します。これには、トレーニングプログラムのカリキュラム概要、実践活動に関するデータ、専門開発の提供、教科書、レビューコースの概要、以前のブループリントなどが含まれます。
-
専門家パネルとのコンセンサス形成演習を促進：
- a. 背景資料、試験の目的、スコアから求められる推論をレビューします。
- b. 目的と求められる推論に合わせて、試験に含めるべき主要な内容領域を定義します。
- c. 各主要内容領域の試験内での重み（項目の割合）を定義します。
- d. 各主要領域内でテストされるべき具体的な概念を定義します。これらの具体的な概念は、一つまたは複数のテスト項目でテストできるほど詳細になっている必要があります。また、テストされるべきでない概念も定義します。
-
結果として得られたブループリントをレビューして最終化： 専門家グループ内の合意と妥協を強調しながら、結果として得られたブループリントをレビューして最終化します。
-
ドラフトブループリントの広範なグループへの送付と確認： このドラフトブループリントを10から50人の内容専門家実践者の広範なグループに送り、フィードバックと精緻化のための確認を行います。これらの確認専門家は、ブループリントのドラフトをレビューし、以下のことを求められます：
- a. 内容と主要な内容領域に関する一般的なコメントを提供します。
- b. 主要領域の新しい重みを提案するか、ドラフトにあるものに同意します。
- c. 見落とされている特定の領域のレビュー、または削除の提案を行います。
このプロセスを通じて、試験のブループリントが作成され、内容がテストされるべき内容とその内容領域内の相対的な重みを記述したドキュメントが得られます。
成果
私たちが用いた手法により、効果的でバランスの取れた、運用可能な試験が生まれ、その結果、項目作成課題や試験開発において、設計図の導入に成功しました。また、ラピッド・ブループリント法の使用から得られた評価は、スコアから心理学的に健全な推論を生み出しました。例えば、このテスト作成方法から得られた評価のKR-20信頼性係数は、.87から.92でした。
次のステップ
このアプローチは、ラピッド・ブループリント法の有効性と実現可能性を活用し、コストと時間効率のよい試験デザイン（ブループリント）を実証しました。ラピッド・ブループリント法は、医療資格認定試験以外にも、地域の評価設定でさらに実施するために検討される可能性がある。
