Twelve tips for developing effective marking schemes for constructed-response examination questions
Neville G. ChiavaroliORCID Icon &Jacob PearceORCID Icon
Received 01 Jun 2023, Accepted 21 Feb 2024, Published online: 14 Mar 2024
Cite this article https://doi.org/10.1080/0142159X.2024.2323178
https://www.tandfonline.com/doi/full/10.1080/0142159X.2024.2323178?af=R
構成的記述問題（Constructed-Response Examination Questions、CRQ）は、受験者が自らの言葉で回答を構成する必要がある試験問題の形式です。この種の問題は、受験者が持っている知識や理解、分析能力、評価能力、そしてその情報を組み立てて伝える能力を評価するのに適しています。選択式問題（選択肢から正解を選ぶ問題）と異なり、CRQは受験者により深い思考と知識の展開を求めます。
構成的記述問題には、短答問題、長答問題、エッセイ問題などが含まれ、それぞれの形式は評価したいスキルや知識の領域に応じて選ばれます。たとえば、短答問題は具体的な事実や短い説明を求めるのに対し、エッセイ問題ではより広範なトピックについての詳細な分析や意見を求めることがあります。
構成的記述問題の採点は、その性質上、選択式問題に比べて主観的になりがちです。したがって、公平かつ一貫した評価を確保するためには、詳細かつ明確な採点基準が不可欠です。採点基準は、受験者の回答が満たすべき要件を定義し、異なるレベルの回答に対してどのように点数を割り当てるかを指示します。これにより、評価者間での一貫性が保たれ、受験者に対して公正な評価が行われることを目指します。
近年、ライティング・ルーブリックに関する教育文献は急増していますが、その多くは授業での使用や形成的な目的を対象としたものです。総括的評価の文脈で適切な採点基準を作成する方法に関するガイダンスは比較的少ない。目的が異なるということは、試験用のマークシートに適用される原則や慣行も異なるということである。この記事では、教育文献や私たち自身の医療・保健専門職の教育担当者と問題や採点方法について協働してきた実践的な経験をもとに、効果的な採点方法を設計・実施するための12の重要な原則やヒントを提示します。
学習目標や能力との一致を確認する：
評価課題が意図した学習目標や能力と一致しているかを確認することが重要。設計の初期段階でこの一致を確保することで、効果的な採点基準を開発する基礎が築かれます。
問題を書く際に採点基準も同時に書く：
問題と採点基準を同時に開発することで、問題の明確性、学習目標との一致、および受け入れ可能な回答の範囲を事前に定義できます。
得点ベースかレベルベースの採点アプローチを決定する：
得点ベースは特定の回答に点数を割り当てる方法で、レベルベースは回答の質に応じて異なるレベルに分類し、それぞれのレベルに点数範囲を設定します。問題の性質に応じて適切なアプローチを選択します。
「模範解答」の作成を避ける：
模範解答は採点者が多様な受け入れ可能な回答を評価する際の指針になりにくいため、模範解答に依存せず、より広い範囲の回答を許容する採点基準の開発が推奨されます。
（得点ベースの場合）受け入れ可能な回答の範囲を特定し、適切に点数を割り当てる：
受け入れ可能な回答の範囲を明確に定義し、各回答に対して適切な点数を割り当てます。これにより、一貫性のある評価が可能になります。
（レベルベースの場合）予想される異なるレベルの回答を特定し、各カテゴリの明確な説明を提供する：
回答の質に応じて異なるレベルを定義し、各レベルの具体的な特徴を明確に記述します。これにより、採点者が回答を適切に評価するためのガイドラインが提供されます。
採点者に明確な指示を提供し、必要に応じて例を示す：
採点基準の適用方法について採点者に明確な指示を提供し、必要に応じて具体的な例を用いて説明します。これにより、採点の一貫性と正確性が向上します。
シンプルに保つ – 採点基準は実用的でなければならない：
採点基準は、採点者が簡単に理解し、実際の採点プロセスで効率的に使用できるように、シンプルかつ実用的である必要があります。
採点前と採点中に採点基準を議論し、見直す：
実際の候補者の回答を使用して採点基準を試し、採点者間で議論し、必要に応じて調整します。これにより、採点基準の有効性が確保されます。
最良の実践ガイドラインを使用して採点基準を適用する：
採点プロセスにおいては、匿名性の保持、問題ごとの採点、適切な時間管理など、最良の実践ガイドラインに従うことが重要です。
標準設定の考慮事項を採点から切り離す：
個々の問題の採点は、全体の合格基準とは独立して行うべきであり、採点プロセスにおいて合格・不合格の基準を考慮しないようにします。
採点基準のさらなる検証のために統計分析を実施する：
採点基準の効果性と信頼性をさらに検証するために、統計分析を活用します。これにより、採点基準の改善点を特定し、将来の試験に向けて改善策を講じることができます。
