Evidence-Based Evaluation of Student and Marker Performances in Assessment and Examination
Ole J Kemi
14 Jan 2025https://doi.org/10.1152/advan.00202.2024
https://journals.physiology.org/doi/abs/10.1152/advan.00202.2024?af=R
学生はコースワークおよび/または試験で評価され、そのすべてが評価者（マーカー）によって採点される。 学生および採点者の成績は、授業終了後に行われる試験官による審査および分析の対象となる。 これは毎年行われ、学生だけでなく、教育機関の学習・教育効率を評価する基礎となる。 しかし、この精査は標準化されておらず、教育機関間、同じ教育機関内の異なる学習プログラムや試験委員会間、またセッション間でも異なる場合がある。 本稿の目的は、標準化され、統一され、透明性のある方法で、学生と採点者双方のパフォーマンスを定量的かつ統計的手法で分析し、科目や分野を超えて採用できるアプローチを確立するために、実例、推奨事項、提案される実践例を示しながら、この精査の枠組みを提案することである。 その基礎となるのは、任意のコースにおける学生の成績および関連するコースワークや試験の採点結果を、 比較対象コースにおける同じ学生の成績と比較することで、学生または採点者の成績が、その学生のために設定された規範に匹敵するかどうかを証明する、 比較を可能にする一般的かつ厳密な適切な統計手法である。 これは採点プロセスの正確性、信頼性、一貫性を測るものである。 この利点は、評価および試験実施における長所と短所を明らかにし、意思決定に役立つ証拠を提供し、長期的な進捗状況を追跡し、アカウンタビリティ（説明責任）を果たす組織基準を確立することである。 これにより、評価と試験のプロセスにおける優れた実践が確立される。
- 評価システムの現状と課題
- 大学では学生は科目内評価(coursework)や試験で評価される
- 採点結果は年度末の試験委員会で精査・承認される
- 臨床系科目では評価の標準化が一般的だが、科学系分野では標準化が不十分
- 機関間や学部間で評価方法にばらつきがある
- マーカー(採点者)のパフォーマンス評価が十分に研究されていない
- 提案されるフレームワークの目的
- 透明性と公平性の確保
- エビデンスに基づく決定のサポート
- 強みと弱みの特定
- 個人やグループの改善が必要な領域の特定
- 時間経過による進捗の測定
- フィードバックと目標設定の基礎提供
- 分析手法の詳細
a) 学生のパフォーマンス分析:
- 科目GPAの分布分析
- 評価項目ごとの成績分布
- 正規分布からの逸脱の確認
- 外れ値の個別精査
b) マーカーのパフォーマンス分析:
- コース間のGPA比較（GPAcourseとGPAother）
- Δ-GPA（差分）の計算と分析
- 標準誤差(SE)による信頼性評価
- スピアマン順位相関係数による一貫性評価
c) プロジェクト評価の分析:
- プロジェクト全体とコンポーネント別の成績分布
- プロジェクトタイプ別の分析
- 通常科目との成績比較
- 指導教員評価の偏りの確認
- 実施における重要な考慮点
a) データの取り扱い:
- すべての学生とマーカーを分析対象に含める
- 科目間の比較可能性の確認
- 適切な統計手法の選択
- 外れ値の慎重な取り扱い
b) 結果の解釈:
- 約10%程度の自然な変動は許容
- 個々のマーカーの評価には追加情報が必要
- 外部要因の影響を考慮
- 長期的なトレンドの重要性
- 実装上の推奨事項
a) プロセス:
- 年度末の試験委員会での実施
- すべての成績を暫定的とみなす
- 分析結果に基づく適切な対応
- 継続的な改善サイクルの確立
b) 品質保証:
- 評価基準の明確化
- 採点の一貫性確保
- フィードバックシステムの確立
- 定期的な見直しと更新
- 期待される成果
a) 直接的な効果:
- 評価プロセスの標準化
- 採点の質の向上
- 学生評価の公平性確保
- 教育効果の向上
b) 長期的な利点:
- 教育の質の全体的な向上
- 機関の説明責任の強化
- 学生の学習成果の改善
- 教育実践の向上
