Faculty development for undergraduate student programmatic assessment: a Brazilian multi-centered longitudinal study
Rodrigo Humberto Flauzino, Maria Paula Panúncio-Pinto, Valdes Roberto Bollela & Luiz Ernesto de Almeida Troncon
BMC Medical Education volume 25, Article number: 759 (2025)
研究の背景・目的
プログラマティック・アセスメントは、学部学生評価における革新的なアプローチで、「評価の世界における革新の最新の産物」とされています。その特徴は：
- 学習のための評価の最大化と同時に、学生の進歩について堅実な決定を行う
- 機関や課程レベルでの中央集権的調整（個々の教員に任せるのではなく）
- 形成的評価の重視：評価戦略や手順のより大きな統一性を促進
- カリキュラム結果との完全な整合性
従来の評価との違い
Schuwirth、Van der Vleuten、Durningによると：
- 各評価は学生に重要なフィードバックを提供（質的、量的またはその両方）
- 個別の評価イベントは当初、合格・不合格の意思決定を意図していない
- 学生自身が自分の成績を評価し、達成可能な学習目標を設定するための参考として機能
ブラジルの教育状況
急激な拡大：
- 医学部：2000年約100校 → 2019年335校 → 2023年389校 → 2025年423校
- その他の保健医療系：看護780校、歯学671校、薬学783校、栄養学959校、リハビリテーション分野1,266校
質の問題：
- 大多数が私立の営利教育機関
- インフラ、ファカルティディベロップメント、教育訓練条件への投資不足
- 新設私立医学校の教育質は既存機関より著しく低い
評価の現状：
- 多くの保健医療系課程で学生評価は主にまたは排他的に総括的で認知領域に集中
- 教育環境を損なう歪みを引き起こしている
- 国のガイドラインでは学生評価に関する推奨事項が曖昧で軽視されている
研究方法
参加者・実施概要
- 対象：9機関の359名の教員・管理者
- 期間：2018年11月～2020年1月
- 課程：30の学部課程、13の保健医療専門職
- プログラム構成：
- 初回集中ワークショップ（20時間、27名のリーダー対象）
- 各機関での分散ワークショップ（10回、各機関で実施）
評価方法
- 即座の効果評価：ワークショップ直後の質と知識習得の評価
- 長期効果評価：1年後のオンライン調査（36項目）
主要な結果
即座の効果
- ワークショップの質的評価：292名（81.3%）の回答者の75-100%が「非常に良い」と評価
- 知識習得：すべての評価項目で、ワークショップ前後の知識レベルが有意に向上（p=0.0001）
1年後の長期効果
121名（33.7%）が回答した長期効果調査では：
学生評価に関する効果（90%以上が重要と評価）：
- カリキュラムと評価の整合性
- 知識と実践の更新
- 形成的評価の意義と重要性
- 学生評価における最良の実践と質的基準
教育実践への効果（80-90%が重要と評価）：
- 教育活動の改善
- 学生テストの作成・実施の向上
- 同僚との交流促進
- カリキュラム活動の管理・調整技術の向上
職業的・個人的発達への効果（70-80%が重要と評価）：
- 機関への帰属意識の向上
- 個人的・職業的評価の高まり
- 学生との関係改善
- 同僚との関係向上
考察
FDプログラムの効果に関する既存知見との一致
Steinert and Mannの見解との整合： FDプログラムは教員・教育者が「機関に関連し、地位と責任に適した技能を開発し、現在と将来の教育者としての活力を維持・支援する」ことを助ける
Steinert et al.の批判的レビュー（100以上の公表研究）との一致：
- 教育効果の向上
- 他の技能・能力の範囲への影響
波及効果の重要性
職業的アイデンティティ形成への寄与：
- 機関への帰属感向上
- 個人的・職業的評価の高まり
- これらの知覚的変化は「教員の職業的アイデンティティ形成を促進するものとして見ることができる」
実践共同体の形成可能性：
- 同僚や他グループとのパートナーシップ確立効果
- 正式なFD活動からより独立した知識・技能・能力の維持・継続的成長を促進
- 「実践共同体」の確立を示唆
ブラジルでの実践的意義
PAの特徴と利点
能力ベース教育との関連： PAは能力ベース教育と強く結びついているが、あらゆるカリキュラム設定の学生に利益をもたらすパラダイム：
- 学習と成績改善のための高品質フィードバックへの強い重点
- 主に職場配置型、低ステーク評価イベントの結果統合による堅実で公正な総括的決定
実装による効果：
- フィードバックを通じた学習機能の向上
- 主に質的情報を活用した防御可能な進級決定
- 成績不振学生の早期発見と支援的remediation能力の向上
ブラジルでの実装課題と可能性
現状の課題：
- 認知領域中心の総括的学生評価モデルの強い優勢
- 新しいパラダイム実装における巨大な困難
段階的変化の可能性：
組織的変化への寄与
地元リーダーの認識評価： 著者らの別の研究では、FDワークショップがコンソーシアム機関の一部で組織的・実践的側面の重要な変化と関連し、学生評価の組織・実践をPAにより近づけることが示された
主要プロジェクト目標達成への寄与： 多くの参加機関で、PAシステム固有の学生評価の特定側面における知識習得の肯定的影響が認識され、将来の主要プロジェクト目標達成への相当な貢献が示唆される
研究の限界
一般化可能性の限界
サンプルの代表性：
- 9機関、30課程は全国の高等教育機関の極小部分
- 医学部参加8校（公立7、私立2）は全423校の極小部分（公立約35%、私立約65%に対し）
- 結果の代表性と一般化可能性に疑問
バイアスの可能性
包含バイアス：
- プロジェクトの外国資金調達により、参加者と所属機関の個人的コストが非常に小さい
- 「社会的に望ましい」回答を生成した可能性
選択バイアス：
- 便宜的、非確率または全数サンプリング
- より肯定的側面を強調しがちな121名の参加者を含む可能性
- 結果の一般化可能性を妨げる
因果推論の限界
横断的デザイン：
- 因果推論を許可しない
- 時間経過による困難の進化のより詳細な理解には将来の縦断研究が必要
追加情報の欠如：
- 一部の参加者により効果的だったか不明
- 一部の課程や機関により効果的だったか不明
- プログラム完了後に追加のFDに参加したか不明
COVID-19パンデミックの影響
評価時期の特殊性： 1年後の質問票データ収集期間がCOVID-19パンデミックのピークと一致：
- 学校と教員が教育活動の大幅な変更を強制された
- 調査項目に関する参加者の肯定的視点に何らかの形で寄与した可能性
FDに対する理論的意義
伝統的FD手法の有効性
ワークショップ手法の再評価： 従来のFD手法（ワークショップ、短期コース、セミナー、その他の構造化グループ活動）の継続的有効性を実証
設計要因の重要性： プログラム設計、選択された学習活動、ファシリテーターの役割の適切性が、これらの側面を好意的に評価した参加者の高い割合によって証明される
能力ベースアプローチとの関連
教員役割への焦点： 明示的な能力ベース設計を採用しなかったが、評価者および将来の機関PA管理者としての教員役割に焦点
多面的効果：
- 教育やカリキュラム調整などの他の能力・教員役割も改善
- 職業的アイデンティティ促進への寄与（機関への帰属感向上、個人的・職業的評価の高まり）
FDプログラム設計への示唆
単一側面への焦点の価値： 学生評価という教員作業の単一側面に焦点を当てた従来のFD活動でも：
- 意図された目的達成
- 教員の職業的アイデンティティや機関内での役割認識などの他領域への肯定的影響
プログラム全体への影響強化の可能性： FDプログラム設計者がこれらの効果を認識することで、プログラム全体の影響をさらに高める措置につながる可能性
結論
即座の効果
- 活動の質に対する高い肯定的参加者反応
- 対象となった全トピックに関連する知識・技能の有意な改善
長期効果（1年後）
- 知識・技能への肯定的効果の持続
- 他の教育実践領域での関連利益の出現：
- 参加者の職業的軌道に関連するもの
- 学生、同僚、機関との関係に関連するもの
職業的発達への寄与
- 帰属感の向上と個人的・職業的評価の高まり
- 教育者としての職業的アイデンティティの統合への寄与可能性
- 同僚や他グループ・領域との新しいパートナーシップ形成への肯定的効果認識
- 実践共同体の発展促進の可能性（教員間の専門的発達をさらに支援）
限界の認識
一般化可能性と偏見の可能性：
- 結果の一般化可能性に関連する限界
- 包含および選択偏見の可能性
これらの限界を認識しつつも、一貫した伝統的FD活動は、特定領域（学生評価など）に焦点を当てても、教員と機関の両方により広い肯定的影響を与えることができると結論することは合理的です。
将来への示唆
FDプログラム設計者への提言： これらの効果についての認識により、FDプログラム設計者はイニシアチブの全体的影響をさらに高める戦略を採用することが可能
