Evaluation in health professions education: Enhancing utility and supporting innovation
David Rojas Gualdron, Kathryn Parker,
First published: 16 September 2021 https://doi.org/10.1111/tct.13416
https://onlinelibrary.wiley.com/doi/full/10.1111/tct.13416
評価プロセスの有意義さは、評価結果がステークホルダーの意思決定をどの程度支援するかにかかっている。
本稿では、医療専門職教育（HPE）における評価作業の質を高めるためのフレームワークとして利用に焦点を当てた評価（UFE）の使用を提唱し、その実施のために、(1)被評価者の成熟度、(2)評価の目的、(3)使用する情報の信頼性と確実性の間の整合性の原則を提案します。教育プログラムやイノベーションについて、より多くの情報を得てインパクトのある決定を行うために、評価作業の有用性を最大限に高めるためには、この調整が重要です。
・ 実用化重視の評価とは？
UFEは、プログラムの利害関係者にとって有用な、信頼性のある関連情報を生成することを主な目的とした、厳格な評価アプローチである。UFEは、ステークホルダーを評価プロセスの最前線に置くことで、彼らのニーズを念頭に置いた評価の設計と実施を可能にする意思決定の枠組みである。
HPEにおける評価手法の指針としてUFEを使用することで、評価作業の質を高めることができる。
適切性および実現可能性の基準は、評価者が評価プロジェクトを開始する前に求めるべき研究倫理/組織審査委員会の承認の一部として扱われることが多い。
・成熟度と目的
評価に着手する際に考慮すべき最初の要素は、プログラムまたは評価対象物の成熟度を判断することである。成熟度を特定したら、次のステップは評価の目的を明確にすることです。
評価の目標が教育問題の解決策を特定することである場合（すなわち、被評価者の成熟度が低い場合）、複雑でダイナミックな環境の中で継続的に行われている取り組みの開発に情報を提供するアプローチが最も適しています。
・開発型評価の開始
始めるにあたってのアドバイス ....
１、このイノベーションの理由は一体何ですか？あなたが解決しようとしている問題は何ですか？どのような方法で何か違うものを期待しているのでしょうか？
２、この問題は誰に影響を与えるのか？このイノベーションは誰に価値をもたらすのか？
３、次に何をすべきかを決定するために、今答えなければならない重要な評価項目は何か？
発展的評価（DE）とは、イノベーションの展開に関連する不確実性の高い状況下で出現する要素を追跡し、理解するための協力的で参加型のプロセスです。
システムにおける重要なステークホルダーの声-評価のエンドユーザー
UFE（形成的、総括的、または発展的）を実施する際の調整の原則に従って、成熟度のレベルが決定され、評価の目的が明確になったら、次のステップは、評価対象者が存在するシステムの主要な利害関係者を関与させることです。主要な利害関係者には、評価に必要なデータを提供してくれる人と、評価データを分析して意思決定に使用する人の2つのグループがあります。UFEは、評価の有用性は期待したり想定したりするのではなく、計画して促進すべきであると提案している。
・使用する評価データの信頼性と確実性
評価は、収集されたデータの質によってのみ有用であり、評価者は、それが関係するステークホルダーにとって信頼できるものであることを保証する必要がある。UFEは評価アプローチとして、特定のデータ収集方法を提案していない。この柔軟性は、最も正確なデータ収集方法の選択が評価者の責任となることを意味する。
評価対象者の成熟度、評価の目的、収集した情報の信頼性と信用性を適切に調整することで、ステークホルダーが評価結果に基づいて行う意思決定が容易になります。
評価を報告する際には、評価結果がいかに文脈に依存しているかにもかかわらず、意思決定プロセスを一般化することができる。
教育活動の評価に関心のある教員にとって、利用可能なツールは数多くあります。それらを選択する際に最も重要なのは、評価者の成熟度、評価目的、収集する情報の整合性である。これは教育研究においても同様で、研究課題に基づいて方法論的なフレームワークやプロセスが選択されます。評価の場合、評価の有用性を確保するためには、この調整が何よりも重要です。
・イノベーションと改善のための評価研究の主要要素
・背景
主要な利害関係者や協力者を含む、イノベーションが存在する状況の説明。
評価の理由と目的の記述。
・アプローチ
評価用の質問とその作成プロセスの記述。質問はステークホルダー・グループと共同で作成されるべきである。
各質問に答えるために必要な情報、その情報源、および情報を得るために使用した方法の記述。
情報の意味づけ（分析と解釈）を共同で行うためのプロセスの説明。これにもステークホルダーグループのメンバーが参加する必要があります。
・評価
イノベーションについての決定と、収集した情報がどのようにこれらに影響を与えたかについての記述。
・影響
イノベーションの開発と実施で得られた主要な教訓の記述。何がうまくいったのか、何を違った形で行うことができるのか。
この研究が、他の人の教育イノベーションの開発にどのように役立つかについての簡単な考察。
メッセージ
評価のアプローチと実践は、評価の目的（「なぜ」）と評価対象者の性質（「何を」）によって異なります。評価について考える際には、何を評価するのか、なぜそれを評価したいのかを問うことが重要です。
UFE（Utilisation Focused Evaluation）は、評価結果を最大限に活用して意思決定に役立てるという原則に基づいた、評価に対する厳格なアプローチです。
UFEでは、評価の対象となるユーザーを早期に特定し、評価の質問と、解釈を容易にするために結果を提示する方法の両方を決定するのに役立てる必要がある。
イノベーションに適用される場合、評価の意図は、有効性の判断（やると言ったことを、やると言った方法でやったか）ではなく、学習と開発にある。
発展的な評価とは、イノベーションの継続的な反復において次に何が必要かを決定するために、信頼できる関連情報をまとめることです。
