LOGIC MODEL OF PROGRAM EVALUATION
AUTHORS: KATHRYN FISHER MD MS (@KATIEFISHEREM); JEANNE MACLEOD; SARAH KENNEDY
EDITOR: BENJAMIN SCHNAPP, MD MS (@SCHNAPPADAP)
MAIN AUTHORS OR ORIGINATORS: EDWARD A. SUCHMAN
OTHER IMPORTANT AUTHORS OR WORKS: JOSEPH S. WHOLEY, MCLAUGHLIN J.A. AND JORDAN G.B.
概要
ロジックモデルは、プログラムの計画、実施、評価に使用することができる概念的なツールです。このツールは、プログラムのリソース、計画された活動、提案された変更や目標を組織的に検討するために設計されています。リソース、活動、アウトプット、アウトカム、そしてそれらがプログラム全体に与える影響の関連性を説明します。また、プログラムの構成要素がどのように機能するかのモデルを提供する。
ロジックモデルは、「インプット」「アクティビティ」「アウトプット」「アウトカム」という4つの主要な連続した構成要素で視覚的に表現されます。これらは、「計画された作業」と「意図された成果」という2つの主要な領域を構成しています。計画された作業には、「インプット」「アクティビティ」が含まれ、意図された成果には、「アウトプット」「アウトカム」が反映されます。アウトカムは、即時的、中間的、長期的に測定することができる。また、長期的な成果の代わりに、あるいは長期的な成果に加えて、モデルの最後に5つ目の要素であるインパクトの測定を提案している資料もあります。
このモデルは、新しいプログラムを設計・計画する際や、プログラムを評価して再構築する際に使用されています。プログラムの構成要素を体系的に評価するための構造化されたフレームワークを提供し、チームメンバーとのコミュニケーションを円滑にし、意思決定に必要な情報の取得を導くのに役立ちます。特に、医学教育プログラムの評価・管理戦略の決定に役立ちます。
背景
ロジックモデルの初期の基礎は、Edward A Schumanが1967年に発表した評価研究に関する書籍で初めて示された。ロジックモデルが広く使われるようになったのは、ユナイテッドウェイが1996年に「Measuring Program Outcomes」を発表してからである。 この論文は、今日、ロジックモデルの開発に使われている用語や構造を確立する上で重要なものでした。
ロジックモデルには4つの重要な要素があります。まず、「インプット」とは、プログラムを運営するために必要な資源と見ることができます。プログラムに捧げられたリソースや消費されたリソースが含まれ、財源や資金、教職員の保護された時間、教職員の専門知識、管理面でのサポート、施設や設備などの物理的なリソースなどがあります。
「アクティビティ」とは、プログラムがその使命を果たすためにインプットを使って行うことである。「アクティビティ」には、ニーズの評価、教育、カリキュラムの設計、セッションの企画、教員の育成、システムの開発、業績評価などのあらゆる組み合わせが含まれる。これらの活動は、プログラムのミッションに依存します。
計画された活動が達成されれば、そのプログラムは「アウトプット」を生み出します。「アウトプット」とは、活動の直接的で測定可能な成果物のことです。これには、プログラムの活動に参加した人の数や、特定のカリキュラムを修了した人の数などの人口統計や、プログラムの数、存続期間、プログラムを修了した人の数などのプログラム指標が含まれます。
「アウトカム」は、プログラムの活動中や終了後に参加者が受ける恩恵を見るものです。「アウトカム」は、すぐに測定することもできますし、中長期的に測定することもできます。例えば、知識や技術の向上、活動の質に対する満足度、コース評価の向上などが挙げられます。プログラムによっては、臨床的な成功、教育的な成功、学術的な成功、受賞や生産性などが適切な成果となります。
最後に、プログラムの効果が得られれば、プログラムの一環として実施された活動が、組織やシステムなどの外部要因に影響を与えることになります。これは、地域社会、環境、インフラなどへの影響に関連しています。
最新の手法や進歩
ロジックモデルは、プログラムを成功させるために必要な要素を特定し、コミュニケーションやアイデアの共有を促進するツールです。ロジックモデルは、プログラムの要素間に不自然な関連性がないか、冗長な部分がないかを確認するのに役立ちます。 ロジックモデルの利点は、リソース、その配分、および期待される結果について共通の理解と期待を得ることです。過去数十年の間に、論理モデルは医学教育やヘルスケアの様々な用途に応用されてきました。
ロジックモデルは、ファカルティ・ディベロップメントやその他の大規模な教育イニシアティブを考える際にも使用されます。ロジックモデルは、リーダーやステークホルダーの間でコンセンサスを得るために使用されています。このアプローチは、機関の自己評価の場である医学教育にも適用できます。世界医学教育連盟は、各認定基準の定義と評価をさらに深めるために、ロジックモデルを活用しました。
この理論が教室と臨床現場の両方で適用される可能性のあるその他の例
Van Melleらは、コンピテンシーベースの医学教育（CBME）のプログラム評価にロジックモデルを使用することを提案しています。研修医プログラムにおけるCBMEプログラム評価に焦点を当てるためのロジックモデルの使用方法、プログラム評価を学術的に行う方法、プログラム評価のための能力を構築する方法についての概要を示している。
ロジックモデルは、医学教育プログラムにおいても、取り組みを計画するためのツールとして活用されています。Campbellらはこのモデルを、集中的な教育プログラムを作成する際の指針となるツールとして説明している
主要論文の注釈付き文献
McLaughlin, J.A. and G.B. Jordan. McLaughlin, J.A. and G.B. Jordan, Logic Model: a tool for telling your programs performance story. Evaluation and Program Planning, 1999. 22(1): p. 65-72. [1]
この論文は、論理モデルの実践的な応用について詳細に説明した最初のものの一つです。この論文は、ビジネスプログラムをどのように測定・評価し、その知識をどのようにプログラムの有効性を向上させるかを、官民のプログラムマネージャーに説明することを目的としています。
Otto et al Otto, A.K., K. Novielli, and P.S. Morahan. Implementing the logic model for measuring the value of faculty affairs activities. Acad Med, 2006. 81(3): p. 280-5.
Ottoら（2006）は、Academic Medicine誌に医学教育におけるロジックモデルの使用を示唆する最初の論文を発表しました。彼らは、教員の採用、維持、育成にFDがどのように貢献しているかを測定するためにロジックモデルを使用することを提案しています。彼らは、各カテゴリーの構成要素の包括的な関連リストを用いて、視覚的なフォーマットでその使用例を示しています。ロジックモデルの使用は、教員育成プロセス全体を考えるプロセスを促進するために提案されています。
AMEE G Frye, A.W. and P.A. Hemmer, Program evaluation models and related theories: AMEE guide no. 67. Med Teach, 2012. 34(5): p. e288-99.
この論文は、様々なプログラム評価モデルをより広い視点で捉えています。いくつかの異なるモデルを比較しているので有用である。ロジックモデルに加えて、実験・疑似実験モデル、CIPPモデル（Context/Input/Process/Product Model）、Kirkpatrickモデルについても言及しています。また、それぞれのモデルの長所と短所、医学教育への適用方法についても言及しています。この論文の著者は、ロジックモデルの4つの必須要素のそれぞれについて、優れた説明と分析を行っています。また、それぞれの要素について、医学教育を中心とした様々な事例を紹介しています。
ロジックモデルの主な限界は、単純化しすぎてしまうことである。医学教育プログラムは複雑で、必ずしも直線的な経路をたどるとは限らず、結果が当初の予測と異なる場合があります。この限界を克服するためには、ロジックモデルをうまく設計する必要があります。モデルの作成者は、評価対象の教育プログラムにおいて変化がどのように作用するかを十分に理解していなければならない。意図した結果と意図しない結果の両方を想定し、これらの複雑性に対応するためにフィードバックループをモデルに組み込む必要があります。
複雑さは、介入のさまざまな層を考慮して複数の層を追加することで、ロジックモデルにさらに組み込むことができる。Millsらは、2019年の論文ではロジックモデルを、単純なもの（タイプ1）から最も複雑なもの（タイプ4）まで、4つのタイプに分類しています。タイプ4のロジックモデルは、介入とコンテキスト（プログラムが存在する環境における社会的、政治的または文化的要因）の間の相互作用について、より多くの洞察を提供しようとしている。
ロジックモデルのデザインは、予想外の複雑さを統合するために、柔軟かつダイナミックである必要があります。教育者や研究者は、プログラムの実施中にモデルを修正する準備をしておく必要があります。そのため、ロジックモデルの開発と修正には時間がかかることがあります。
ロジックモデルの正確さ（多くのデータポイントを必要とする場合がある）と明確さ（簡潔で分かりやすいポイントを強調する）のバランスを取ることは、特に始めたばかりの時には大きな課題となります。
