EDUCATION THEORY MADE PRACTICAL – VOLUME 3, PART 7: REALIST EVALUATION
AUTHORS: JASON AN; CHRISTINE STEHMAN (@CRSEMCCCF); RANDY SORGE
EDITOR: JORDAN SPECTOR
MAIN AUTHORS OR ORIGINATORS: R PAWSON & N TILLEY
OTHER IMPORTANT AUTHORS OR WORKS: G WONG, T GREENHALGH
概要
リアリスト評価（RE：REALIST EVALUATION）は、複雑な社会プログラムを評価する方法として1990年代に登場しました。それ以前は、単純な因果関係分析によって社会プログラムの特徴を評価し、最適化しようとしていました。介入が望ましい結果と関連していれば、調査者は介入が望ましい「効果」に直接つながる「原因」であると主張する。しかし、多くのプログラムへの介入は、異なる場所で同じ効果をもたらしました。レイ・ポーソンとニック・ティリーは、複雑な社会プログラムは、参加者の相互作用、利用可能な資源、発生する環境に依存することを最初に説明した。評価者はこれらの仮説を検証し、その結果に基づいてプログラムを修正する。科学的リアリズムと因果関係の生成理論に基づいてリアリスト評価を行い、多くの人々の研究を参考にした。
背景
リアリスト評価は、ユーザーが評価研究を行うための手法を提供するものである。評価研究は、プログラムがどのように機能し、プログラムの効果をどのように最適化するかに焦点を当てた研究の一種です。行動を変えることを目的としたあらゆるプログラムの評価について説明されています。このような「実験」の結果から、因果関係を推測して成功（あるいは失敗）を宣言する。
リアリスト評価の先駆者であるPawsonとTilleyは、複雑なシステムやプログラムにおいては、単純な「原因と結果」の分析は適用できないと主張した。外部から観察可能な特徴と可能性のある内部の特徴の両方を含む、原因と結果の間のパターンの観察に依存する因果関係の生成理論を提唱した。これらの観察は、原因が目的に向かって効果的である場合とそうでない場合の両方について、原因と結果をより微妙に検討することを可能にする。
社会プログラムの有効性は、コンテクストを検証することによってのみ理解できる。言い換えれば、文化的、社会的、経済的な要因とプログラムの相互作用を明らかにすることによってのみ、調査者はプログラムがどのように、そしてなぜ望ましい結果を生み出すのかを判断することができるのです。
リアリスト評価は、変化をもたらすと思われるメカニズムを評価し、その変化がどのような文脈で起こるかを問いかけます。そのためには、実験のサイクルを回す必要がある。まず、調査者は、すべてのもの（介入、選択、関係、行動、条件）がどのように組み合わさって結果を生み出すのかという理論を立てる。次に、望ましい持続可能な変化をもたらす可能性のあるものについて仮説を立てる。そして、適切な手法（多くの場合、質的および量的）を用いて、コンテキストに応じた結果や成果を得ることを目標に、これらの仮説を検証します。結果が予想と異なる場合は、理論を修正し、このサイクルを繰り返します。
要約すると、リアリスト評価では、方法に依存しない、理論主導型のモデルを使用して、プログラムがどのような集団に対して、どのような状況で、どのように機能するのか、そしてなぜ機能するのかについて、理論を特定し、述べ、検証し、改良する方法を見つけます。
リアリスト評価に加えて、 ‘realist synthesis’ 、 ‘realist review’ という言葉が、複雑なシステムを分析する際のデータの統合を表すために作られました。
Kellerらは、イノベーションは、リアリスト評価を行う前に、実施後に明らかになる文脈-メカニズム-結果の三要素をよりよく理解するために、イノベーションの背後にある基礎的な仮定を明確に特定することから始めるべきだと提唱している。著者らは、このような方法を組み合わせることで、期待される有効性を裏付け、そのようなイノベーションの普及を促進することができると主張しています。
Bonellらは、無作為化比較試験は定義が狭すぎて、複雑な公的介入の評価には適切ではないという典型的なリアリスト評価の立場に反論し、RCTとリアリズムの間に緊張関係がある必要はないという立場をとっています。
この理論が教室と臨床の両方で適用される可能性のあるその他の例
問題解決型学習（PBL）は、多くの医学部で採用されているカリキュラムで、学習者は複雑な患者ケアの事例を小グループでディスカッションしながら検討します。PBLモデルは学習者にとってリアリスト評価の一形態であり、授業では患者の全体像を考慮して臨床問題を扱うため、学習者にとってはリアリスト評価となります。さらに、PBLは効果的な学習であることが証明されていますが、学校によって使用され方が異なるため、リアリスト評価は、どの学校で、どのような学習者が、どのような状況でPBLカリキュラムから最も恩恵を受けるのかを分析するのに役立つでしょう。
Wongらによるインターネットを利用した医学教育のリアリストレビューでは、これらのリソースを誰が、いつ、どのように利用しているのかを明らかにしています。著者らは、E-learningがインターネット以外の選択肢に比べて優位性があると認識され、技術的に使いやすく、学習者の価値観や規範に適合し、教師やチューターと接する機会がある場合、学習者がE-learningを利用する可能性が高いことを示している
主要論文の注釈付き文献
Pawson R, Tilley N. Realistic Evaluation Bloodlines. Am J Eval. 2001;22(3):317-324.20
将来の評価を向上させるための6つの最大公約数で締めくくられており、この最大公約数は多くの人が現実主義アプローチの基礎と考えている。これらは以下の通りである。
1. 複雑なプログラムをよりよく理解し、最適化するためには、プログラムモデルに対する幅広い調査的質問の組み合わせが必要であることを提唱する。
2. 小さな介入に大きな疑問を投げかけ、大きな理論を検証するために小さな介入を利用することを恐れない。
3. 機会と必要性に応じて、複数の方法とデータソースを使用する。
4. どのメカニズムが最適な結果を生み出すのかを、状況に応じて把握する。
5. 「何が効果的か」を知ろうとせず、ただ見つけようとし続ける。
6. 共通の政策メカニズムに対するメタ分析的な調査を行う
- 全体をよりよく理解するために、コミュニティ内の複数のプログラムにおける特定の介入の試みを、さまざまな結果とともに徹底的に評価することを提唱する
Wong G, Greenhalgh T, Westhorp G, Pawson R. Realist methods in medical education research: What are they and what can they contribute? Med Educ. 2012;46(1):89-96.14
リアリズム・アプローチが効果的に使用できる医学教育内の状況について具体的な例を挙げており、この論文が医学教育者にとって価値のあるものであるという特徴がある。
Wong G, Greenhalgh T, Pawson R. Internet-based medical education: A realist review of what works, for who and in what circumstances. BMC Med Educ.2010;10(1).12
本研究は、インターネットを利用した医学教育のリアリストレビューである。著者らは、2つの理論（Davisの技術受容モデルとLaurillardの統合的対話モデル）を用いて、インターネットを利用した医学教育の特徴を概説し、インターネット学習教材は学習者と学習状況に応じて価値を持つという直感的な点を主張している。著者は、教育者や学習者がそれぞれの状況に応じて適切なインターネットベースのコースを選択できるように、研究に基づいた質問リストを提供している。
制限事項
リアリスト評価の主な限界は、時間と資源の両方を必要とすることである。
リアリスト評価では、複雑な評価を実施するために、高度な経験と訓練を受けた大規模な学際的チームが必要となることが多い。リアリスト評価では、すべての変数を分析し、介入と結果の間の相互作用を正確に理解するために時間がかかる。リアリスト評価では、質的データと量的データの両方を利用するため、レビューでは多くの多様な一次資料から幅広い情報を利用する必要があり、これも負担になることがあります。
リアリスト評価のもう一つの限界は、他の理論主導型評価と同様に、技術的に健全で徹底した調査を行うために必要なロジスティックです。一般的なロジスティックの問題としては、レビューの範囲をどのように定義するか、多数の変数ごとに評価の深さをどのように決定するか、どのような文献を検索するか、非常に多様な一次研究のサンプルをどのように批判的に評価するか、調査結果をどのように照合、分析、統合するか、そしてどのように擁護可能で有用な提言を行うかなどが挙げられます。
最後に、リアリスト・レビューは、明示的かつ隠蔽的な変数を評価しようとしますが、すべての変数を説明することは不可能であるため、リアリスト研究はせいぜい暫定的な提言を行う傾向があります。リアリズム研究は、その性質上、すべての結論が文脈に依存するため、一般化可能な勧告を特に生み出すことはできません。リアリストの結果は、プログラムやシステムを微調整するための提言に過ぎないことが多いのです。
