Balancing the effectiveness and cost of online education: A preliminary realist economic evaluation
Charlotte E. ReesORCID Icon, Van N. B. Nguyen, Jonathan FooORCID Icon, Vicki Edouard, Stephen MaloneyORCID Icon & Claire PalermoORCID Icon
Pages 977-985 | Published online: 06 Apr 2022
Download citation https://doi.org/10.1080/0142159X.2022.2051463
https://www.tandfonline.com/doi/full/10.1080/0142159X.2022.2051463
ポイント
同期型オンライン監督ワークショップは、様々なメカニズムを通じて、2つの重要な文脈をきっかけに、複数のポジティブ／ネガティブな結果をもたらす。
半日のオンラインワークショップの費用は、302.92ドル/学習者であり、上級ファシリテーターを含む最適化モデルでは305.70ドルに増加する。
オンラインワークショップは，成果とコストの両面で，対面式の代替案と比較して優れている．
プログラム開発者は、遠隔地の学習者やリソースに制約のある環境での教員育成のために、同期型オンラインワークショップを検討することが推奨される。
目的
ファカルティ・ディベロップメントのためのオンライン学習は、ここ数十年で大きく成長したが、世界的なパンデミックに直面し、さらに加速している。オンライン学習の有効性はシステマティックレビューやメタアナリシスによって繰り返し立証されているが、その費用対効果については疑問が残る。本研究では、同期型オンライン監督者研修ワークショップが、どのような文脈で、どのように機能し、その費用対効果が期待できるかを評価する。
・ワークショップの内容と教授法
ワークショップは、学習者が学生や同僚のスーパービジョンを行う際の知識、スキル、自信を向上させるためにデザインされています。
ワークショップの内容は、様々な分野・ワークショップにおけるスーパービジョンの理解の違い、スーパービジョンの機能の違い、効果的なスーパービジョンの特徴とその成果、効果的なスーパービジョンの障壁と実現要因、スーパービジョンの評価などであった。
特に、スーパービジョンの教育的機能（体験学習、内省的実践、フィードバックなど）と修復的機能（セルフケア、スーパーバイザーによるスーパーバイジー支援、支援的な職場文化など）に焦点を当てたワークショップが行われました。
ワークショップでは、本会議とグループ活動の両方が採用され、それによって、教訓的な教育（例：スライド、推奨図書）だけでなく、能動的、内省的、社会的な学習活動を含む混合教育法が採用されました。
方法
質的アプローチ（13人のリアリスト・インタビュー）と量的アプローチ（コスト・インジェクション法）を含むリアリスト経済予備評価を実施した。そして、特定されたコストとコストセンシティブなメカニズムに基づき、コスト最適化モデルを構築した。
成果
我々は、様々なメカニズム（オンライン技術、教訓的学習と能動的・経験的学習を含む混合型教育法、ピアラーニングなど）により生み出され、2つのコンテキスト（監督者の経験レベル、職場の場所）により引き起こされる複数のオンラインワークショップ成果（例：満足、関与、知識）を示す14の繰り返しパターン（いわゆるデミ・レギュラーティ）を同定した。
多くの学習者は、オンラインワークショップについて、テクノロジー（例：Zoomブレイクアウトルーム）を通じたインタラクティブな相互学習、また、オンライン配信により、特に地方や農村部に住んでいる/働いている人にとってワークショップへのアクセスが容易になり、ワークショップ関連の移動時間をなくし、時間効率を高めたことについて肯定的に語っています。
多くの学習者が3.5時間のワークショップ期間を賞賛する一方で、他の学習者は、上記のスクリーン疲労のために長すぎると感じたり、内容に関してファシリテーターやピアと深く対話する時間が不十分で、いくつかの資料を読み飛ばしたため短すぎたと感じたりした
多くの学習者は、オンラインワークショップを完了するために職場から有給で保護された時間があることについて肯定的に話していましたが、他の学習者は、無給の余暇時間にワークショップを行わなければならなかったと説明しています。このように、余暇を利用して専門知識を高めることに満足している人もいれば、そうでない人もいます。
学習者は、ファシリテーターの多くの特徴（例：対話的、魅力的、誠実、優れたプレゼンテーションスキル、よく構成された／組織化された）を評価する一方で、ほとんどの場合、ファシリテーターのスーパービジョンの知識と経験を楽しんでおり、参加と満足といったプラスの効果につながっています。しかし、ファシリテーターの能力については、エネルギーが足りない、進行が遅いといった批判がいくつか見られました
各ワークショップの費用は学習者一人当たり302.92ドルであったが、上級ファシリテーターを含む最適化モデルでは305.70ドルであった。オンラインワークショップの費用は、大都市圏（384.53ドル）または地域・農村部（402.07ドル）で実施した対面式ワークショップの費用と比較して、良好な結果であった
オンラインと対面式ワークショップのリアリストデータに共通する成果（知識、満足度、実践、関与、自信など）だけでなく、共通のメカニズム（混合教育、教則指導、ピアラーニング、ワークショップ期間、学習者保護時間、ファシリテーターの能力など）、共通のコンテキスト（学習者の監督経験レベルなど）がある。興味深いことに、オンラインと対面式の研修プログラムの間で最も注目すべき2つの違いがあった。(a)オンラインワークショップの満足度とエンゲージメントの結果にプラスとマイナスが生じるオンラインテクノロジーのメカニズム、(b)オンラインワークショップの様々なメカニズムを誘発する監督者の職場の場所（地域/地方と大都市）のコンテキスト、であり、先行研究（例：Wong et al.2010）を裏付けています。
研究の意義
予備的な現実主義経済評価を通じて、我々は監督のための同期型オンライン監督トレーニングワークショップの最適な費用対効果のモデルを確立しました。このオンラインワークショップは、アクセス可能でインタラクティブな学習を可能にするオンライン技術、学習者の能動的・経験的学習とピアラーニングを優遇する教育的アプローチ、教訓的な教えと進行役の能力、学習時間の保護、学習者の監督経験レベル（未経験者と経験者）および職場の場所（地域・地方と大都市）による誘発された最適なワークショップ期間、など多くのメカニズムを通じて肯定的な結果をもたらした。オンラインワークショップでは規模の経済が達成されず、同期型オンラインワークショップでは高いレベルのインタラクティブ性が維持されたにもかかわらず、大都市や地方/遠隔地での対面型ワークショップと比較して、学習者一人当たりのコストは低くなりました。これは主に、ファシリテーターと学習者の移動と移動関連時間、事務用品、ケータリング、会場使用に関するかなりのコスト削減に起因しています。
したがって、教育関係者には、特に以下のような場合に、FDのための同期型オンライン・ワークショップを検討することを強くお勧めする。
(a) 多くの学習者が遠隔地に住んでいる（そうでなければトレーニングを受けることができない）
(b) 継続的な専門能力開発のためのリソースに制約がある。
最後に、我々はプログラム開発者に対し、オンラインプログラムの費用対効果をさらに明らかにするために現実主義的経済評価を採用し、FDのためのオンラインワークショップの最適設計と実施に関する意思決定を促進するとともに、例えば、テクノロジーへのアクセスや接続が不十分な場合など、対面式ワークショップが望ましい状況についてさらに検討することを推奨している。また、オンライン学習の成果を生み出す潜在的な状況やメカニズムとして、学習者のオンライン経験のレベルをさらに調査することも可能である。さらに、医療系大学生など、異なるレベルの学習者におけるオンライン学習の費用対効果についても、さらなる研究が可能であろう。
最終的には、より客観的な定量的指標（例：知識テスト）を含む混合法アプローチと、データのパターンをより明確にするために、より大きなサンプルサイズを検討する必要があります。実際、現実主義的な経済評価が行われなければ、ある状況、ある人々、ある理由において、オンライン・プログラムがどのように費用対効果を最適化し、他の理由においては最適化しないかを判断することは困難であろう。
現実主義経済経済学の用語集
コンテクスト（Contexts）：プログラムが導入される状況のうち、プログラムの仕組みの運用に影響を与える特徴」（Greenhalgh et al.2017b, p. 1）。
コンテキスト-メカニズム-アウトカム構成（CMOC）：「プログラムが機能する（O）のは、いくつかの基礎的なメカニズム（M）の作用によるものであり、それは特定のコンテキスト（C）においてのみ作動するという仮説」（Pawson 2013, p.21-22）.
費用対効果（Cost-effectiveness）。費用対効果：ある介入・プログラムが、与えられた費用に対してどの程度成果（効果）を生み出すかの度合い。
コストセンシティブな文脈 Cost-sensitive contexts:プログラムコストに経済的な影響を与えるアウトカム創出メカニズムを誘発するコンテクスト。
Cost-sensitive mechanisms:プログラム費用に経済的な影響を与える成果を生み出すメカニズム。
デミ・レギュラーティ：「コンテクストとアウトカムの顕著な再発パターン」（Wong et al.2013、p.9）。
決定論的感度分析（Deterministic Sensitivity Analysis）。決定論的感度分析：1 つまたは複数の変数についてもっともらしい代替案を示し（決定し）、その代替案を代入して経済的成果を再計算することによって行う代替経済評価（感度分析）を検討する分析アプローチ（Foo et al.）
成分法 Ingredients method: 教育プログラムのコストを計算するために、教育プログラム内で使用される資源（いわゆる成分）の選択、測定、コスト計算を含む方法（Foo et al.2021年）。
メカニズム：「プログラムがどのように、そしてなぜアウトカムを生じさせるかについての説明的説明」（Greenhalgh et al.）
アウトカム。実施状況におけるプログラムのインパクト（複数可）（Pawson 2013）。
現実主義的経済評価。経済分析と現実主義的評価を現実主義の枠組みの中で統合すること（Brown et al.2020）。
現実主義的評価。プログラムが誰のために、どのような状況で、なぜ機能するのか（あるいは機能しないのか） を解明することによってプログラムを評価する理論駆動型のアプローチ（Pawson and Tilley 1997）。
リアリスト・インタビュー。インタビュアーが会話の流れを維持しながら、既存のプログラム理論を検証・修正したり、インタビュ ー対象者とともに新たなプログラム理論を構築するインタビュー手法（Pawson and Tilley 1997）。
現実主義的プログラム理論：「介入をどのような条件で、どのように、そしてなぜ目的に到達すると期待するかを説明するプログラム設計者（または関係する他のアクター）の一連の仮定」（Marchal et al.2018, p.83）.
リアリスト・シンセシス。プログラムがどのような文脈で、どのように機能するか、あるいは機能しないか、その理由についての説明を中心としたエビデンスを統合するためのアプローチ（Rycroft-Malone et al.2012）。
