Validity of the UCEEM in use: How Does it Triangulate with Qualitative Data in Measuring the Effect of an Educational Intervention?
Alexander Jones https://orcid.org/0000-0001-5095-4994 alexander.jones6@nhs.net, James Hartley, and Nicola JonesView all authors and affiliations
All Articles
https://doi.org/10.1177/23821205231202335
目的
医学生の実習を改善するためには、学生が臨床学習環境をどのように経験しているかを確実に評価できることが重要である。UCEEM（Undergraduate Clinical Education Environment Measure）は、そのような評価を可能にするために設計された有効なツールとして、ますます使用されるようになってきている。本研究では、UCEEMが質的評価とどのように関連しているかをさらに明らかにすることを目的とする。
*学部臨床教育環境測定法（Undergraduate Clinical Educational Environment Measure：UCEEM）について
UCEEMは、臨床現場における教育環境に対する医学部学生の認識を測定するためにデザインされた25項目の有効な質問紙である。
25項目は4つの因子に分類される：
仕事を通じて学ぶ機会と監督の質（A1）。
学生の入学に対する臨床環境の準備（A2）。この2つは「経験学習」に分類される。
職場における相互作用のパターンと学生の参加（B1）。
平等な待遇（B2）。この2つは「社会参加」に分類される。
DREEMとの比較：
UCEEMはDundee Ready Education Environment Measure（DREEM）とは異なり、医学部の広範な学問的環境を評価するのではなく、臨床現場における学生の経験を具体的に評価するものである。
意義
36の環境評価ツールの中で、UCEEMは医学教育で一般的に使用するために設計された臨床志向の6つの評価ツールの1つである。UCEEMは、Irbyらによって重要視された4つの領域すべてを評価している。UCEEMは様々な国際的な研修生に使用されており、臨床学生が経験する環境を評価したい教育者にとって重要なギャップを埋めるものである。
UCEEMの実社会への応用に関する現在の文献は限られている。
UCEEMの作成者は、最適な職場学習環境と最適でない職場学習環境をより深く理解するために、その尺度と質的データを組み合わせることを提案している。
ステークホルダーへのインタビューでは、UCEEMの項目に対する解釈がさまざまであることが明らかになり、このツールの有用性をより深く理解するためには、混合方法論による研究が必要であることが強調された。
方法
ある病院で実習中の学生を対象に、革新的な新しい実習体制の導入前と導入後にUCEEMを記入してもらった。さらに、彼らの経験に関する質的データを収集するために、フォーカスグループを採用した。UCEEMのアウトプットと質的データを三角測量するための新しいプロトコルを開発した。
結果
UCEEMは良好な内部一貫性（Cronbach's Alpha 0.79-0.91）と内部相関を示した。介入の実施により、UCEEMの総合得点（P = 0.008）、および「仕事における学習、仕事を通しての学習、監督の質」（P = 0.048）、「学生の入学準備」（P = 0.033）、「職場での相互作用パターンと学生の取り込み」（P = 0.039）の各領域で有意な改善がみられた。質的データとUCEEMのアウトプットとの三角測量の結果、UCEEMによって、公開質問では得られなかったいくつかの認識の評価が可能であることが示された。しかし、学生によるUCEEM項目の解釈がまちまちであったため、テーマが混同され、スコアの背後にある意味を導き出すことが困難であった。これは、24のUCEEM項目のうち14の項目で見られた。
先行研究との比較
介入の影響評価におけるUCEEMの性能は、先行研究と同様に良好な内的一貫性を示した。
このツールは臨床学習環境（CLE）を対象とした介入に反応した。
UCEEMの全領域において有意な天井効果が認められたが、これは文化の違いまたは本研究における例外的に良好なCLEによるものかもしれない。
UCEEMと質的データとの関係：
質的テーマはUCEEMの領域と共鳴し、その関連性が確認された。
UCEEMの内容は適切かつ包括的であった。
特に「仕事」と「監督」という用語については、文脈特異的かもしれない。
長所と限界
アンケートやフォーカスグループの回答率が低かったこと、選択バイアスの可能性があること、介入前と介入後のグループが同じでなかったことなどが挙げられる。
この研究はデータ飽和に近づいており、サンプルサイズが適切であったことを示唆している。
フォーカスグループの質問はUCEEMのドメインを中心に構成されており、回答に影響を与えた可能性がある。
意義
UCEEMがより一般的になるにつれ、その信頼性、妥当性、さまざまな環境における理解しやすさを理解することは極めて重要である。
本研究は、UCEEMが統計的完全性を維持し、介入による変化を検出できることを示している。
UCEEMのスコアは、現地の状況や定性的な裏付けを考慮し、慎重に解釈されるべきである。
要するに、UCEEMは臨床教育環境を評価するための貴重なツールであるが、包括的な理解のためには質的な洞察と地域の文脈を考慮することが不可欠である。
結論
今回の調査は、UCEEMを検証されたツールとして支持する文献を追加するものである。また、調査者がUCEEMを使用する際に注意すべき限界や質的データとの関係も明らかになった。
*UCEEMの25項目のUCEEMにおける各項目の補正された項目-
https://www.tandfonline.com/doi/full/10.3109/0142159X.2013.835389
この実習で有益な指導を受けた (F2) 0.472
私が到着したとき、指導者は私を待っていた。(F2) 0.694
私の（仕事の）課題は学習目標に関連している (F1) 0.668
有意義な（仕事の）タスクに十分に没頭できた (F1) 0.733
自分の仕事は、自分の知識や技能のレベルに応じて、適切にやりがいがある (F1) 0.726
積極的に仕事に参加するよう奨励されている (F1) 0.729
この実習先ではコンピューターを十分に利用できる(F3) 0.441
配置されている医学生の数に対して十分な物理的スペースがある(F3) 0.462
頼れる指導者がいる(F2) 0.699
指導を受ける機会が十分にある（F2） 0.717
指導者は監督するための十分な準備ができている（F2） 0.766
指導者が学習目標を熟知していることは明らかである (F2) 0.654
指導者から有益なフィードバックを受けている（F1） 0.675
指導者に何でも質問できる。(F1) 0.567
指導セッションで、自分の行動の根拠を示す機会がある (F1) 0.720
この研修先で、私の問題解決能力は向上している (F1) 0.751
理論的な知識を実践する機会がある (F1) 0.673
他の医学生と一緒に学ぶ機会がある (F1) 0.398
学生として、ここのスタッフから好意的に受け入れられている (F3) 0.658
ここで働く人たちの中に自分が含まれていると感じる（F3） 0.683
ここで働く人たちのコミュニケーションは良い（F3) 0.550
文化的背景に関係なく、誰もが平等に扱われる(F4) 0.718
性別に関係なく平等に扱われる(F4) 0.718
医局やランチルームは歓迎されていると感じる(F3) 0.544
この実習先では、自分の学習に影響力があると感じる (F1)0.575
