7 Deadly Sins in Educational Research
Katherine Picho, PhD and Anthony R. Artino, Jr, PhD
J Grad Med Educ. 2016 Oct; 8(4): 483–487.
doi: 10.4300/JGME-D-16-00332.1
PMCID: PMC5060934
PMID: 27777653
この記事では、研究結果の信頼性と妥当性を妨げる可能性のある、医学教育研究によくある7つの落とし穴（「罪」）について論じ、それらを回避するための指針を示す。
1.手抜き文献レビューの呪い
研究者は、自分の仮説に有利な部分的なレビューを行ったり、研究が終了した後に文献レビューを行ったりすることがある。このようなやり方は、結果をゆがめ、偽の発見に基づく誤った結論をもたらす可能性がある。
2.不十分な検出力
グループ間の真の差異を検出するために必要なサンプルサイズや検証する仮説の数が不足している可能性がある。データ収集の前に検出力分析を行い、実験計画を最適化することで、検出力を向上させることができる。
3.測定の重要性を無視する
測定法の重要性を無視すること：テストされていない測定法や心理測定学的特性の低い測定法を使用すると、結果に「ノイズ」が入り、矛盾した結果やあり得ない結果につながる可能性がある。測定ツールが研究対象の構成要素を正確に表し、結果変数が簡単すぎたり難しすぎたりしないようにすることが、この落とし穴を避けるのに役立つ。
4.誤った統計ツールの使用
研究者はしばしば統計分析における独立性の仮定に違反し、偽陽性を人為的に膨らませ、無効な推論を導く。データが選択した統計手法の前提を満たしているかどうかを確認し、研究プロセスの早い段階で統計専門家に相談することが極めて重要である。
5.データの無慈悲な拷問とその他の疑わしい分析手法
仮説を支持する結果のみを報告する、統計的有意性のしきい値を緩和する、有意な発見を「漁る」などの行為は、すべて第1種の過誤率を上昇させ、偽の発見につながる可能性がある。これらの慣行を避けることは、知識を深めるために不可欠である。
6.P値の隷属
統計的推論をP値のみに頼ることは誤解を招く可能性がある。便利なツールではあるが、P値はしばしば仮説を裏付けるものとして誤解される。研究者は、効果量や信頼区間のような、より実用的な指標でP値を補うべきである。
7.結果の報告や生データの管理における透明性の欠如
不完全な報告や生データの完全性の維持は、疑わしい行為を隠蔽し、メタアナリシスの誤りにつながる可能性がある。研究者は統計に関する完全な情報を提供し、統計解析を完全に開示するよう努めるべきである。
まとめ
医学教育に役立つ一般化可能な結果を得るためには、質の高い教育研究が不可欠である。教育研究論文には疑わしい研究慣行が見られるが、基本的なステップを踏むことで、これらの "罪 "を防ぐことができる。研究が発表された後では、調査結果が疑わしい研究慣行によって影響を受けたかどうか、いつ、どのように影響されたかを判断することは非常に困難である。もし偽の知見が文献に掲載された場合、その結果は、誤解を招くような、誇張された、あるいは全く誤った知見に根ざした知識ベースとなる。ここで述べた7つの大罪を避けることで、医学教育研究者は、この分野を発展させる質の高い結果を生み出すことができる。
●責任ある研究実施のための推奨事項チェックリスト
徹底した文献調査の実施
文献レビューに基づいて先験的に仮説を特定する
研究計画を立てる前に統計学者の助けを借りる
研究課題に適した研究計画を選択する
研究デザインと文献に基づいて検出力分析を行う
目的のために信頼性と妥当性が証明された尺度を選択する。
複雑な構成要素（モチベーション、自信、満足感、レジリエンスなど）の単項目測定法の使用は避ける。
分析の前に、分析手法の統計的前提条件が満たされていることを確認する。
仮定に違反している場合は、その違反を是正するための手順を踏み、原稿でその手順を報告する。
外れ値を除去する場合は、その実施方法を報告し、除去の根拠を示す。
研究課題に適した統計分析を行う
事前に特定されていない仮説の検証は避ける
平均値や標準偏差などの記述統計量を報告する。
効果量とその信頼区間を報告する
統計的に有意な結果とともに有意でない結果を報告する。
