Medical education research study quality instrument: an objective instrument susceptible to subjectivity
Scott Jaros &Gary Beck DallaghanORCID Icon
Article: 2308359 | Received 28 Aug 2023, Accepted 17 Jan 2024, Published online: 24 Jan 2024
Cite this article https://doi.org/10.1080/10872981.2024.2308359
https://www.tandfonline.com/doi/full/10.1080/10872981.2024.2308359?af=R
背景
医学教育研究の質評価ツール（MERSQI）は、研究デザイン基準に基づいて医学教育研究の質を評価するためにデザインされた。 このようなツールの多くがそうであるように、結果を適用すると意図しない結果を招く可能性がある。 本研究では、MERSQIを計量書誌学的分析で特定された医学教育研究の発表に適用した。
方法
MERSQIを用いて2名の著者が独立に評価した医学教育における高被引用度論文を、計量書誌学的分析により同定した。 重複論文や非研究論文をスクリーニングした後、著者らは21の論文についてMERSQIを用いてレビューを行った。 最初に、5つの論文を独立にレビューし、その結果を比較することで、調査票の項目に対する理解の一致を確認した。 残りの論文も独立してレビューされた。 論文の総合得点は対の標本のt検定で分析し、個々の項目の評価は評価者間の信頼性を分析した。
結果:
- 全体的なMERSQIスコア:
- 評価者1の平均スコア: 9.83 (SD = 2.25)
- 評価者2の平均スコア: 11.14 (SD = 2.34)
- これらの差は統計的に有意でした (t(21) = 3.71, p < .001, d = .81)
- 項目別の信頼性:
- 4つの項目で良好または優秀な信頼性 (α≥.8) を示しました
- 「回答率」「妥当性」「アウトカム」の3項目は許容できないレベル (α <.5) でした
- 高引用論文の評価:
- 両評価者とも7つの論文をMERSQIスコア9未満（通常は出版されない水準）と評価しました
考察:
- スコアの不一致:
- 特定の項目（回答率、妥当性、アウトカム）の解釈が評価者によって大きく異なる可能性があります
- これらの項目は複数の選択肢や解釈の余地があり、単一の最良の選択を強いられることで不一致が生じやすいです
- メタ分析の評価困難:
- 特に「回答率」の項目でメタ分析の評価が難しく、評価者の判断にばらつきが出やすいです
- 高引用論文の低評価:
- MERSQIのみで研究の質や影響力を判断することの限界を示しています
- 標準化の意図しない結果:
- MERSQIのような標準化ツールを厳密に適用すると、革新的な研究が見落とされる可能性があります
提案:
- MERSQIの改訂:
- 「回答率」「妥当性」「アウトカム」項目の明確化と改善
- 特に「妥当性」と「アウトカム」項目で複数選択を可能にすることを提案
- MERSQIの使用方法:
- 研究の質を判断する唯一の基準としてではなく、研究デザインのガイドラインとして使用すべき
- 全体的なスコアよりも、各項目の個別評価に注目することを推奨
- さらなる研究:
- 複数の評価者を用いた一般化可能性研究の実施を提案
- これにより、MERSQIの信頼性と妥当性をより詳細に検証できます
- 包括的アプローチ:
- 医学教育研究の評価には、MERSQIだけでなく他の要素も考慮した総合的な判断が必要
結論
これらの結果から、MERSQIの項目は解釈によって大きく影響され、採点に差が生じる可能性があることが示された。 MERSQIは研究方法論を特定するための有用な指針である。 しかし、現在の形式で医学教育研究の方法論の全体的な質を判断するために使用されるべきではない。 著者らは、より明確で正確なものにするために、この調査票をどのように改訂できるかについて、具体的な提言を行っている。
