Medical education research study quality instrument: an objective instrument susceptible to subjectivity
Scott Jaros &Gary Beck DallaghanORCID Icon
Article: 2308359 | Received 28 Aug 2023, Accepted 17 Jan 2024, Published online: 24 Jan 2024
Cite this article https://doi.org/10.1080/10872981.2024.2308359
https://www.tandfonline.com/doi/full/10.1080/10872981.2024.2308359?af=R
背景
医学教育研究の質評価ツール（MERSQI）は、研究デザイン基準に基づいて医学教育研究の質を評価するためにデザインされた。このようなツールの多くがそうであるように、結果を適用すると意図しない結果を招く可能性がある。本研究では、MERSQIを書誌学的分析で同定された公表済みの医学教育研究に適用した。
方法
計量書誌学的分析により、2人の著者が独立してMERSQIを用いて評価した医学教育における高被引用論文を同定した。重複論文や非研究論文をスクリーニングした後、著者らは21の論文についてMERSQIを用いてレビューを行った。最初に5つの論文を独立にレビューし、その結果を比較することで、評価項目に対する理解の一致を確認した。残りの論文も独立してレビューされた。論文の総合得点は対の標本のt検定で分析し、個々の項目の評価は評価者間の信頼性を分析した。
結果
MERSQIの4つの項目（研究設計、サンプリング、機関数、データ解析）では良好または優れた信頼性が示されました。
しかし、応答率、妥当性、結果の項目では、受け入れられる信頼性の閾値を下回りました。応答率、妥当性、結果の各項目で評価者間の信頼性は不十分と判断されました。
2名の評価者間でMERSQIスコアの平均値に有意な差が見られました。これは、MERSQIの解釈が評価者によって異なることを示唆しています。
考察:
この研究は、高引用の医学教育研究をMERSQIで評価する際の課題を浮き彫りにしました。特に、応答率、妥当性、結果の項目での評価の難しさが指摘されています。
MERSQIの解釈における主観性が、研究の品質評価におけるスコアリングに影響を与える可能性があります。これは、同じ研究に対しても評価者によって異なる結果が生じることを意味します。
研究者は、MERSQIが研究方法論の特定の側面を特定するのに有用であることを認めながらも、現在の形式では医学教育研究の全体的な品質を判断するための唯一の基準として使用すべきではないと結論づけています。
結論
これらの結果から、MERSQI項目は解釈によって有意な影響を受け、採点に差が生じる可能性があることが示された。MERSQIは研究方法を特定するための有用な指針である。しかし、現在の形式で医学教育研究方法論の全体的な質の判断に用いるべきではありません。著者らは、より明瞭で正確なものにするために、この尺度をどのように改訂できるかについて具体的な提言を行っている。
