Chatbot-based serious games: A useful tool for training medical students? A randomized controlled trial
Salma Al Kahf, Baptiste Roux, Sebastien Clerc, Mona Bassehila, A. Lecomte, Elsa Moncomble, Elodie Alabadan, Nina de Montmolin, …
PLOS x
Published: March 13, 2023
https://doi.org/10.1371/journal.pone.0278673
目的
チャットボットは、医学生（Medical Students: MS）が臨床ケースを見ながら会話するエージェントで、MSに喜ばれるシリアスなゲームである。しかし、MSの試験成績に与える影響は、まだ評価されていません。Chatprogressは、パリ・デカルト大学で開発されたチャットボットを使ったゲームです。
"Chatprogress "は、学生がログインして複数のチャットボットゲームにアクセスできるウェブサイトです。ログインすると、学生はトライアルを説明するイントロダクションメッセージを受け取った。Chatprogressのデザインは、ストリーミングプラットフォームに似ています。ゲームを選択すると、ロボットが一連の質問を行い、複数の答えを提示しながら医療臨床ケースを通して学生を歩かせます。学生が間違った答えを選ぶと、ゲームは終了し（GO for Game Over）、その答えがなぜ間違っているのかを短く面白く説明するメッセージがポップアップ表示されます。適切な場合、このメッセージには、学生の教科書からの参照が添えられています。その後、学生はゲームに戻り、中断したところから続けたり、やり直したりすることができます。また、同じゲームを何周もプレイすることもできます。
ゲームの技術面はFAST4社（BR, AL）が担当した。ゲームは全部で8回行われました。臨床ケースは、6つのゲームでは肺医学の4つの主要テーマ（COPD、喘息、肺塞栓症、市中肺炎）、残りの2つでは3つの副テーマ（喀血、気胸、結核）を中心に展開されました。ケースはBPとCMが若者の語彙を使って執筆し、学生の関心を高めるようにした。ゲームの作者は、試験問題の作成には関与しておらず、試験のテーマについても盲検化されています。ゲームは、大学の教育委員会（GF、CB、NR）によってダブルチェックされ、高学年の学生2名（SA、MB）および呼吸器内科研修医3名（EM、EA、NDM）にテストされました。
CHATPROGRESSの研究は、Chatprogressが学生の期末試験の成功率に与える影響を評価することを目的としています。
方法
パリ・デカルト大学の4年生MS全員を対象に、テスト後のランダム化比較試験を実施した。すべてのMSは大学の正規の講義に従うよう求められ、そのうちの半数がランダムにChatprogressにアクセスできるようになった。学期末には、医学生を対象に、肺科学、循環器学、重症治療学に関する評価を行った。
主なアウトカム評価
第一の目的は、Chatprogressにアクセスした学生は、アクセスしなかった学生と比較して、肺科学サブテストのスコアが増加することを評価することでした。副次的な目的は、テスト全体（Pulmonology, Cardiology and Critical care medicine test (PCC)）のスコアの上昇を評価し、Chatprogressへのアクセスとテスト全体のスコアとの相関を評価することでした。最後に、学生の満足度をアンケートで評価しました。
結果
2018/10～2019/06に、171名の学生がChatprogressにアクセスし（Gamers）、その中で104名が利用を終了しました（Users）。GamersとUsersは、Chatprogressにアクセスしない255人のControlsと比較された。1年間の呼吸器系サブテストのスコアの差は、ゲーマーとユーザーとコントロールの間で有意に高かった（平均スコア: 12.7/20 vs 12.0/20, p = 0.0104, 平均スコア: 12.7/20 vs 12.0/20, p = 0.0365 それぞれ）。この有意差は、PCCテストの総合得点にも見られた：（平均得点：12.5/20 vs 12.1/20, p = 0.0285 と 12.6/20 vs 12.1/20, p = 0.0355 それぞれ）。呼吸器サブテストのスコアとMSの勤勉性パラメータ（ユーザーに提案した8つのゲームのうち、終了したゲームの数、ユーザーがゲームを終了した回数）には有意な相関は見られなかったが、Chatprogressがカバーするテーマでユーザーを評価すると、より良い相関が得られる傾向がみられた。また、MSは本教材のファンであり、問題に正解しても、より教育的なコメントを求めることが判明しました。
結論
この単施設オープンランダム化比較試験において、チャットボットの使用は、チャットボットがカバーする専門分野の学生の平均点だけでなく、PCC試験全体のスコアも有意に増加させることが判明しました。ただし、学生のプラットフォームへの取り組みと呼吸器科試験結果には有意な相関は認められませんでした。これは、学生の参加と満足度だけでなく、チャットボットを使ったシリアスゲームが試験当日のパフォーマンスに与える影響についても調査した、私たちの知る限り初めてのランダム化比較試験となります。このように、チャットボットは、推論の評価が重要視される医療分野での学習のためのツールになる可能性があります。
今後の研究では、ゲームの数を増やし、医学部のあらゆるレベルの複数のコースにおけるチャットボットの効果を分析する必要があります。
