An explorative assessment of ChatGPT as an aid in medical education: Use it with caution
Zhiyong Han,Fortunato Battaglia,Abinav Udaiyar,Allen Fooks &Stanley R. Terlecky
Published online: 20 Oct 2023
Cite this article https://doi.org/10.1080/0142159X.2023.2271159
https://www.tandfonline.com/doi/full/10.1080/0142159X.2023.2271159?af=R
ポイント
ChatGPTは教育者にとって便利なツールです。
ChatGPTは、セッション内容のアウトラインや学習目標の下書きに使えます。
ChatGPTは評価問題の作成に役立ちます。
ChatGPTで生成された情報が正確であることを確認するためには、専門家の監督と注意が必要です。
教育者はChatGPTが信頼できる情報提供者ではないことを学生に伝える必要があります。
目的
医学部における教育者と学生によるChatGPTの使用を調査すること。
研究方法
本研究では、OpenAIが2022年11月30日に公開を開始したChatGPTのパブリックバージョンを使用した（https://openai.com/blog/chatgpt/）。ChatGPTに、1）医学生を対象としたコレステロール、リポ蛋白、高脂血症に関するセッションのコンテンツアウトラインを作成する、2）セッションの学習目標リストを作成する、3）特定された学習目標に関連する臨床ビネットの有無にかかわらず評価問題を作成する、ことを依頼するプロンプトを採用した。ChatGPTによる回答の正確性と信頼性を評価し、教育者の補助として、また学生のための「何でも知っている」医療情報提供者としてのチャットボットの可能性を判断した。
結果
ChatGPTは教育者の補助として機能するが、教育者や医学生にとって信頼できる情報源としてはまだ適していない。
考察
この研究では、ChatGPTが基礎科学の質問に対して事実とは異なる不正確な回答をすることがあり、これは機械学習で「幻覚」として知られる現象であることがわかった。これは、教育ツールとしての使用に懸念を生じさせる。
・幻覚の理由
ChatGPTのトレーニングデータはオープンソースから提供されており、正確性を担保するためにキュレーションされていない。
モデルは回答の真実性を評価しない。
リアルタイムで更新されないため、情報が古くなる可能性がある。
モデルの主な設計は単語パターンの予測であり、情報の正確性を保証するものではない。
・教育への意義：
学生はChatGPTの表面的な情報や間違った情報に惑わされるかもしれない。
特に医学生は、ChatGPTを決定的な情報源と見なさず、慎重になるべきである。
幻覚の問題が解決されるまでは、ユーザーは潜在的な不正確さに注意すべきです。
・潜在的な利点
ChatGPTは多肢選択問題を素早く作成することができ、教育者に改良のための「素材」を提供します。
教育者は正確な問題バンクを作成するためにChatGPTが生成した問題を修正することで、時間を節約することができます。
医学部教員はChatGPTを使用してカスタマイズされた問題バンクを共同開発することができますが、慎重なレビューと修正が不可欠です。
・研究の限界
この研究はChatGPT3.5のみをテストし、改善されるかもしれないChatGPT4との比較はしていない。
この研究は、コレステロール代謝と高脂血症に焦点を絞っており、他の医学的領域は未調査である。
結論
ChatGPTは、医学教育者がコースやセッションの内容の概要を作成したり、評価問題を作成したりする際に役立つツールである。同時に、ChatGPTは誤った情報を提供しやすいので注意が必要です。生成された情報が正確で学生にとって有益であることを確認するためには、専門家の監視と注意が必要です。したがって、医学生が現在のChatGPTを "何でも知っている "情報プロバイダーとして使うのは時期尚早です。将来的には、医学教育者はプログラミングの専門家と協力して、医学教育におけるAIの可能性を追求し、成長させるべきである。
