Twelve tips for Natural Language Processing in medical education program evaluation
Kenya A. Costa-DookhanORCID Icon,Marta M. MaslejORCID Icon,Kayle Donner,Faisal Islam,Sanjeev SockalingamORCID Icon &Anupam ThakurORCID Icon
Received 24 Jul 2023, Accepted 05 Feb 2024, Published online: 19 Feb 2024
Cite this article https://doi.org/10.1080/0142159X.2024.2316223
https://www.tandfonline.com/doi/full/10.1080/0142159X.2024.2316223?af=R
自然言語処理(NLP)の医学分野への応用が進む中、医学教育者は、ワークフローを改善し、プログラムの大幅かつ迅速な改善を図るために、NLP技術を理解し、自らの教育プログラムに導入することが強く求められている。本稿では、医学教育プログラム評価におけるNLPの統合を成功させるために、概念的要因と技術的要因の両方を含む12の重要なヒントを提供することを目的とする。これらの12のヒントは、評価プロセスを計画する様々な段階に関する助言から、データ収集に関する考慮事項、分析と結果の解釈に備えたデータの前処理に関する考察まで多岐にわたる。これらの12のヒントをフレームワークとして使用することで、医学研究者、教育者、管理者は、NLPのアプリケーションをナビゲートするための理解と参考を得ることができ、自身の医学教育プログラムの評価を強化するための潜在能力を引き出すことができる。
12のヒントと各段階で考慮すべき重要な質問のまとめ。
ヒント1：NLPが教育プログラムのニーズや疑問に対応しているかどうかを判断する
NLPが教育プログラムの特定のニーズや疑問に適したツールであることを確認する。
答えとなる質問は何か？NLPはこの問いにどう対処できるのか？
ヒント2：NLPとデータ分析に精通したチームを作る 誰がNLPの手法を開発するのか？
評価プロセスにNLPを効果的に導入するために必要な、NLPとデータ分析の専門知識を持つチームを編成する。
誰がその有効性と公平性を評価するのでしょうか?誰がその安全性を評価するのか？誰がその実施による影響を評価するのか？
ヒント3：（NLPの情報提供や検証のための）定量的データの利用可能性と有用性を探る
NLPプロセスに情報提供や検証を行うことができる定量的データの有無と有用性を調査する。
定量的データは、教育現場におけるNLP由来の情報の検証プロセスをどのように強化できるのか？教育現場でNLPの情報提供や検証に定量的データを使用する際に、特定の課題や考慮すべき点はありますか？
ヒント4：教育／カリキュラムの目標に沿った分析結果を設定する
教育カリキュラムの目標に沿った分析結果を定義する。
カリキュラムの目標は何か。これらの目標に関連するデータの情報源は何か（回答調査、書面によるフィードバック、学習者評価のテスト結果など）。
ヒント5：NLPアプリケーションのデータの質と量を考慮する。
利用可能なデータの質と量の両方を評価し、NLPアプリケーションに適していることを確認する。
利用可能なデータの量は？正確性、完全性、一貫性、関連性の観点から、利用可能なデータの質はどの程度か？
ヒント6：NLPをパターンに使うか、予測に使うかを決める
NLPの主な用途がパターンを特定することなのか、データに基づいて予測を行うことなのかを決定する。
ヒント7：データに適した前処理方法を見つける
NLP分析の準備として、データの前処理に最も適した方法を選択する。
データはどのレベルで分析されるのか？このプロジェクトに取り組んでいるチームは、どのような前処理アプローチに精通していますか？
ヒント8：テキスト表現と分析のためのさまざまなNLP手法を探る
テキスト表現と分析のためのさまざまなNLP手法を調査し、データと目的に最適なものを見つけます。
テキスト表現にはどのようなアプローチがありますか？それぞれの利点と限界は？
ヒント9：分析のデフォルト設定を超えて感度を探る
分析ツールの設定を調整し、実験することで、NLPアプリケーションの感度と能力を十分に引き出す。
選択されたモデルパラメータは何か？結果の有用性と解釈可能性を最大化するために、様々なパラメータの組み合わせを試したか？
ヒント10：アルゴリズムによるバイアスの可能性に注意すること
アルゴリズムによる処理から生じる可能性のあるバイアスを常に意識し、それを軽減するための対策を講じる。
結果に影響を与える可能性のあるバイアスにはどのようなものがあるか？どのように説明できますか？
ヒント11：学生の匿名性とプライバシーを保護するために、適切なセキュリティ対策を講じる。
データの匿名性とプライバシーを保護するために必要なセキュリティプロトコルを導入する。
匿名性とプライバシーを守るために、どのようなセキュリティ対策がとられているのか？
ヒント12：NLPの活用を振り返り、評価結果を広める
分析を行った後は、NLPの使用について振り返り、評価結果を共有し、より広い医学教育分野に貢献しましょう。
結果は「全体像の目標」にどのように貢献するのか？調査結果はどこで共有されるべきか？
