Online eAssessment: AMEE Guide No. 39
Reg Dennick, Simon Wilkinson & Nigel Purcell
Pages 192-206 | Published online: 03 Jul 2009
Download citation https://doi.org/10.1080/01421590902792406
https://www.tandfonline.com/doi/full/10.1080/01421590902792406
ポイント
e-Assessmentは実質的な潜在的利益を提供するが、リスクを最小化するためには慎重に管理する必要がある。
評価手段が信頼性が高く有効であることを保証することなどの基本的な評価原則は、e-Assessmentにおいても同様に重要である。
形式的に使用される e-Assessmentは学習者に迅速かつ効果的なフィードバックを提供し、学習プロセスを大幅に強化するために使用することができる。
e-Assessmentのリスクは総括的なアセスメントの場合に最も大きいので、総括的な試験を実施する際には、適切なハードウェアとバックアップシステムがあることを確認してください。
e-Assessment は、信頼性、妥当性、実用性を高めるために使用できる新しいタイプの問題やフォーマットの可能性を提供しています。
コンピュータベースの評価
●長所
学生
- 24時間365日利用可能なフィードバック付きのフォーマティブペーパーで、学業の進捗状況を簡単に把握できます。
- 解答の入力/変更が素早く明確にできる
- 評価は、特別なニーズに合わせて変更することができます。
- インタラクティブ、アダプティブ、マルチメディアの問題タイプは、高い有効性を持っています。
教官
- 質問は、知識を評価するためのより有効で全体的な方法を提供することができます。
- 学生の評価をモニターしてフィードバックをパーソナライズすることができます。
- 対話型、適応型、マルチメディアの質問タイプが可能です。
事務
- 迅速なマーキング - 追加の受験者にも対応可能
- 紙の節約
●短所
コスト
e-Assessmentの課題
Intellectual
・信頼性ー内部一貫性
・妥当性（内容妥当性、構成妥当性、同時妥当性、予測的妥当性、表面的妥当性）
ー以下の機能を追加することができる。
・アニメーション、ビデオ、音声（試験会場でヘッドフォンが使用されている場合）。
・画像または図上の任意の場所にマークを付けることを要求する「ホットスポット」
・画像の上にラベルを直接ドラッグすることができます。
・シミュレーション。
Legal
・グラフィック、ビデオ、音声の著作権
・他の機関の問題を使用することもできます。使って良いかどうか
Technological
・クライアントサーバー
Economic
・大量のコンピュータ。
・コンピュータルームごとに、追加の検査員が必要となります。
・障害リスクを最小限に抑えるためには、専用の評価サーバー
・アセスメントソフト
・システムをサポートするために必要な部門・組織のスタッフ
・教育学的アプローチと評価戦略を指導する教育者
・プログラマーの給料
・アセスメントソフトに精通したトレーナー
・ITサポート技術者。
評価方法
MCQとEMI
空欄を埋める（Cloze）およびテキスト/数字の入力
画像のホットスポット
ラベリング（ドラッグ＆ドロップ）
シミュレーション
ビデオ
評価
・形成的
目的は、学生が学習を改善するために学習中の進捗状況をモニターできるようにすることである 。オンライン環境はこのような評価の形態に理想的であり、学生が試験以外の条件で自分の時間に受験でき、進捗状況を フィードバックできるオンライン過去問を含むさまざまな自己評価へのアクセスを提供することが比較的簡単にできるからである。利用可能な評価タイプの多様性は、オンラインの総括的評価に使用できるものと同じです。
学生の学習を定着させるために、教育セッションまたはエピソードの最後に提供することができます。これらは再利用可能な学習オブジェクト (RLO：Reusable Learning Objects) に組み込むことができます。一方で、形成的 eAssessments は過去の試験問題の形をとっている場合もあり、学生がその年の間に過去の試験問題を受験して、自分の学習進度をテストしたり、モジュールや年度末の総括試験で出題される可能性のある問題に慣れ親しんだりすることができます。有用な方針としては、学生が問題の形式やレベルに慣れることができるように、すべてのeAssessmentsの形式的なバージョンを学生が利用できるようにすることが挙げられます。問題にフィードバックを盛り込むことで、有益な学習資源となります。
・総括的
医学教育を対象としたレビューでは、総括評価のためのコンピュータの使用がはるかに限定的であることを発見しました。オンラインでのまとめ評価の普及を妨げる要因としては、スペースの不足とセキュリティ上の懸念が挙げられています。
試験サイクル、計画、作成、および成功したsummative eAssessmentを作成するために実施される必要があります。そして、ユーザーが認識し、対処するための計画を持つ必要がある新しい問題が発生する可能性があるので、総括的な環境への試験の配信を取り囲む問題を詳細に見ていきます。
e-Assessmentでの実施内容
・試験前
主催者：評価のための適切な形式を選択する
試験スケジュール：モジュールごとに試験のタイムテーブルを作成する。
サーバーサポート：eAssessmentシステムが置かれているサーバは定期的なメンテナンスとセキュリティ更新が必要である。もちろん、試験時間表を把握した上で実施する必要がある。
問題作成者： 質問は研究者によって書かれており、モジュールの招集者を含むことができます。
部屋の予約：試験の時間割に合わせて、十分な数のコンピュータを備えたコンピュータラボを予約しなければなりません。
問題入力： 問題はeAssessmentシステムへの入力が必要です。Wordからの切り貼りや、eAssessmentシステムへの直接入力が必要な場合もある。
アクセシビリティ：失読症などの特別なニーズを持つ受験者を特定し、試験時に不当に不利益を被らないように様々な調整を行う必要があります。
ネットワーキング：ローカルエリアネットワークを担当するチームに試験時間を通知し、ルーター・スイッチ等のメンテナンスを計画的に行えるようにする。
問題審査担当者：問題がある場合は、その分野の専門家が質問を検討する必要があります。
スタッフの訓練者：スタッフは以下のように訓練されていなければならない。(a) e-Assessment システムの機能、(b) 試験予定日に先立ってシステム上での問題作成方法、などのトレーニングを受けなければならない。
基準設定チーム： 標準設定の技術を使用する科目については、このプロセスを促進するためにチームミーティングを手配しなければなりません。
学生のための伝達者；受験生には、試験の一部がオンラインで行われることや、問題タイプごとにソフトウェアがどのように機能するかを伝えなければなりません。
・試験中
学術的なリソース：論文式試験と同様に、内容に問題があった場合には学者がそばにいなければなりません。
試験監督：論文式試験と同様に、盗作を減らすためには監視員や試験監督が必要である。
ソフトウェアサポート：クラッシュやその他の問題が発生した場合には、e-Assessment システムに精通したスタッフが試験時間中に待機していなければならない。
・試験後
モデレータ ： 試験が完了した後、試験コホートのパフォーマンスを検査し、パフォーマンスの低い問題は削除/修正されなければなりません。
試験委員会 ： 最終的にモデレートされた点数は、正式な試験委員会に送付する必要があります。
- アセスメントシステムソフトウェアライセンス
- パワフルなサーバー
- 大量のPC ・人材派遣
- 物理的環境-空調の効いた大型の研究室。
トレーニング
- 学生は評価システムの使用方法を学ばなければなりません。
- スタッフは、質問の入力方法やシステムの能力をフルに活用するためのトレーニングを受けなければなりません。
リスク
- 外部のハッカー/ウイルス
- 内部のスタッフ/学生のセキュリティポリシー。
- 故障 - 電源/ハードウェア/ソフトウェア
