Моделювання результатів педагогічних тестів на основі MIRT моделей

Анотація

В статті розглянуто проблеми моделювання матриць первинних балів результатів тестування, що описуються компенсаторними двовимірними та тривимірними 2-PL і 3-PL моделямі Multidimensional Item Response Theory (МIRT). Такі моделі найчастіше відповідають результатам педагогічних або психологічних тестувань, оскільки, зазвичай, тестування спрямовано на виявлення декількох компетентностей іспитників і може оцінювати здібності іспитників у різних вимірах. Наприклад, в одному контрольному заході з аналітичної геометрії можуть оцінюватися вміння оперувати алгебраїчними виразами і знання властивостей векторних, скалярних та мішаних добутків. Таким чином, модель, що точніше характеризує результати такого тестування, не є одновимірною. До того ж, визначення точної розмірності MIRT моделі є базовим етапом аналізу якості тестових питань.

В роботі обговорюються можливі проблеми та обмеження, з якими стикаються викладачі при моделюванні результатів тестування на основі  MIRT моделей, а також шляхи їх подолання. Вказано на важливість створення бази репрезентативних вибірок результатів тестування для подолання цих проблем.

Для моделювання використовано функцію simdata пакету mirt мови програмування R. Створено базу репрезентативну вибірок даних для обраних моделей. Для кожної матриці первинних балів проведено MIRT аналіз: визначено розмірність моделі за допомогою критерія Хала, паралельного аналізу, емпіричного критерію Кайзера; визначено найкращу модель; знайдено оцінки параметрів для обраної моделі; визначено похибки; перевірено адекватність моделі даним.

Виявлено, що усі застосовані критерії знаходження розмірності моделей показали однаковий результат, що співпадає з вхідними параметрами функції моделювання. Проте, вектори середніх значень оцінок параметрів моделей відрізняються від вхідних параметрів при безпосередньому застосуванні для оцінювання пакету mirt мови  R. Знайдено  шляхи подолання цієї проблеми.