Навчальна інфраструктура Big Data: локальний Proxmox-кластер для ETL і Spark SQL

Анотація

Анотація: Стаття пропонує методично вивірений підхід до розгортання та педагогічної валідації локальної навчальної інфраструктури Big Data на базі Proxmox із кластером Hadoop/Spark для виконання лабораторних робіт на курсах опрацювання даних. На відміну від попередньої публікації автора, де було описано архітектуру віртуалізованого середовища та організацію доступу, у цій роботі зосереджено увагу на мінімальному відтворюваному протоколі експериментів, який безпосередньо пов’язує технічні метрики продуктивності зі зрозумілими педагогічними індикаторами якості навчального процесу. Запропонований протокол включає стандартизовану послідовність завдань (ETL → Spark SQL → аналіз стадій), фіксацію версій компонентів (операційна система, JDK, Hadoop, Spark), контроль вхідних даних і єдині інструкції для студентів. Для агрегування результатів обрано стійкі статистики – медіану та міжквартильний розмах (IQR), а також профілі стадій виконання, що дозволяє зменшити вплив поодиноких збоїв і забезпечити інтерпретованість показників у межах академічного заняття. Педагогічна валідація здійснюється через операціоналізовані індикатори: передбачуваність таймінгу пари (частка групи, що вкладається у відведений слот), прозорість артефактів (можливість перевірки ходу виконання за логами/ноутбуками/звітами), кількість технічних інцидентів, а також сприйняття інструкцій за короткою анкетою. Окремо розглядається порівняльна рамка «локальна інфраструктура vs хмара» в освітньому контексті: сумарні витрати на курс, стабільність і керованість виконання завдань, залежність від зовнішніх сервісів, вимоги до підтримки та доступність для студентів із різним рівнем підготовки. Емпіричні результати демонструють, що локальний кластер на Proxmox забезпечує кращу керованість і стабільніші часові характеристики типових завдань без втрати технічної репрезентативності, що важливо для планування і оцінювання навчальної діяльності. Практичний внесок роботи полягає у формалізації відтворюваного мінімуму Big Data-експериментів для аудиторної та змішаної форм, узгодженні технічних метрик із освітніми індикаторами та наданні інструкцій, придатних для масштабування курсу і міжкурсових порівнянь. Обмеження дослідження стосуються розміру кластера та набору завдань; подальша робота передбачає автоматизацію збору метрик, розширення корпусу даних і перевірку підходу на різних програмах підготовки. Ключові слова: Big Data, Hadoop, Spark, Proxmox, навчальна інфраструктура, відтворюваність, медіана, IQR, ETL, Spark SQL, педагогічні індикатори.