Современные технологии анализа данных в системе STATISTICA для управления качеством учебного процесса

Содержание

• Постановка задачи
• Исходные данные
• I. Анализ результатов входного тестирования
• II. Анализ анкет старшекурсников
• III. Анализ анкет выпускников и работодателей
• IV. Анализ анкет сотрудников университета
• V. Анализ результатов анкетирования «Преподаватель глазами студентов»
• Заключение

Постановка задачи

В сфере образования под качеством обучения подразумевается соответствие знаний и умений выпускников учебного заведения требованиям, предъявляемым со стороны современного рынка труда.

Общество через спрос на выпускников на рынке труда доводит до высшей школы свои потребности и контролирует уровень подготовки специалистов. Престиж университета зависит от того, как котируются на рынке труда и куда устраиваются на работу его выпускники.

Однако задержка во времени между получением знаний и умений в вузе и их оценкой в производственных условиях составляет несколько лет. Поэтому необходим постоянный и всесторонний контроль качества учебного процесса.

В хорошо организованном учебном процессе заинтересованы все участники, так или иначе связанные с высшим учебным заведением, начиная от абитуриента и заканчивая работодателем, нанимающим выпускников высших учебных заведений.

Проведение анкетирования всех участников учебного процесса является одним из ключевых моментов мониторинга качества образования.

Помимо этого, в связи с широким распространением ЕГЭ и рейтинговой системы образования в высших учебных заведениях появляется необходимость обработки результатов тестирования и экзаменов.

В итоге появляется огромное количество анкет, тестов, опросов, содержащих жизненно важную информацию, основываясь на которой возможно построение эффективной системы образования в высшем учебном заведении, учитывающей интересы каждого из участников процесса. 

Для примера будем рассматривать результаты анкетирования и тестирования, проводимого отделом контроля качеством учебного процесса при университете.

Исходные данные

По данным анкетирования, проводимого отделом контроля качеством учебного процесса при университете, можно выделить следующих участников учебного процесса:

1. Первокурсники; 

2. Старшекурсники; 

3. Выпускники; 

4. Преподаватели; 

5. Сотрудники; 

6. Работодатели. 

Для каждой из представленных групп участников процесса проводилось анкетирование по различным темам. 

Например, результаты входного тестирования по математике для первокурсников, оценки достаточности уровня школьного образования по предметам для старшекурсников или результаты анкетирования по вопросам внутренней работы в университете среди сотрудников.

Рис. 1. Фрагмент таблицы данных результатов входного тестирования 

Сначала проанализируем каждую группу участников учебного процесса в отдельности, а потом постараемся установить зависимость между полученными результатами.

I. Анализ результатов входного тестирования

Для первокурсников при поступлении проводится входное тестирование по математике. Студентов с разных факультетов распределяют по аудиториям (номера наблюдений). По результатам тестирования выявлялось количество студентов, набравших меньше 50 баллов, и их доли в каждой аудитории. См. рис. 1. 

Сначала проведем описательный анализ (Анализ/Основные таблицы и статистики/Описательные статистики). В качестве переменной для описательного анализа выберем переменную Доли:

Рис. 2. Результаты описательного анализа входного тестирования 

Из рис. 2 видно, что в среднем по всем 45 аудиториям и всем факультетам количество студентов, набравших меньше 50 баллов, больше половины (примерно 0,68). При этом есть аудитории, в которых все студенты показали подобный результат (см. максимальное значение), и нет ни одной аудитории, где бы все студенты показали результат выше 50 баллов (см. минимальное значение). 

Интересен также результат по факультетам, а именно, как различаются результаты тестирования по факультетам.

Для этого проведем описательный анализ по группам (Анализ/Основные таблицы и статистики/Группировка и однофакторный анализ). В качестве зависимой переменной укажем переменную Доли, а группирующей – Факультет:

Рис. 3. Результаты описательного анализа по группам 

Из таблицы на рис. 3 видно, что уровень знаний студентов по математике по факультетам примерно одинаковый. Однако худший показатель имеет факультет МФ (доли среднего и доли минимальные). Для наглядности приведенных результатов в таблицы построим диаграмму размаха: 

Рис. 4. Диаграмма размаха со значением доли студентов, набравших меньше 50 баллов, по факультетам 

На диаграмме размаха (рис. 4) приведены медианное значение, диапазон, в котором находится 50% наблюдений (от 25% до 75%) и минимальные и максимальные значения для каждого факультета. Наглядно видно, что факультет МФ показал результаты несколько хуже, чем другие факультеты.

Теперь, когда в целом картина результатов тестирования ясна, попробуем выявить аудитории с аномальным уровнем студентов, набравших меньше 50 баллов. Под аномальным будем понимать слишком низкие и слишком высокие доли по сравнению с общим уровнем.

Для решения подобной задачи будем использовать модуль Карты контроля качества. В нем, задавая в качестве переменной доли брака – долю студентов-«двоечников», мы будем выявлять аудитории с аномальным процентом студентов-«двоечников».

Для этого мы перейдем в модуль Анализ/Промышленная статистика и 6сигма/Карты контроля качества вкладка Атрибуты и далее P-карты по альтернативному признаку.

На данной карте откладывается процент студентов-«двоечников» на аудиторию, при этом расчет контрольных пределов (пунктирные линии) для данной карты основан на биномиальном распределении. См. рис. 5. 

Рис. 5. Р-карта и гистограмма долей студентов-«двоечников» по аудиториям 

Поясним график. По горизонтальной оси отложены номера аудиторий, по вертикальной – доли брака, пунктирные линии обозначают контрольные пределы (внутри данных границ случайная величина, равная доле студентов-«двоечников», находится с вероятностью 99,73%). 

Отсюда можно сделать вывод, что закрашенные точки на приведенном графике соответствуют «аномальным» аудиториям, с подозрительными результатами.

Возможно, в некоторых из них было проще воспользоваться посторонней помощью, а в других преподаватели были излишне придирчивы.

II. Анализ анкет старшекурсников

Перейдем к анализу анкет старшекурсников. В своих анкетах они должны были оценить по десятибалльной шкале достаточность и значимость преподавания школьных предметов. Помимо этого указывались данные общего характера: факультет, тип школы, район проживания и т.д. Всего было опрошено 129 студентов старших курсов. См. рис. 6. 

Рис. 6. Фрагмент таблицы данных результатов анкетирования старшекурсников 

По этим данным можно оценить, как старшекурсники оценивают, насколько необходимы и достаточны навыки и знания, приобретенные в школе по конкретным предметам.

Чтобы выявить, есть ли значимая разница между достаточностью и значимостью уровня преподавания по каждому из предметов, используем непараметрические методы сравнения средних. Для этого перейдем в меню Анализ/Непараметрическая статистика и выберем пункт Сравнение двух зависимых переменных.

Рис. 7. Таблицы с результатами сравнительного анализа (критерий Вилкоксона) 

Для сравнения средних при оценке достаточности и значимости предметов использовался критерий Вилкоксона. В результате анализа по химии, русскому языку и иностранному языку были получены статистически значимые различия средних (соответствующие p-уровни меньше 0,05). См. рис. 7. 

Проиллюстрируем результаты на диаграммах размаха. Cм. рис. 8. 

Рис. 8. Диаграммы размаха по оценкам достаточности и значимости преподавания трех предметов в школе 

Из диаграмм размаха видно, что, по мнению старшекурсников, нагрузка по русскому языку и химии избыточна, а по иностранному языку недостаточна (на рис. 7 в столбце «Направления» показаны отношения между достаточностью и значимостью соответствующего предмета). 

Отметим также, что по другим предметам значимых различий данный критерий на данной выборке не выявил.

III. Анализ анкет выпускников и работодателей

Проанализируем анкеты выпускников и работодателей. В данном исследовании часть вопросов из анкет, предлагавшихся выпускникам и работодателям, совпадала. Вопросы касались оценки по десятибалльной шкале теоретических и практических навыков выпускников по их собственному мнению и по мнению работодателей, нанимающих выпускников университета:

1. Уровень профессиональной общетеоретической подготовки; 

2. Уровень практических знаний, умений; 

3. Владение иностранным языком; 

4. Навыки работы на компьютере, знание необходимых в работе программ; 

5. Способность работать в коллективе, команде; 

6. Способность эффективно представлять себя и результаты своего труда; 

7. Нацеленность на карьерный рост и профессиональное развитие; 

8. Навыки управления персоналом; 

9. Готовность и способность к дальнейшему обучению; 

10. Способность воспринимать и анализировать новую информацию, развивать новые идеи; 

11. Эрудированность, общая культура; 

12. Осведомленность в смежных областях полученной специальности. 

Вопрос об уровне базовых знаний и умений задавался только работодателям.

В исходной таблице помимо переменных, содержащих оценки навыков и способностей (см. рис. 9). 

Рис. 9. Фрагмент таблицы анкетных данных выпускников и работодателей 

Зачастую при анализе подобных анкетных данных важно понимать, насколько хорошо респондент разделяет ответы на каждый из вопросов. Возможно, некоторые вопросы в анкете являются лишними, дублируются другими пунктами.

Для выявления подобных зависимостей между ответами на вопросы анкеты используем корреляционный анализ.

Для этого перейдем в меню Анализ/Непараметрическая статистика/Корреляции Спирмена, тау Кенделла, гамма и построим матричную диаграмму рассеяния для двух пар переменных:

Уровень профессиональной общетеоретической подготовки

Уровень базовых знаний и навыков

Нацеленность на карьерный рост и профессиональное развитие

Способность эффективно представлять себя и результаты своего труда

Результаты анализа вместе со значимыми коэффициентами Гамма (вычисленными в этом же модуле). 

Рис. 10. Диаграмма рассеяния, гистограмма по данным анкеты работодателя 

На рис. 10 приведены значимые коэффициенты гамма, что говорит о сильной связи между ответами на вопросы анкеты. Возможно, имеет смысл переформулировать часть вопросов так, чтобы ответы на них в анкете не дублировались. 

Теперь сравним, есть ли значимые различия в оценке способностей выпускников по их собственному мнению и по мнению работодателей.

Для ответа на данный вопрос используем непараметрический критерий Колмогорова-Смирнова для сравнения эмпирических распределений оценок выпускников и работодателей по каждому пункту анкеты. Результаты представлены на рис. 11. 

Рис. 11. Фрагмент таблицы с результатами непараметрического теста Колмогорова-Смирнова для сравнения распределений оценок работодателей и выпускников 

Статически значимые различия были обнаружены по трем пунктам анкеты, причем во всех трех пунктах средняя оценка выпускника оказалась лучше, чем оценка работодателя.

2. Уровень практических знаний, умений

3. Владение иностранным языком

8. Навыки управления персоналом

Это говорит о том, что выпускники переоценивают свои возможности по данным пунктам.

На рис. 12 показаны средние баллы выпускников и работодателей по 12 пунктам анкеты. 

Рис. 12. Линейный график средних баллов выпускников и работодателей по каждому из 12 пунктов анкеты 

Интересно, что по вопросу

10. Эрудированность, общая культура

выпускники оценили себя хуже, чем их работодатели, но результаты получились статистически незначимые (столбец с p-уров. на рис. 11). 

 

---

IV. Анализ анкет сотрудников университета

Анкетирование сотрудников университета проводилось с целью выявления областей, которым уделяется недостаточное внимание со стороны руководства, выявление наиболее и наименее приоритетных направлений для развития с точки зрения сотрудников по параметрам степени исполнения, достижимости и важности каждого направления.

В итоге в опросе участвовало 129 сотрудников университета. Каждый из 19 вопросов анкеты оценивался по пятибалльной шкале. На рис. 13 приведена таблица со средними результатами по трем параметрам. 

Рис. 13. Фрагмент таблицы со средними баллами по вопросам 

Теперь при помощи модуля Кластерный Анализ (Анализ/Многомерный разведочный анализ) выделим группы с высоким уровнем важности и достижимости и низким уровнем исполнения. Именно такие вопросы являются приоритетными для развития.

Мы проведем группировку при помощи иерархических деревьев классификации. Идея достаточно проста: в трехмерном пространстве параметров (исполнение, важность, достижимость) мы ищем пары близких точек. 

После этого мы заменяем их на одну точку (среднее между ними). На рис. 14 по горизонтальной оси отложено расстояние, при котором пары точек сливаются в одну. Линии показывают последовательность объединений. 

В итоге после объединения точки разбились на две зоны близости. Одна характеризуется большими показателями уровня достижимости и важности, и маленькими значениями исполнения, другие – наоборот.

При помощи кластерного анализа мы провели редукцию данных и можно выделить необходимые направления для развития уже из меньшего списка.

Рис. 14. Выделение приоритетных направлений для развития при помощи кластерного анализа

V. Анализ результатов анкетирования «Преподаватель глазами студентов»

Следующее исследование относилось к оценке преподавателей со стороны студентов. По результатам опроса была составлена таблица, содержащая фамилию преподавателя, кафедру, должность, возраст и балл, выставленный студентами. 

Посчитаем средние баллы по каждой должности. См. рис. 15. 

Рис. 15. Таблица со средними баллами по должностям на кафедре 

Из таблицы видно, что чтобы стать ст. преподавателем в университете нужно иметь возраст около 55 лет. При этом преподаватели в среднем имеют возраст 33 года. Такой большой разрыв объясняется кризисом в образовательной системе страны. В целом преподаватели не видят смысла работать в университете ради достижения высокой должности на кафедре.

Построим диаграмму размаха баллов преподавателей по должностям на кафедре.

Рис. 16. Диаграмма размаха баллов преподавателей по должностям на кафедре 

Видно, что зав. кафедрами получили значимо большие оценки, чем остальные должности. Для проверки значимости различия в средних значениях использовался непараметрический критерий Шеффе.

Для человека, не занимающегося статистическим анализом, диаграмма размаха может показаться довольно сложной для понимания зачастую может являться довольно сложным объектом для понимания. Поэтому в STATISTICA имеются средства более доступного визуального анализа. Например, график «Лица Чернова». См. рис. 17. 

Рис. 17. График «Лица Чернова» 

Задавая различные характеристики лица через переменные Балл и Возраст можно визуально оценивать различия между получившимися изображениями. Подобные пиктографики также часто применяются в психологии и социологии.

Заключение

Отделы контроля качеством или другие структуры университета, занимающиеся схожими проблемами, при обработке результатов анкетирования и тестирования ограничиваются лишь использованием простейших описательных и визуальных методов анализа данных.

Подобные исследования не гарантируют получения надежных результатов. Например, если проводить повторное анкетирование, выводы, сделанные на основе подобных анализов, могут отличаться от прежних (и даже быть противоположными).

Установление статистически значимых связей и зависимостей позволяет делать верные выводы и получать статистически обоснованные результаты, которые в конечном итоге могут использоваться для принятия решений в сфере управления качеством учебного процесса.

В заключение отметим, что здесь описаны лишь некоторые из задач в области анализа анкетных данных и результатов тестирования и некоторые из возможностей пакета STATISTICA.

При желании исследователь, аудитор или сотрудник отдела контроля качеством может ставить перед собой задачи анализа данных любой сложности и успешно их решать при помощи статистического пакета.

В начало