Про нормы и нормальное распределение

[Зимин_АВ]

Небольшое предисловие:
В одном закрытом чате про этот пост мне задали простой вопрос: зачем? Отвечу здесь: с проблемой расчета норм столкнулись 85 регионов. Меня, как разработчика программного комплекса, эта проблема волнует не меньше других. Позиция Москвы - мы вас ничем не ограничиваем, но расчет не должен противоречить методике. Цель этой темы - создание алгоритма расчета норм, которой может воспользоваться каждый регион и каждый разработчик программного комплекса. Для этого мы привлекаем к обсуждению все регионы и ведущих психологов Красноярского края. В том числе ведущего специалиста по теме математических методов в психологии Дьячук Анну Анатольевну. Но времени очень мало и для нас будут ценно любое мнение и комментарии специалистов других регионов, которые (я уверен) тоже работают над задачей расчета норм. Приглашаем к конструктивному диалогу

В методике очень мало информации про расчет норм, но есть достаточно конкретное утверждение:

коридор нормы задает стандартное отклонение

Как оно задает коридор, это пока не до конца ясный для меня вопрос. По нашим прикидкам, коридор в плюс/минус одну сигму даст около 1% явного риска вовлечения и около 8% респондентов в зоне риска.

А коридор в +/- пол-сигмы (то есть шириной в одну сигму), даст около 5% явного риска вовлечения и 25% в зоне риска.

Причем эти оценки очень не точные и могут меняться от выборки к выборке, а рассчитать их математически довольно сложно.

В статистике есть много теорем про стандартное отклонение, которые применимы в случае нормального распределения результатов. На первый взгляд, ответы респондентов случайны и должны распределяться по теореме Гаусса нормальным образом. Но случайны ли они на самом деле? Нормально ли распределение баллов по субшкалам? Этим вопросом мы задались, когда начали совещания по расчету норм с ведущими краевыми психологами Красноярского края.

Для ответа на этот вопрос, мы дополнили наш программный комплекс подсистемой анализа эталонной выборки. Для этого в блоке анализа появилась отдельная кнопка, по которой можно увидеть гистограммы распределения ответов.

Выборка небольшая, но по ней видно, что некоторые показатели стремятся к нормальному распределению, а некоторые нет.

Например распределение социальной желательности ответов имеет вот такой вид, далекий от гауссианы:

Распределение факторов защиты уже ближе к нормальному:

А принятие родителями в данной выборке заметно сдвинуто в одну сторону:

Что думаете по поводу коридора нормы и нормальности распределения?

[Зимин_АВ]

Те, кто уже тестирует детей в нашем комплексе могут смотреть эти графики по своим выборкам в разделе анализ.

Отфильтруйте нужные результаты по типу теста, списку образовательных организаций или другим параметрам и нажмите кнопку “Автоматический анализ” внизу страницы, анализ будет произведен по отфильтрованным результатам.

[Зимин_АВ]

Добавил предисловие к теме. Поскольку сама методика не публичная, возможно меня попросят скрыть эту тему, как раскрывающую значимые подробности. Тогда мне придется перенести ее в закрытый раздел, к которому я дам доступ всем, кто оставит комментарий в данной теме.

[Зимин_АВ]

Как мы считаем нормы сейчас:

1. Исключаем из выборки недостоверные результаты пользуясь методикой.
2. Разбиваем достоверные результаты на группы (форма теста/пол)
3. Проверяем нормальность распределения каждой шкалы
4. Находим среднее и стандартное отклонение.
5. Откладываем сигму от среднего и получаем границы нормы по каждой шкале.

В чем возникают сложности на практике. Не по всем шкалам мы видим нормальное распределение. Часто распределение похоже на нормальное, но сдвинуто в одну из сторон.

В данном случае, среднее нашей выборки 6.5, а матожидание аппроксимированного нормального распределения - 5. Для какого матожидания будет точнее вычислить норму? Это может быть важно, это мы и пытаемся понять, исследуя данную тему со специалистами.

[Зимин_АВ]

Коллеги из других регионов подсказывают нам, что стоит обратить внимание на метод Бокса-Кокса. Хочу передать большое спасибо за наводку.

[Зимин_АВ]

Сегодня выясняли, что делают медики в случаях, когда надо определить границу эпидемии, а распределение не нормальное. Откладывают процентиль.

Сейчас для нас основная задача - ответить на вопрос, отклонение от нормального распределения - проблема тестовой выборки или неотъемлемое свойство тестирования. На любой выборке можно отбросить часть результатов как недостоверную и получить нормальное распределени, но отброшенные результаты могут быть важными. В пользу необязательности нормальности говорит и то, что по некоторым субшкалам распределение ответов даже не симметричное.

[Ронжанин]

Готовим сервис для бесплатного расчета норм всем желающим. В ближайшее время такая возможность появится на базе программного комплекса ПК СПТ Красноярск.