tl;dr – нет одного ответа, нужно проснить позицию и способы оценки 2 и 3 пункта и смотреть не на всех студентов в целом, а по сегментам.
Почему так?
- Надо определить, с чьей стороны смотрим — хороший курс для методиста, студента, продакта и лидера направления, в которых входит курс, могут быть совсем разными курсами, которые оценивают по разным метрикам и разными способами (хотя и должны пересекаться в ключевых штуках вроде достижения целей студентов).
- Сторона, с которой смотрим на курс, определяет в том числе и то, что считаем эффективностью курса, как и когда оцениваем. Для кого-то это процент трудоустройств (если курс был на это направлен), для кого-то «пятёрки» на экзамене, для кого-то исправление проблем в рабочем перфомансе (если это корп.курс для улучшения перфоманса). При этом какие-то метрики («пятёрки») проще замерить, чем другие («трудоуствойства»), потому что они и по времени входят в рамки курса, и влияет на них меньше факторов (=проще выделить, насколько именно курс на это повлиял).
- Курс может нравится пользователям по совершенно разным причинам даже при том, что они не достигли с его помощью важных для них целей в моменте (а иногда их и нет).
- Люди склонны менять до какой-то степени своё отношение под действием обстоятельств. Например, в университете мне жутко не нравился курс по философии — очень пространной темой казался 17-летнему первокурснику программы по медиаменеджменту. Но пару месяцев назад, когда Россия начала войну, мне очень потребовалось то, о чём в курсе говорили, чтобы как-то самому отрефлексировать вину, ответственность и вот это всё. Я начал что-то перечитывать из курса, вспоминать что-то оттуда и понял, что классный был курс.
Посмотрим на примерах
Из-за комбинации этих пунктов мы можем получить, например, такое:
- курс для перехода в новую профессию части студентов не очень понравился, потому что показался сложным и с жёстким контролем → при этом спустя пару месяцев бОльшая часть трудоустроилась, потому что этот контроль помог достаточно изучить нужное → при этом из-за этого контроля и сложности часть студентов отвалилась → хороший ли был курс?
- «Спринт мечтаний» ≈курс о том, как правильно мечтать. Люди идут туда, что стать богатыми и счастливыми ничего не деляя. Там относительно харазматичный ведущий, а часть аудитории склонна доверять таким штукам/уже достаточно отчаялась → На выходе из курса никто не стал вдруг богатым (без усилий по крайней мере) → При этом часть студентов_ок очаровалась спикером и очень довольны даже без результатов, а часть и без результатов и посчитали, что им булшит за 20000 нарассказывали → хороший ли был курс?
Это подводит нас к 5 пункту — мне кажется, нужно смотреть на разные сегменты аудитории в отдельности и глубже, если мы хотим ответить на вопрос «А не фигню ли я сделал?». Сегменты можно брать по разным значениям метрик (например, самое простое «Не понравилось», «Никак», «Понравилось» или «Трудоустройлся_ась сразу/спустя 3 месяца/спустя полгода и более») и уже смотреть, какие другие показатели у этих групп есть.