Почему школьники считают, что профориентационные тесты – это разновидность гороскопов?
Школьники любят тесты. Но не относятся всерьез к их результатам, трактуя скорее как забавное развлечение типа гороскопов. А все из-за того, что часто результаты тестов не имеют никакого отношения к реальности. Плохие тесты подрывают репутацию всего жанра. Но что такое «плохие тесты»? Опишем 5 ошибок, которые делают составители тестов.
В 2015-2017 годах в рамках исследовательских проектов «Навигатум» были проведены свыше сотни интервью и массовых анонимных онлайн-опросов школьников средних и старших классов. Мы опираемся на результаты этого исследования.
Ошибка 1. Вопрос непонятен
Вопрос, понятный составителю тестов – не то же самое, что вопрос, понятный школьнику. У ребенка нет ни опыта, ни понимания и знания упоминаемых профессий. Даже самых простых.
Что делает «оператор связи»? В названии этой профессии есть два знакомых школьникам слова: «оператор» (видеооператор, оператор дрона) и «связи» (сотовой, социальной). На стыке – простор для фантазии.
Кто такой логистик? Лаборант? Чем занимается санитарный врач? Что значит «заготовитель»? Чем торгует торговый агент? Что ежедневно делает лингвист?
Иногда школьникам предлагается в тесте выбрать место работы: фабрика, лаборатория или госпиталь? Но у каждого ученика в классе собственное представление о том, что такое «лаборатория». Для кого-то это нечто из мира высоких технологий. Для другого − что-то вроде мастерской безумного ученого, где в клетках бьются животные, а в колбах варится зелье. Аналогично с фабриками — детям представляется красочная картинка из фильма: тысячи человек вдоль ленты конвейера, штампующие гигантские прессы среди узких подмостков над ковшами с кипящим металлом… Так ли это на самом деле?
Ну, а куда уводят рассуждения учеников, когда в тесте их просят оценить, любят ли они «следить за показателями», «управлять», «исследовать и анализировать», «консультировать и давать советы», «развивать собственные способности» и «использовать силу своего тела»…
Ни один школьник не признается в том, что он не понимает, что такое «следить за устройствами» или «делать что-то руками», или «управлять». Ведь все слова знакомые, но в контексте задаваемого вопроса ты понятия не имеешь, что имеется в виду.
Возможно, школьник представляет себе, как он «консультирует» одноклассников и «следит» за неведомыми приборами. Но это вряд ли это позволит понять, подойдет ли ему та деятельность, которую имели в виду взрослые создатели теста.
Ошибка 2. Выбор из двух вариантов
У школьников тесты с вопросами, предполагающими выбор из двух вариантов, вызывают раздражение. Нельзя адекватно выбирать между «быть монтажником» и «быть слесарем», так же, как и между «быть композитором» и «быть художником».
Впрочем, с тремя вариантами не сильно проще. Если мне предлагают экскурсии, экстрим и совсем непонятное школьнику «деловое общение», а я хочу лежать на пляже и ходить в походы по горам?
Что делать, если тебя категорически не привлекает ни один из вариантов? В наших исследованиях 65% учеников выбирали ответы по принципу «наименьшего зла»: то, что наименее бесит. А после какого-то особо раздражающего вопроса, где категорически не нравится ни тот, ни другой вариант, начинали в следующих вопросах просто тыкать наугад в любой вариант ответа, не читая. Какой смысл стараться, если результат все равно будет не про тебя?
Вдобавок 35% школьников делают выбор по престижности профессии. Из двух вариантов они выбирают тот, которым им известен, а если оба варианта понятны, − наиболее престижный.
Ошибка 3. Попытка переупростить сложное
В основе теста лежит идея, что профессию можно описать однозначной характеристикой или набором таких характеристик. Но профессии состоят из разных задач. В отличающихся рабочих обстоятельствах эти задачи меняются. Современный работник выполняет сотни производственных операций, которые относятся в различным видам деятельности: исполнительная и организационная, непосредственная и опосредованная, умственная и физическая, рутинная и творческая, субъектная и объектная, и так далее.
Как раскладывать профессию на производственные задачи? Если в профессии требуется 90% деятельности одного типа и 10% другого типа, значит ли это, что при отсутствии склонности к этим 10% их не надо будет выполнять профессия тестируемому подходит? В каком случае, совмещая параметры человека и профессии, мы считаем их подходящими, а в каком – нет? (Подробные примеры профессий, видов деятельности, анализируемых параметров и возникающих вопросов можно найти в рабочих материалах исследовательского проекта «ПВК» от «Навигатум»).
Составители тестов невольно примитивизируют работу внутри профессии. Что сказывается на достоверности тестов.
В попытке говорить о мотивации аналогичные ловушки. Если речь заходит об абстрактных понятиях («что тебе важно?»), подростку может быть совершенно непонятно, что такое «социальный статус»? Как конкретно может быть важно «чувство долга» или «моральные принципы»? Что скрывается за словом «самореализация»?
Ошибка 4. Люди слишком разные
В зависимости от ситуации человек ведет себя по-разному. Днем на работе он может быть молчалив и замкнут, вечером дома − эмоционален и красноречив; в одной компании не проявляет предпринимательских талантов, а в другой оказывается смекалистее и предприимчивее любого тризовца; сейчас он хочет читать, и чтоб его не трогали, а завтра ему нужны события. Тесты обращаются к одному жизненно-социальному опыту человека, а результат переносят на другой. Они выясняют, как вы ведете себя на вечеринках, чтобы сделать предположение, как вы будете себя вести в рабочей среде.
В итоге результат профориентационного теста не всегда можно отличить от результата теста «Ваш характер по знаку Зодиака», с теми же оборотами «может быть» (а может не быть).
И что же получается?
Профессии формализовать сложно. Работников формализовать сложно. Неужели нужно смириться с «гороскопичностью» тестов?
К счастью, современные технологии дают возможность для многофакторного анализа со сложной системой взвешивания параметров, а тем более динамичного изменения веса параметра в зависимости от полученной комбинации ответов. Компьютеры позволяют тотально обновить тесты и методики.
Как это сделать – мы расскажем отдельно.
Антон Смирнов, Инна Бартош, разработчики профориентационного проекта «Навигатум»
