Тесты — важный и хороший инструмент самопознания. А современные технологии позволяют тотально обновить тесты и методики.
3 причины, по которым школьники любят тесты
- Для старших школьников, увлеченных самоидентификацией, каждый новый тест — это способ узнать о себе что-то новое, попробовать соотнести себя с какой-то группой, «своей стаей», найти свое место в классификации людей, названия для собственных конфигураций.
- Помимо ответа на вопрос «чем ты похож на других?», тесты позволяют найти и выделить «то, чем ты отличаешься от других», закрывают психологическую и возрастную потребность самоидентификации и самовыражения, поднимают значимость подростка в его собственных глазах, позволяют выделить его личность из общей массы сверстников и даже повысить самооценку. Опытные педагоги не раз замечали: если результаты теста у всех проходящих разные, — тесты вызывают большое воодушевление даже при несовпадении ответов с реальностью и ощутимом идиотизме формулировок.
- Тесты — это легкий инструмент, дающий простые (хоть и поверхностные) ответы на сложные вопросы. Здесь «все ответы правильные», и это просто приятно школьнику.
Для старших подростков любой тест становится как минимум инициирующим, помогающим на пути самопознания, если выдает «индивидуальные» ответы.
Природа упрощенности тестов
Большинство тестов пришли к нам из прошлого века, когда главным ограничением была ручная обработка их результатов. Необходимо было быстро обработать большое количество тестов и дать понятный результат. Поэтому востребованы были короткие тесты и опросники, построенные на обобщениях. Сама природа ручной обработки не давала возможностей для многофакторного анализа со сложной системой взвешивания параметров, подсчета корреляций, а тем более для динамического изменения веса параметра в зависимости от полученной комбинации ответов. С появлением персонального компьютера пришло время тотально обновить тесты и методики. Как можно сделать?
Измерение не ситуации, а динамики
Мы можем победить низкую валидность тестов, перестав брать во внимание результат теста самого по себе, в абсолютном виде. Перейти от замера «абсолютного» результата теста — к результатам анализа динамики между тестами. Значимыми данными должны стать различия между двумя ответами, разнесенными во времени. Они показывают вектор изменений — направленность и силу.
Представим себе подростка — молодого развивающего человека, интересы которого динамично меняются. Наша задача — помочь ему поскорее разобраться в возникшем интересе и предложить смежные. Чем быстрее он пройдет этап знакомства с новой областью интересов, тем быстрее он решит — погружаться в нее или посмотреть на три новых других. Чем разностороннее будет его опыт — тем более универсальной будет личность.
Допустим, наш подросток занимался математикой и информатикой, но ничего не знал про инженерию. Ему интересно это направление, у него есть отличный потенциал – но тест выявит его глубокое знание математики и нулевые «инженерные знания». Разумеется, программы-интерпретаторы порекомендуют ему стать программистом. Логично, да?
Если бы мы ориентировались не на «абсолютные» результаты теста, а использовали систему частых «мягких замеров», то анализ динамики показал бы, что тестируемый сверхактивно, по сравнению с А) другими своими интересами и Б) средней интенсивностью динамики интересов сверстников, интересуется инженерным делом.
Программа-интерпретатор предложила бы совершенно иную траекторию, чем программа, видящая только «абсолютный результат», − включив инженерию в список возможностей. Конечно, увидеть изменение интересов можно и с помощью двух «обычных» тестов, разнесенных во времени. Но чтобы интерпретировать характер, скорость и направленность изменений и на основе этого предложить дальнейшую траекторию – нужна надстройка над собственно тестом, которая будет инструментом сопровождения пользователя в течение длительного времени. Аналогично обстоят дела с выявлением личных качеств, психологических особенностей, IQ, физических способностей, … — любой единичный срез измеряет «прошлое», и тем самым больше похож на информационный мусор. Ближе к реальности замер срезов с увеличением точности прогноза пропорционально числу замеров.
Описываемая программа проходит апробацию на базе цифровой профориентационной платформы «Навигатум».
Разнообразие тестов и методик
Использование различных тестов, опирающихся на разные методики, даст более многогранный и точный портрет личности. Это похоже на вычисление числа Пи Архимедом: он шаг за шагом увеличивал количество сторон многоугольника, вписанного в круг, и тем самым приближался к все более точному значению пи. Хотя люди, как и трансцендентные числа, до конца непостижимы.
Для сведения результатов разных тестов в одну систему потребуется надсистема, формирующая единую интерпретационную модель. Ее главной задачей будет не разрушить суть используемых методик, а сохранить возникающий многогранный портрет личности, обойдя внутренние противоречия в общей интерпретационной картине.
Хотим заметить, что именно области, в которых возникает противоречивая картина, наиболее важны для анализа и должны стать основой для определения веса корректирующих параметров при построении рекомендательных траекторий. К примеру, методика построения компетентностной модели личности Г. В. Резапкиной включает 15 различных диагностических систем, — все вместе они дают емкое, многомерное представления о человеке.
Технология адаптивных интерактивных тестов
Требуется перейти на технологию адаптивных тестов, в которых архитектура вопросов динамически перестраивается в зависимости от получаемых ответов пользователя. Модель такого теста включает первый этап, одинаковый для всех, на котором определяются основные векторы, после чего вопросы (кейсы) индивидуально формируются на основе получаемых ответов.
Какие выгоды мы получим от использования адаптивных интерактивных тестов?
1) Адаптивные тесты позволяют сфокусировать проверочные вопросы на проявления тестируемых качеств, а не распыляться по всем направлениям, включая заведомо отсекаемые. Это позволит усилить блок проверочных вопросов, чего нельзя делать в «обычном» тесте, так как это приведет к его необоснованному раздуванию. Дополнительные проверочные вопросы повысят валидность теста.
2) Есть возможность соединить вместе так называемые «грубые» тесты с «тонкими». На примере типов Климова: не каждый тип техники подходит для «Человек — Техника» и не каждая категория знаков — для «Человек — Знаковая система». Но можно выявить направленность на 1-2-3 основных типа, после чего переключиться на их детализацию. Получить более качественный результат, и на его основе предлагать более качественные стратегии поведения.
3) Появится возможность за время, обычно отводимое на одно тестирование, получить результаты трех, при этом не раздражая пользователя нерелевантными вопросами. Внутри углубляемого интерактивного теста по-прежнему имеются проверочные вопросы общего уровня, которые могут «зацепить» другие траектории направленности личности и отправить пользователя по новым веткам теста.
Методики кейсовых и проективных тестов
В прошлой статье мы говорили о том, что школьники категорически не приемлют вопросы, «загоняющие в угол». Нельзя адекватно выбирать между «быть монтажником» и «быть слесарем», между «быть композитором» и «быть художником». Существует большое количество иных способов определить и качества, и мотивы, и паттерны мышления.
Отлично работают кейсовые методики (ситуационные вопросы «Как ты поступишь, если…»), — но очень важно, чтобы они опирались на реальный жизненный опыт, соответствовали возрасту и языку своей аудитории.
Для определения ценностей и мотивов отлично подходит проективная методика, в которой пользователь осуществляет выбор за персонажа (или между персонажами).
В будущем, используя инструменты распознавания смысла текста (лингвистическая онтология в программировании), можно будет добавить в тесты возможность открытых ответов: в этом случае снимутся глобальные внутренние возражения пользователя, появится возможность качественно нового диалога между системой диагностики и человеком.
Новые форматы диагностики
Во-первых, следует уйти от концепции тестирования «в лоб», с четко заданными границами «старта» и «завершения» теста, неизменным числом вопросов, а также ограничением/подсчетом времени, отводимого на выполнение заданий. Тесты можно «растворить» внутри среды, сделать частью образовательного или развлекательного пространства, в котором находится пользователь.
Самый простой вариант — «интерактивные книжки», когда читатель прочитывает фрагмент сюжетной истории (соответствующей его интересам), после чего выбирает продолжение из имеющихся вариантов, и так повторяется до конца книги, которую можно дочитать, а можно и бросить в любой момент. Точками бифуркации в интерактивной книге могут быть разные варианты событий, оценочные суждения, стратегии поведения персонажей, ролевая смена действующего лица, от имени которого идет изложение, и еще более трех десятков приемов, что дает гибкие возможности разработчикам теста. В подобный формат могут войти задачи, предназначенные для оценки качеств или знаний, часто относимых к хардскиллс: инженерное мышление, логика, коммуникативные навыки и другие.
Вместо книги можно использовать аналогичный интерактивный фильм, компьютерную игру — или офлайновую, привязанную к мобильному приложению, в которой пользователь «прокачивает» персонажа, перемещаясь по городу, выполняя какие-то миссии и при этом постоянно делая выбор и проявляя различные качества. Такие игры могут быть серьезными и образовательными, а могут выглядеть как развлекательные, что позволяет использовать их для разных возрастных групп.
Второе, что мы предлагаем, — растворить тест во времени. Отказаться от идеи проведения теста в заданный момент. Все время, проведенное в цифровом пространстве, когда пользователь работает, учится, получает информацию, может стать частью теста. Незаметное «мягкое тестирование» может быть частью профпроб в самом эффективном формате. Перевод теста в реальную жизнь и цифровую среду позволяет воссоздать настоящий непрерывный ассессмент-центр, — а это наилучший способ любого отбора с большим отрывом от других методик по степени эффективности.
Реализация теории
Мы решили разработать продукт, использующий две инновационных идеи: перенести ассессмент-центр в создаваемую компьютерную среду, в которой пользователь проводит значимое количество времени (получая смешанный контент образовательного и развлекательного характера), и при этом использовать все современные технологии диагностики.
В создаваемой нами системе это реализовано следующим образом:
— Серия тестов собирает данные о пользователе: образование, заболевания, желания, интересы, склонности и так далее.
— Вторая серия диагностики – с учетом собранных ранее данных: на нацеленность и направленность, на уровень притязаний (амбиций), на осознанность, на психологические особенности («процесс или результат», «стремление или избегание» и так далее), на предпочитаемые условия труда, на ценности и мотивацию, на профессионально важные качества (ПВК), на «способности» (интеллект, творчество, техническое мышление, и т.д.), — углубление данных о склонностях и интересах.
Есть свои «фишки» и в форме тестирования. Нам было важно, чтобы пользователь мог проранжировать, что ему важнее, чтобы он сам определял, мы тестируем в первую очередь совпадение профессионально важные качеств совпадали с личными (чтобы работать было легко и в удовольствие), или чтобы как приоритетные учитывались иные интересы и мотивы («профессия мне не очень подходит, но я очень хочу этим заниматься» — тогда надо только убедиться, что это осознанный выбор).
Второй момент — «двойное обратное тестирование» ПВК. Мы смотрим, насколько человек «подходит» к профессиям, отсеивая и ранжируя их. А затем «примеряем» оставшиеся в приоритетной части списка к склонностям и желаниям самого человека. Таким образом, сначала мы получаем список профессий, в которых человек мог бы успешно работать (с точки зрения работодателя — эффективно выполнять задачу), а после обратной итерации — список профессий, которые могли бы совпасть с внутренними потребностями тестируемого (то есть смотрим на подбор уже глазами работника, желающего заниматься тем, что ему по душе).
Если пользователь примерно уже примерно представляет, чем хочет заниматься и кем быть, то тестируются только те ПВК, которые реально задействованы в этой профессии (или отсутствие которых необходимо для успешной работы). Всего профессионально важных качеств, значимых для профориентации — более сотни. Но для бухгалтера нет смысла тестировать синхронную координацию рук и ног, — а для пианиста или водителя стоит это сделать.
А если пользователь не знает, кем быть, но знает, чего НЕ хочет — мы можем отсечь ряд профессий на первом уровне тестирования в соответствии с его запросами и медицинскими противопоказаниями. Например, убрать все профессии, связанные с ремонтом, работу с техникой, все «сложные» профессии, для освоения которых нужно «долго и нудно» учиться. Вычеркивая однозначно «неинтересное» сразу, мы избавляем пользователя от ненужного тестирования.
Формула
Формула профориентационного тестирования от «Навигатум» работает примерно так:
- Дается краткая сводка реальной ситуации на рынке труда и рынке образования с учетом регулярной обработки машинными алгоритмами результатов мониторинга этих рынков. Эти данные позволяют анализировать актуальность и стоимость разных видов работ. Затем начинается само тестирование.
- Сначала отсекаются заведомо неподходящие профессии. Отсекать их можно многофакторно: по медпоказаниям, по осознанным желаниям, а также по мотивам труда — скажем, тем, кто идет только за деньгами, противопоказана работа в медицине, полиции, образовании. На этом этапе пользователь может открыто настроить ИИ согласно своим приоритетам, указать, чего он хочет (если он уже знает ответ на этот вопрос) и чего он не хочет.
- Затем идет ранжирование профессий по ПВК в формате двойного обратного рейтинга соответствия, описанного выше.
- За «грубой» сортировкой следует «тонкая». Интересы и мотивы как «лучи света» высвечивают наиболее подходящие профессии из приемлемых (по рейтингу). Чем сильнее хочет человек заниматься чем-то нужного ему типа — тем выше соответствующая профессия в его внутреннем рейтинге.
- На этом этапе необходима проверка реалистичности представлений человека о профессии и о себе. Она проходит синхронно с «фильтрацией» профессий во внутреннем рейтинге.
- В финале тест выдает пользователю адекватную информацию о максимально «подходящих» ему лично профессиях и видах деятельности.
Мы искренне верим, что в новой информационной реальности и тесты должны быть именно такими, — динамичными, лояльными к интересам тестируемого, «просчитываемыми» с помощью возможностей искусственного интеллекта и по-настоящему информативными.
Антон Смирнов, Инна Бартош, образовательный проект «Навигатум»
