m_d_n (m_d_n) wrote in rabota_psy,
m_d_n
m_d_n
rabota_psy

Category:

Как оценить потенциал нового сотрудника?

Цитируем по книге:

Современная психодиагностика России. Преодоление кризиса: сборник материалов III Всероссийской конференции: в 2 т. / редколлегия: Н.А. Батурин (отв. ред.) и др. – Челябинск: Издательский центр ЮУрГУ, 2015. Т.1. – 380 с.

Со стр. 192-199


УДК 159.9-051 + 159.9:005
ББК Ю956.6

POTENTIAL IN FOCUS (PIF): КОМПЛЕКСНЫЙ ТЕСТ ОЦЕНКИ ПОТЕНЦИАЛА В ОРГАНИЗАЦИОННОМ КОНТЕКСТЕ

Лурье Е.В.1, Попов А.Ю.2
E-mail: Lurie@ecopsy.ru

1ЭКОПСИ Консалтинг, г. Москва

2Пермский государственный гуманитарно-педагогический университет, г. Пермь

Статья посвящена тесту Potential in Focus (PIF), разработанному ЭКОПСИ консалтинг для оценки профессионального потенциала. Описывается конструкт, лежащий в основе теста, и его операционализация. Приводятся актуальные результаты исследовательской программы, согласно которым взаимосвязь между шкалами PIF и данными, полученными в центре оценки, составляет 0,39 (p<0.001, n=751). Обсуждаются общие направления дальнейших исследований теста.

Ключевые слова: сотрудники, оценка персонала, профессиональный потенциал, обучаемость.

Менеджеров по персоналу неизменно интересует такая характеристика, как потенциал сотрудника. Принимая человека на работу, они хотят знать, насколько сильно он сможет «вырасти» в профессиональном плане через несколько лет. Принимая решение о формировании кадрового резерва, они хотят знать, насколько успешно сотрудник сможет справляться с решени-

192



ем задач более высокой должности. Проводя планирование карьерной траектории, хотят знать, каков оптимальный способ соединения людей и задач. Более того, «потенциальным» сотрудникам, как оказывается, отдается предпочтение перед уже состоявшимися сотрудниками (Tormala, Jia & Norton, 2012). Однако понятие «потенциал» относится к разряду понятий, которые очень популярны в повседневном употреблении, но очень размыты в операционализации.

Начиная с 2012 года, компания ЭКОПСИ Консалтинг разрабатывает и внедряет комплексный инструмент оценки потенциала – тест Potential in Focus (PIF). В этой короткой статье будет в общих чертах обрисован конструкт, лежащий в основе теста, ключевые результаты психометрических исследований, а также основные направления дальнейшего развития инструмента.

Тест Potential in Focus (PIF) является комплексным инструментом, построенным по модульному принципу. Он представляет собой батарею из 8 тестов, комплементарных друг другу с точки зрения прогноза успешности кандидата или сотрудника. В научном фундаменте теста лежит комплексная исследовательская программа.

В   соответствии с тем теоретическим подходом, который положен в основу инструмента, потенциал понимается нами как набор устойчивых характеристик сотрудника, которые прогнозируют его успешность в решении новых для него профессиональных задач в среднесрочной и долгосрочной перспективе.

В   тесте PIF оценивается четыре ключевых элемента, которые дают целостную характеристику потенциала сотрудника к продвижению, к расширению функционала или развитию: «Анализ», «Изменения», «Коммуникация» и «Драйв». Каждый из этих элементов, в свою очередь включает в себя 2 шкалы.

1. Блок «Коммуникация» (готовность к работе с людьми). Оценивается мотивация и способности участника в области работы с людьми: способность понимать намерения и интерпретировать поведение людей в разнообразных ситуациях, а также навыки влияния. Учитывается также мотивация участника к работе с людьми, в частности к работе на управленческих позициях.

1а. Шкала мотивации к лидерству. Шкала основана на конструкте лидерской мотивации Chan & Drasgow (2001), который предполагает разделение на три более частные субшкалы (Аффективная мотивация, Социаль-нонормативная мотивация, Отсутствие расчетливости) и который был исследован зарубежными авторами с точки зрения его прогностичности по отношению к будущей эффективности в роли руководителя. Аналогичные зарубежные инструменты показали свою состоятельность в рамках исследования взаимосвязей с результатами Центров оценки (Chan & Drasgow, 2001). Шкала представляет собой трехфакторный личностный опросник.

193



1б. Шкала «Понимание и влияние» является инструментом измерения способностей, точнее, «мягких навыков». Шкала основана на ряде концепций эмоционального и социального интеллекта (D.Goleman, K.Albrecht, H.Marlowe, OSullivan & Guilford, K.Jones & J.Day и др.), но особым образом акцентирует: (а) ситуации, не относящиеся напрямую к управлению людьми, но выражающие те же самые основные архетипичные вызовы, что и ситуации управления; (б) идею оценки управленческих качеств даже у тех кандидатов, у которых не было никакого управленческого опыта. Шкала представляет собой кейс-тест с форматом Ликертовской шкалы: респонденты оценивают каждый вариант действия внутри кейса с точки зрения его эффективности.

2.   Блок «Анализ» (готовность к работе с информацией). Оценивается скорость и качество обработки информации. В этом блоке представлены задания, требующие проявления разнообразных аналитических способностей. Для высокого результата необходима точность в обработке вербальной, числовой и абстрактной графической информации. Высокие баллы говорят также об умении сохранять концентрацию и работоспособность при высоком темпе работы с данными.
2а. Шкала скорости обработки информации включает в себя разнообразные по содержанию задания, связанные со скоростными характеристиками. Сюда входят задачи на вычисление, анализ вербального материала, задачи на пространственное мышление и устойчивость внимания. Среди близких по смыслу инструментов можно назвать тесты вербального и числового интеллекта разных авторов.

2б. Шкала качества обработки информации (критичности) содержит задания, оценивающие степень сформированности у респондента универсальных учебных операций. Шкала опирается на перечень универсальных учебных операций, описанный в Экспертном консенсусе США по критическому мышлению (Facione, 1990). С точки зрения концепции обучаемости, шкала характеризует эффективность и глубину в приобретении нового опыта в тех ситуациях, когда старый опыт способствует пониманию. Большой перечень универсальных учебных операций систематизирован в Экспертном консенсусе США по критическому мышлению (Facione, 1990). Похожая логика реализована в субтесте критического мышления теста GMAT – Graduate Management Admission Test (Killoran, 2005).

3.   Блок «Изменения» (готовность к развитию и изменениям). В данный блок входит и мотивационная составляющая – мотивация к развитию, и особый класс способностей – открытость мышления. Мотивация к развитию – это желание учиться и развиваться, менять представления о мире и работе. Это внутренний настрой на изменения и преодоление трудностей. Открытость мышления – это эффективное принятие решений в условиях неопределенности, способность рационально действовать, преодолевая


194



собственные стереотипы, способность перестраиваться и адаптироваться к новым условиям.

3а. Шкала мотивации к развитию представляет собой личностный опросник со шкалой Ликерта. Шкала выражает диспозиционную готовность к обучению, т.е. базовую личностную готовность к изменениям, преодолениям стереотипов и получению нового опыта. Среди некоторых близких по смыслу инструментов можно назвать следующие: Субшкала открытости к идеям (NEO-PR, Costa & McCrae, 1992), Субшкала открытости к ценностям (NEO-PR, Costa & McCrae, 1992), Шкалы догматизма (Rokeach, 1960), Шкала категоричности мышления из Теста конструктивного мышления (Epstein & Meier, 1989), Шкала контр-фактического мышления Stanovich & West (1997). Исследования Stanovich & West показывают, что эти шкалы коррелируют друг с другом и при факторизации объединяются в один фактор.

3б. Шкала открытости мышления в наиболее общем плане оценивает, способен ли респондент эффективно адаптировать старый опыт к новым условиям. Для этого исследуется поведение респондента в условиях наличия стереотипов – эвристик и когнитивных искажений. Способность к преодолению этих стереотипов и выступает как показатель открытости мышления. При некоторых условиях можно также интерпретировать эту шкалу как показатель гибкости, адаптивности. С точки зрения концепции обучаемости, шкала характеризует эффективность и глубину в приобретении нового опыта в тех ситуациях, когда старый опыт противоречит новым условиям. Данная шкала разработана на основе большого количества зарубежных научных исследований в сфере принятия решений в ситуации неопределенности (А.Тверски, Д.Канеман и их последователи).

4. Блок «Драйв» (готовность действовать и отвечать за результат). Данный элемент является базовым для любых видов профессиональной деятельности. Драйв – это целеустремленность, готовность достигать результата. Это качество является необходимым для того, чтобы дополнить остальные компоненты потенциала необходимой энергией.

4а. Шкала «Ориентация на результат» представляет собой опросник, в котором приблизительно поровну используются задания нормативного и нормативно-ипсативного типа. Такой состав шкалы позволяет оптимально сочетать преодоление тенденции к социальной желательности и компактность инструмента. Шкала выражает личностную установку участника на постановку перед собой амбициозных целей и сохранение энергии на пути их достижения. Хотя по ним и не проводится вычисление отдельных баллов, в целях поддержания достаточного уровня содержательной валидности в шкале сохраняются три смысловые манифестации – «амбициозность», «ответственность» и «настойчивость». Поскольку шкала представляет собой опросник, результаты по ней имеют отношение к личностным


195


установкам, отношениям и самооценке – т.е. в сочетании «хочу» и «могу» в рамках блока Драйв эта шкала относится к «хочу».

4б. Шкала «Преодоление барьеров» представляет собой лабиринтный тест. Она отражает склонность участника ставить перед собой серьезные цели и добиваться намеченного, несмотря на возникающие трудности. От предыдущей шкалы («Ориентация на результат») она отличается, прежде всего, тем, что здесь речь идет о реальном поведении при наличии риска проигрыша, т.е. «могу». Участники, набирающие высокие баллы по этой шкале, характеризуются тем, что они длительное время сохраняют высокий уровень трудности выбираемых задач, имеют высокий порог толерантности к периодическим неудачам и работают в собственной «зоне ближайшего развития». В основе лежит банк заданий, состоящий из простых арифметических задач, которые необходимо решать на время (одна минута на задачу).

Блоки «Анализ» и «Изменения» в совокупности образуют самостоятельный конструкт, называемый обучаемостью (learning agility). Продуктовая линейка ЭКОПСИ включает в себя тест обучаемости PIF LATe (learning agility test), который представляет собой сокращенную версию PIF.

При проектировании компонентов потенциала акцент был поставлен на рассмотрении современных мета-анализов и поиск показателей, наиболее прогностичных по отношению к эффективности профессиональной деятельности, в том числе в качестве руководителя. Основная выборка исследования на июль 2015 г. – 3702 человека. В основную выборку нормирования теста входят сотрудники компаний, работающих в сферах розничной торговли, FMCG, транспорта, B2B услуг, страхования, добывающей и перерабатывающей промышленности, энергетики, связи, химического производства.

По отношению ко всем шкалам описываемого инструмента проводились многоэтапные психометрические исследования. В типичном случае программа исследования выглядела следующим образом:

(а) Сначала обеспечивалась содержательная валидность шкалы. Для этого для всех шкал, которые не являются принципиально инновационными, проводилось содержательное сопоставление с теми аналогами, которые уже используются в практике оценки персонала. Так, например, в разработке шкалы критического мышления эксперты опирались на зарубежный опыт разработки субтеста критического мышления теста GMAT (Killoran, 2005). В разработке шкалы Открытость мышления использовался ряд наиболее изученных в западной психологии когнитивных искажений. Выбору этих искажений предшествовала исследовательская работа, в ходе которой из расширенного перечня (около 30 искажений) были выбраны 14– тех, по которым результаты проведенных нами исследований наиболее


196



точно совпали с данными авторитетных международных авторов (Попов, 2013, 2014).

(б) Затем шкала модифицировалась до тех пор, пока не достигались приемлемые показатели надежности по коэффициенту альфа Кронбаха. В целях предотвращения искусственной возгонки надежности соблюдался количественный состав заданий во всех субшкалах, входящих в шкалу. Так, например, шкала «Мотивация к лидерству» состоит из трех субшкал (Аффективная мотивация, Социально-нормативная мотивация, Отсутствие расчетливости). Субшкалы, однако, не используются как самостоятельные

– подсчет результатов и формирование интерпретации для клиента происходит только на основе суммарной шкалы. Уже при первичной проверке надежности оказалось, что простым способом увеличения надежности шкалы «Мотивация к лидерству» до весьма высоких значений является насыщение ее пунктами из субшкалы аффективной мотивации и удаление большого количества пунктов из двух других субшкал. Такие ситуации избегались. Во всех шкалах инструмента на текущий момент обеспечено содержательное разнообразие заданий за счет такого рода субшкал.

(в) Далее исследовались характеристики валидности, прежде всего, конструктной (корреляции с другими шкалами PIF, а также с другими инструментами оценки) и структурной (факторная структура заданий шкалы и степень ее соответствия теоретическому конструкту).

(г) Затем специальное внимание уделялось характеристикам критериальной валидности, что особенно важно в контексте организационной психологии.

Все результаты психометрических исследований описаны в техническом руководстве к тесу. Здесь же подробнее остановимся на ключевых характеристиках критериальной валидности.

Нами была изучена прогностическая способность компонентов обучаемости (при их объединении) по отношению к оценкам в Центрах оценки (ЦО). Для этого был проведен своеобразный мета-анализ: были собраны данные различных оценочных проектов, в которых использовались одновременно шкалы обучаемости PIF и Центры оценки, проведены необходимые процедуры выравнивания. Общая матрица данных в итоге включала в себя 751 участника и 23 различные компетенции. Самая часто используемая компетенция при этом – ориентация на результат (оценки в ЦО получены для 521 участника). По 12-ти компетенциям оценку прошли меньше 40 человек.

Особый интерес представляет корреляция суммарного балла обучаемости (блоки «Анализ» и «Изменения») с суммарным баллом по ЦО (итоговым оценочным рейтингом). Для разных оценочных проектов, вошедших в «мета-анализ», эта корреляция составила от 0.27 до 0.43 (p < 0.001). Это хороший результат, в целом соответствующий мировой практике. При этом известно, что максимальный эффект должен достигаться от объеди-

197



нения результатов ЦО и теста способностей. Они оценивают разные аспекты потенциала, взаимодополняя друг друга. Так, в наиболее цитируемом мета-анализе на эту тему указано, что прогностическая валидность ЦО со-ставляет 0.37, а при объединении этой информации с результатами выполнения теста способностей возрастает до 0.53 (Schmidt & Hunter, 1998).

В   среднем по всем проведенным проектам (n = 751) взаимосвязь между шкалами PIF и суммарным баллом, полученным участником в центре оценки, составила r = 0.39. В   практическом отношении это означает, что:

(а) При использовании инструмента в целях барьерометрии, т.е. отсева худших участников: 88% участников, прошедших отсев по PIF, действительно показывают средние или высокие показатели в ЦО.

(б) При использовании инструмента в целях отбора лучших участников: 87% участников, не набравших достаточные показатели в тесте PIF, действительно не попадают в группу «лучших» участников ЦО.

Помимо данных о взаимосвязях с результатами ЦО, для исследования критериальной валидности инструмента применялись также данные особого исследовательского проекта. В нем сокращенные шкалы из блоков «Анализ» и «Изменения» использовались внутри массовых онлайн-курсов (MOOC) на платформе Coursera. Этот исследовательский проект осуществляется совместно с НИУ «Высшая школа экономики» (г. Москва). На текущий момент обнаружились закономерности, говорящие о том, что все использованные шкалы связаны с параметрами успешности прохождения курса. На уровне суммарных показателей взаимосвязь (сокращенной версии) PIF learning agility и успешности прохождения курса на платформе Coursera составила 0.38 (r = 0.38, p < 0.001, n = 218).

Какова общая идея, лежащая в основе наших исследований? Во-первых, мы полагаем, что потенциал нужно отделять от текущих навыков и знаний. Потенциал – это совокупность «протокомпетенций», он должен проявляться даже тогда, когда у человека еще не было опыта деятельности в соответствующей сфере.

Во-вторых, мы считаем, что неправильно сводить потенциал только лишь к базовым когнитивным способностям, таким как интеллект. Несомненно, базовые когнитивные способности необходимы для достижения успеха, но, во-первых, их недостаточно, а во-вторых, во многих современных видах деятельности они не являются основным требованием. Помимо способности думать «быстро», современному сотруднику организации (и специалисту, и менеджеру) необходимо иметь способность думать «глубоко», а в некоторых ключевых ситуациях – думать «гибко», «открыто».

В-третьих, наш подход к проектированию комплексного теста потенциала заключается в балансе между «хочу» (личностными особенностями) и «могу» (способностями), и, как следствие, между опросниками и тестами. Каждый из четырех блоков инструмента включает в себя и то, и дру-

198



гое. В частности, блок «Изменения» включает в себя шкалу «Мотивация к развитию», характеризующую стремление, желание человека быть открытым к новому опыту и готовность меняться и переучиваться, а также шкалу «Открытость мышления», которая представляет собой тест способностей и характеризует его умение переучиваться, преодолевать собственные когнитивные стереотипы.

Полагаем, что дальнейшее развитие инструмента (и сопровождающей его комплексной исследовательской программы) позволит лучше понять закономерности развития потенциала сотрудника, в частности, его долгосрочную динамику.

Литература

1.   DeRue, D. S. Learning agility: In search of conceptual clarity and theoretical grounding / D.S. DeRue, S.J. Ashford & C.G. Myers // Industrial and Organizational Psychology: Perspectives on Science and Practice. – 2012. – V. 5. – P. 258–279.

2.   Dries, N. How to identify leadership potential: Development and testing of a consensus model / N. Dries & R. Pepermans // Human Resource Management. – 2012.

– V. 3. – P. 361–385.

3.   Meyers, M.C. Talent: Innate or acquired? Theoretical considerations and their implications for talent management / M.C. Meyers, M. van Woerkom & N. Dries // Human Resource Management Review. 2013. – V. 4. – P. 305–321.

4.  Nijsa, S. A multidisciplinary review into the definition, operationalization, and measurement of talent / S. Nijsa, E. Gallardo, N. Dries & L. Selsa // Journal of World Business. – 2014. – V. 2. – P. 180–191.

5.   Silzer, R. & Church, A. H. The pearls and perils of identifying potential. / R.Silzer & A. H. Church // Industrial and Organizational Psychology: Perspectives on Science and Practice. – 2009. – V. 2. – P. 377–412.
Tags: тест
Subscribe
  • Post a new comment

    Error

    Comments allowed for members only

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 0 comments