Современная психодиагностика России. Преодоление кризиса: сборник материалов III Всероссийской конференции: в 2 т. / редколлегия: Н.А. Батурин (отв. ред.) и др. – Челябинск: Издательский центр ЮУрГУ, 2015. Т.1. – 380 с.
Со стр. 331-335
УДК 159.9-051.07
ББК Ю956.64 + Ю725.664.4
РАЗРАБОТКА КЕЙС-ТЕСТОВ ДЛЯ ОЦЕНКИ ПЕРСОНАЛА
Шатров Ю.И., Лурье Е.В.
E-mail: shatrov@ecopsy.ru
ЭКОПСИ Консалтинг, г. Москва
Статья является введением к мастер-классу, посвящённому разработке кейс-тестов в оценке персонала. В статье приводятся данные об используемости кейс-тестов организациями и практике их разработки зарубежными и отечественными исследователями. Описываются преимущества метода кейс-тестов, а также его недостатки и возможные способы их преодоления.
Ключевые слова: оценка персонала, кейс-тесты, разработка тестов.
Анализ современной практики оценки персонала показывает, что одним из наиболее используемых и широко разрабатываемых инструментов тестирования является метод кейс-тестов, в зарубежной литературе получивший название «situational judgment test» или «low-fidelity simulation».
По своей форме кейс-тесты представляют собой набор заданий, каждое из которых состоит из описания рабочей ситуации и списка возможных действий в ней. Ситуации могут быть представлены в текстовом, видео или даже имитационно-игровом формате, в последнем случае принимая вид стандартизированной компьютерной игры от первого лица.
Согласно данным исследования CEB SHL о глобальных тенденциях в оценке, 43% компаний используют кейс-тесты в процессе отбора внешних кандидатов (SHL, 2014а). За последние пять лет данный показатель вырос
331
ББК Ю956.64 + Ю725.664.4
РАЗРАБОТКА КЕЙС-ТЕСТОВ ДЛЯ ОЦЕНКИ ПЕРСОНАЛА
Шатров Ю.И., Лурье Е.В.
E-mail: shatrov@ecopsy.ru
ЭКОПСИ Консалтинг, г. Москва
Статья является введением к мастер-классу, посвящённому разработке кейс-тестов в оценке персонала. В статье приводятся данные об используемости кейс-тестов организациями и практике их разработки зарубежными и отечественными исследователями. Описываются преимущества метода кейс-тестов, а также его недостатки и возможные способы их преодоления.
Ключевые слова: оценка персонала, кейс-тесты, разработка тестов.
Анализ современной практики оценки персонала показывает, что одним из наиболее используемых и широко разрабатываемых инструментов тестирования является метод кейс-тестов, в зарубежной литературе получивший название «situational judgment test» или «low-fidelity simulation».
По своей форме кейс-тесты представляют собой набор заданий, каждое из которых состоит из описания рабочей ситуации и списка возможных действий в ней. Ситуации могут быть представлены в текстовом, видео или даже имитационно-игровом формате, в последнем случае принимая вид стандартизированной компьютерной игры от первого лица.
Согласно данным исследования CEB SHL о глобальных тенденциях в оценке, 43% компаний используют кейс-тесты в процессе отбора внешних кандидатов (SHL, 2014а). За последние пять лет данный показатель вырос
331
практически вдвое – в 2009 году он был равен 23% (Previsor, 2009). Метод кейс-тестов также находит применение в оценке действующего персонала
– 34% крупных североамериканских компаний используют его в оценке потенциала своих сотрудников (Church & Silzer, 2013). В целом, усовер-шенствование метода кейс-тестов названо одной из трех ключевых тен-денций в современной практике подбора [3].
Метод кейс-тестов интересен не только практикам, но и научному сообществу. За последние 25 лет данному методу было посвящено 336 статей (дата обращения к базе Web of Science: 22 июля 2015 года), 14 метаанализов, 7 обзоров и 2 хрестоматии. При этом следует учитывать, что научных работ в этой области по факту значительно больше. Это связано с тем, что кейс-тесты зачастую являются внутрикорпоративной разработкой и поэтому не публикуются в какой-либо научной периодике [1].
Интерес к кейс-тестам со стороны практиков и исследователей связан с несколькими важными преимуществами данного метода:
1. Высокий уровень очевидной валидности и, как следствие, позитивное восприятие респондентами
Поскольку в качестве стимульного материала в заданиях кейс-теста используются рабочие ситуации, респонденты отмечают высокую степень соответствия данного метода своей профессиональной деятельности. Так, по результатам метааналического исследования восприятия респондентами массовых инструментов отбора, кейс-тесты находятся на втором месте по критерию очевидной валидности (Anderson, Salgado & Hülsheger, 2010).
Кейс-тесты, предъявляемые в видео-формате, обладают ещё более высокой очевидной валидностью (Richman-Hirsch, Olson-Buchan & Drasgow, 2000).
А наибольшей среди всех форматов обладают имитацинно-игровые кейс-тесты (Laumer, Eckhardt & Weitzel, 2012).
2. Относительная устойчивость к социальной желательности и иным мотивационным искажениям.
Согласно исследованиям, установка на социально-положительное про-хождение кейс-теста не дает каких-либо преимуществ респондентам в сравнении с «честной» группой (Kanning & Kuhne, 2006). То есть высокие итоговые баллы по кейс-тестам с примерно равным шансом получают и респонденты с инструкцией на социально-желательные ответы, и те, кто следуют инструкции отвечать честно.
Также было выявлено, что действующие сотрудники получают более высокие результаты по кейс-тестам, чем соискатели (MacKenzie, Ployhart, Weekly & Ehlers, 2010). Это подтверждает устойчивость кейс-тестов к со-циальной желательности, т.к. указывает на зависимость результатов от профессиональных знаний и способностей, а не от каких-либо мотиваци-онных факторов.
Наконец, есть эмпирические свидетельства в пользу того, что кейс-тесты более устойчивы к эффектам научения (coaching) по сравнению с те-
332
– 34% крупных североамериканских компаний используют его в оценке потенциала своих сотрудников (Church & Silzer, 2013). В целом, усовер-шенствование метода кейс-тестов названо одной из трех ключевых тен-денций в современной практике подбора [3].
Метод кейс-тестов интересен не только практикам, но и научному сообществу. За последние 25 лет данному методу было посвящено 336 статей (дата обращения к базе Web of Science: 22 июля 2015 года), 14 метаанализов, 7 обзоров и 2 хрестоматии. При этом следует учитывать, что научных работ в этой области по факту значительно больше. Это связано с тем, что кейс-тесты зачастую являются внутрикорпоративной разработкой и поэтому не публикуются в какой-либо научной периодике [1].
Интерес к кейс-тестам со стороны практиков и исследователей связан с несколькими важными преимуществами данного метода:
1. Высокий уровень очевидной валидности и, как следствие, позитивное восприятие респондентами
Поскольку в качестве стимульного материала в заданиях кейс-теста используются рабочие ситуации, респонденты отмечают высокую степень соответствия данного метода своей профессиональной деятельности. Так, по результатам метааналического исследования восприятия респондентами массовых инструментов отбора, кейс-тесты находятся на втором месте по критерию очевидной валидности (Anderson, Salgado & Hülsheger, 2010).
Кейс-тесты, предъявляемые в видео-формате, обладают ещё более высокой очевидной валидностью (Richman-Hirsch, Olson-Buchan & Drasgow, 2000).
А наибольшей среди всех форматов обладают имитацинно-игровые кейс-тесты (Laumer, Eckhardt & Weitzel, 2012).
2. Относительная устойчивость к социальной желательности и иным мотивационным искажениям.
Согласно исследованиям, установка на социально-положительное про-хождение кейс-теста не дает каких-либо преимуществ респондентам в сравнении с «честной» группой (Kanning & Kuhne, 2006). То есть высокие итоговые баллы по кейс-тестам с примерно равным шансом получают и респонденты с инструкцией на социально-желательные ответы, и те, кто следуют инструкции отвечать честно.
Также было выявлено, что действующие сотрудники получают более высокие результаты по кейс-тестам, чем соискатели (MacKenzie, Ployhart, Weekly & Ehlers, 2010). Это подтверждает устойчивость кейс-тестов к со-циальной желательности, т.к. указывает на зависимость результатов от профессиональных знаний и способностей, а не от каких-либо мотиваци-онных факторов.
Наконец, есть эмпирические свидетельства в пользу того, что кейс-тесты более устойчивы к эффектам научения (coaching) по сравнению с те-
332
стами способностей (Cullen, Sackett & Lievens, 2006). Эффект научения – это целенаправленное улучшение результатов с помощью знаний о методе или конкретной методике тестирования.
Также они более устойчивы к эффектам повторного прохождения, чем тесты способностей и тесты знаний (Lievens, Buyese & Sackett, 2005). Эффект повторного прохождения, или эффект ретеста, – это улучшение результатов прохождения методики в случае её многократного заполнения.
3. Удовлетворительный уровень критериальной валидности – от 0,19 до 0,43 в зависимости от измеряемых характеристик (Christian, Edwards & Bradley, 2010).
Средний нескорректированный коэффициент корреляции кейс-тестов с рабочей эффективностью равен 0,26 (McDaniel, Hartman, Whetzel & Grubb, 2007), что выше даже скорректированного показателя критериальной ва-лидности личностных опросников – 0.22 (Schmidt, Oh, I – S & Shaffer, 2013).
Согласно двум исследованиям Lievens и его коллег, кейс-тесты дают долгосрочный прогноз эффективности сотрудников. Так, в одном исследовании был выявлен эффект повышения валидности кейс-теста с течением времени (Lievens et al., 2005), а в другом доказана прогностическая способность результатов кейс-теста спустя 9 лет после его прохождения (Lievens & Sackett, 2012). Это дает основания предполагать, что специальным образом сконструированные кейс-тесты измеряют потенциал сотрудников.
4. Прирост валидности даже в случае использования вместе с тестами способностей и опросниками, измеряющими «Большую пятерку» (инкре-ментная валидность).
Инкриментная валидность кейс-тестов составляет 4% в случае, если первоначально применённый инструмент – тест способностей, и 7% – если это личностный опросник. В случае совместного использования тестов способностей и личностных опросников кейс-тесты увеличивают суммарную валидность на 2% (McDaniel, Hartman, Whetzel & Grubb, 2007). Существует и отечественное исследование, которое подтверждает эти данные (Попов, Лурье, 2012). Также в нём показана существенная инкриментная валидность одной из разновидностей кейс-тестов – имитацинно-игрового кейс-теста, или инбаскет-методики.
Вопреки описанным преимуществам, в России применение кейс-тестов носит ограниченный характер – только 20% компаний стран СНГ используют их в процессах найма сотрудников (SHL, 2014b). Конструирование нового кейс-теста – событие ещё более редкое для России. Об этом свидетельствует крайне малое количество отечественных методик, о которых есть информация в научной периодике (Алтухов, 2014а; Алтухов, 2014b; Лурье, 2010a; Попов, Лурье, 2012; Шмелев, 2005). Ещё один показатель –
333
Также они более устойчивы к эффектам повторного прохождения, чем тесты способностей и тесты знаний (Lievens, Buyese & Sackett, 2005). Эффект повторного прохождения, или эффект ретеста, – это улучшение результатов прохождения методики в случае её многократного заполнения.
3. Удовлетворительный уровень критериальной валидности – от 0,19 до 0,43 в зависимости от измеряемых характеристик (Christian, Edwards & Bradley, 2010).
Средний нескорректированный коэффициент корреляции кейс-тестов с рабочей эффективностью равен 0,26 (McDaniel, Hartman, Whetzel & Grubb, 2007), что выше даже скорректированного показателя критериальной ва-лидности личностных опросников – 0.22 (Schmidt, Oh, I – S & Shaffer, 2013).
Согласно двум исследованиям Lievens и его коллег, кейс-тесты дают долгосрочный прогноз эффективности сотрудников. Так, в одном исследовании был выявлен эффект повышения валидности кейс-теста с течением времени (Lievens et al., 2005), а в другом доказана прогностическая способность результатов кейс-теста спустя 9 лет после его прохождения (Lievens & Sackett, 2012). Это дает основания предполагать, что специальным образом сконструированные кейс-тесты измеряют потенциал сотрудников.
4. Прирост валидности даже в случае использования вместе с тестами способностей и опросниками, измеряющими «Большую пятерку» (инкре-ментная валидность).
Инкриментная валидность кейс-тестов составляет 4% в случае, если первоначально применённый инструмент – тест способностей, и 7% – если это личностный опросник. В случае совместного использования тестов способностей и личностных опросников кейс-тесты увеличивают суммарную валидность на 2% (McDaniel, Hartman, Whetzel & Grubb, 2007). Существует и отечественное исследование, которое подтверждает эти данные (Попов, Лурье, 2012). Также в нём показана существенная инкриментная валидность одной из разновидностей кейс-тестов – имитацинно-игрового кейс-теста, или инбаскет-методики.
Вопреки описанным преимуществам, в России применение кейс-тестов носит ограниченный характер – только 20% компаний стран СНГ используют их в процессах найма сотрудников (SHL, 2014b). Конструирование нового кейс-теста – событие ещё более редкое для России. Об этом свидетельствует крайне малое количество отечественных методик, о которых есть информация в научной периодике (Алтухов, 2014а; Алтухов, 2014b; Лурье, 2010a; Попов, Лурье, 2012; Шмелев, 2005). Ещё один показатель –
333
единичный случай написания тематических обзорных статей отечественными исследователями (Лурье, 2011).
Слабый интерес к кейс-тестам у отечественных компаний и исследователей продиктован двумя недостатками данного метода.
Во-первых, их невозможно применять в широких масштабах из-за до-роговизны разработки. Наиболее эффективно кейс-тесты измеряют специфичные рабочие качества – знания и социальные навыки (Campion et al., 2014; Christian et al., 2010), что делает необходимой разработку новой методики под каждую конкретную задачу. И при этом новая методика требу-ет существенных инвестиций: стоимость разработки текстового кейс-теста за рубежом составляет от 60 000 до 120 000 долларов [2], а в России – от 1,5 миллионов рублей. Перевод методики в видео-формат увеличивает данную цифру в полтора-два раза.
Во-вторых, кейс-тест как метод обладает низкой конструктной валидностью. Это связано с влиянием побочных переменных на ход решения кейс-теста. Ситуации кейс-теста должны характеризоваться уникальностью и подробностью описания. В то же время, сама необходимость детализированного описания ситуаций снижает уровень их стандартизированности и приводит к тому, что респонденты с высоким уровнем интеллекта лучше справляются с тестом.
Низкая конструктная валидность проявляется особенно явно, когда разработчики пытаются измерить несколько конструктов в рамках одного теста. В результате субшкалы, представляющие эти конструкты, редко набирают необходимый уровень согласованности [1], что ограничивает область применения и интерпретационные возможности методики.
Удовлетворительным уровнем конструктной валидности чаще обладают шкалы, обобщающие результаты всего теста. То есть современные кейс-тесты оценивают скорее эффективность решения определённого круга задач, нежели конкретные конструкты (здесь очевидны аналогии с цен-трами оценки, где имеет место такая же проблема, см. Jackson, 2012).
Тем не менее, мы считаем кейс-тесты перспективным инструментов тестирования персонала. Высокая стоимость их массового использования будет преодолена разработкой более «общих» конструктов, которые сделают возможной применение одной методики к более широкому кругу позиций. А развитие теоретической базы, лежащей в основе ситуационного моделирования, способно повысить конструктную валидность. Наиболее перспективными концепциями в этой области являются теория активации черт (англ. trait activation theory, Tett & Burnett, 2003) и теория установок на черты (англ. implicit trait policies, Motowidlo, Hooper & Jackson, 2006). Они позволяют создавать ситуации, провоцирующие проявление строго определенных черт (конструктов). Более того, уже есть примеры разработок, где высокая конструктная валидность кейс-теста является не спонтанным
334
Слабый интерес к кейс-тестам у отечественных компаний и исследователей продиктован двумя недостатками данного метода.
Во-первых, их невозможно применять в широких масштабах из-за до-роговизны разработки. Наиболее эффективно кейс-тесты измеряют специфичные рабочие качества – знания и социальные навыки (Campion et al., 2014; Christian et al., 2010), что делает необходимой разработку новой методики под каждую конкретную задачу. И при этом новая методика требу-ет существенных инвестиций: стоимость разработки текстового кейс-теста за рубежом составляет от 60 000 до 120 000 долларов [2], а в России – от 1,5 миллионов рублей. Перевод методики в видео-формат увеличивает данную цифру в полтора-два раза.
Во-вторых, кейс-тест как метод обладает низкой конструктной валидностью. Это связано с влиянием побочных переменных на ход решения кейс-теста. Ситуации кейс-теста должны характеризоваться уникальностью и подробностью описания. В то же время, сама необходимость детализированного описания ситуаций снижает уровень их стандартизированности и приводит к тому, что респонденты с высоким уровнем интеллекта лучше справляются с тестом.
Низкая конструктная валидность проявляется особенно явно, когда разработчики пытаются измерить несколько конструктов в рамках одного теста. В результате субшкалы, представляющие эти конструкты, редко набирают необходимый уровень согласованности [1], что ограничивает область применения и интерпретационные возможности методики.
Удовлетворительным уровнем конструктной валидности чаще обладают шкалы, обобщающие результаты всего теста. То есть современные кейс-тесты оценивают скорее эффективность решения определённого круга задач, нежели конкретные конструкты (здесь очевидны аналогии с цен-трами оценки, где имеет место такая же проблема, см. Jackson, 2012).
Тем не менее, мы считаем кейс-тесты перспективным инструментов тестирования персонала. Высокая стоимость их массового использования будет преодолена разработкой более «общих» конструктов, которые сделают возможной применение одной методики к более широкому кругу позиций. А развитие теоретической базы, лежащей в основе ситуационного моделирования, способно повысить конструктную валидность. Наиболее перспективными концепциями в этой области являются теория активации черт (англ. trait activation theory, Tett & Burnett, 2003) и теория установок на черты (англ. implicit trait policies, Motowidlo, Hooper & Jackson, 2006). Они позволяют создавать ситуации, провоцирующие проявление строго определенных черт (конструктов). Более того, уже есть примеры разработок, где высокая конструктная валидность кейс-теста является не спонтанным
334
результатом усилий исследователей, но итогом применения описанных выше теорий (Burnett, 2015).
Команда центра разработки оценочных технологий ЭКОПСИ обладает уникальным опытом в разработке кейс-тестов. Нашими консультантами было разработано 6 кейс-тестов для крупнейших отечественных компаний. Некоторые из них остаются актуальными в течение длительного времени и проходят регулярную проверку психометрических качеств. Разработанные кейс-тесты активно эксплуатируются. Так, один из разработанных нами кейс-тестов ежедневно проходит до 200 кандидатов, а по другому уже накопилась совокупная выборка в 150 000 респондентов.
На мастер-классе участники пройдут следующие темы:
1. Краткая история и сферы применения кейс-тестов в практике тести-рования;
2. Преимущества и недостатки метода кейс-тестов;
3. Основы конструирования кейс-тестов – как варьирование параметров кейс-теста позволяет создавать фундамент надежного и валидного инструмента. Эти параметры:
формат предъявления; способ разработки ситуаций; способ разработки вариантов действия; способ разработки ключевых ответов; формат заданий; механизм вычисления баллов за задание; инструкция к заданиям.
Литература
1. Campion, M.C. The state of research on situational judgment tests: a content analysis and directions for future research / M.C. Campion, R.E. Ployhart, & W.I. MacKenzie // Human Performance. – 2014. – V. 4. – P. 283–310.
2. Lievens, F. Situational judgment tests: A review of recent research / F. Lievens, H. Peeters, & E. Schollaert // Personnel Review. – 2008. – V.4. – P. 426–441.
3. Ryan, A. M. A century of selection / A.M. Ryan & R.E. Ployhart // The Annual Review of Organizational Psychology and Organizational Behavior. – 2014. – V. 1. – P. 693–717.
4. Weekly, J. A. Low – fidelity simulations / J.A. Weekly, B. Hawkes, N. Guenole & R.E. Ployhart, The Annual Review of Organizational Psychology and Organiza-tional Behavior. – 2015. – V. 2. – P. 295–322.
5. Whetzel, D. L. Situational judgment tests: An overview of current research / D.L. Whetzel & M.A. McDaniel // Human Resource Management Review. – 2009. – V. 3. – P. 188–202.
