m_d_n (m_d_n) wrote in rabota_psy,
m_d_n
m_d_n
rabota_psy

Categories:

О формате кейс-теста

Цитируем по книге:

Современная психодиагностика России. Преодоление кризиса: сборник материалов III Всероссийской конференции: в 2 т. / редколлегия: Н.А. Батурин (отв. ред.) и др. – Челябинск: Издательский центр ЮУрГУ, 2015. Т.1. – 380 с.

Со стр. 331-335


УДК 159.9-051.07
ББК Ю956.64 + Ю725.664.4

РАЗРАБОТКА КЕЙС-ТЕСТОВ ДЛЯ ОЦЕНКИ ПЕРСОНАЛА

Шатров Ю.И., Лурье Е.В.
E-mail: shatrov@ecopsy.ru

ЭКОПСИ Консалтинг, г. Москва

Статья является введением к мастер-классу, посвящённому разработке кейс-тестов в оценке персонала. В статье приводятся данные об используемости кейс-тестов организациями и практике их разработки зарубежными и отечественными исследователями. Описываются преимущества метода кейс-тестов, а также его недостатки и возможные способы их преодоления.

Ключевые слова: оценка персонала, кейс-тесты, разработка тестов.

Анализ современной практики оценки персонала показывает, что одним из наиболее используемых и широко разрабатываемых инструментов тестирования является метод кейс-тестов, в зарубежной литературе получивший название «situational judgment test» или «low-fidelity simulation».

По своей форме кейс-тесты представляют собой набор заданий, каждое из которых состоит из описания рабочей ситуации и списка возможных действий в ней. Ситуации могут быть представлены в текстовом, видео или даже имитационно-игровом формате, в последнем случае принимая вид стандартизированной компьютерной игры от первого лица.

Согласно данным исследования CEB SHL о глобальных тенденциях в оценке, 43% компаний используют кейс-тесты в процессе отбора внешних кандидатов (SHL, 2014а). За последние пять лет данный показатель вырос

331




практически вдвое – в 2009 году он был равен 23% (Previsor, 2009). Метод кейс-тестов также находит применение в оценке действующего персонала

– 34% крупных североамериканских компаний используют его в оценке потенциала своих сотрудников (Church & Silzer, 2013). В целом, усовер-шенствование метода кейс-тестов названо одной из трех ключевых тен-денций в современной практике подбора [3].

Метод кейс-тестов интересен не только практикам, но и научному сообществу. За последние 25 лет данному методу было посвящено 336 статей (дата обращения к базе Web of Science: 22 июля 2015 года), 14 метаанализов, 7 обзоров и 2 хрестоматии. При этом следует учитывать, что научных работ в этой области по факту значительно больше. Это связано с тем, что кейс-тесты зачастую являются внутрикорпоративной разработкой и поэтому не публикуются в какой-либо научной периодике [1].

Интерес к кейс-тестам со стороны практиков и исследователей связан с несколькими важными преимуществами данного метода:

1.       Высокий уровень очевидной валидности и, как следствие, позитивное восприятие респондентами

Поскольку в качестве стимульного материала в заданиях кейс-теста используются рабочие ситуации, респонденты отмечают высокую степень соответствия данного метода своей профессиональной деятельности. Так, по результатам метааналического исследования восприятия респондентами массовых инструментов отбора, кейс-тесты находятся на втором месте по критерию очевидной валидности (Anderson, Salgado & Hülsheger, 2010).

Кейс-тесты, предъявляемые в видео-формате, обладают ещё более высокой очевидной валидностью (Richman-Hirsch, Olson-Buchan & Drasgow, 2000).

А   наибольшей среди всех форматов обладают имитацинно-игровые кейс-тесты (Laumer, Eckhardt & Weitzel, 2012).

2.       Относительная устойчивость к социальной желательности и иным мотивационным искажениям.

Согласно исследованиям, установка на социально-положительное про-хождение кейс-теста не дает каких-либо преимуществ респондентам в сравнении с «честной» группой (Kanning & Kuhne, 2006). То есть высокие итоговые баллы по кейс-тестам с примерно равным шансом получают и респонденты с инструкцией на социально-желательные ответы, и те, кто следуют инструкции отвечать честно.

Также было выявлено, что действующие сотрудники получают более высокие результаты по кейс-тестам, чем соискатели (MacKenzie, Ployhart, Weekly & Ehlers, 2010). Это подтверждает устойчивость кейс-тестов к со-циальной желательности, т.к. указывает на зависимость результатов от профессиональных знаний и способностей, а не от каких-либо мотиваци-онных факторов.

Наконец, есть эмпирические свидетельства в пользу того, что кейс-тесты более устойчивы к эффектам научения (coaching) по сравнению с те-

332




стами способностей (Cullen, Sackett & Lievens, 2006). Эффект научения – это целенаправленное улучшение результатов с помощью знаний о методе или конкретной методике тестирования.

Также они более устойчивы к эффектам повторного прохождения, чем тесты способностей и тесты знаний (Lievens, Buyese & Sackett, 2005). Эффект повторного прохождения, или эффект ретеста, – это улучшение результатов прохождения методики в случае её многократного заполнения.

3.       Удовлетворительный уровень критериальной валидности – от 0,19 до 0,43 в зависимости от измеряемых характеристик (Christian, Edwards & Bradley, 2010).

Средний нескорректированный коэффициент корреляции кейс-тестов с рабочей эффективностью равен 0,26 (McDaniel, Hartman, Whetzel & Grubb, 2007), что выше даже скорректированного показателя критериальной ва-лидности личностных опросников – 0.22 (Schmidt, Oh, I – S & Shaffer, 2013).

Согласно двум исследованиям Lievens и его коллег, кейс-тесты дают долгосрочный прогноз эффективности сотрудников. Так, в одном исследовании был выявлен эффект повышения валидности кейс-теста с течением времени (Lievens et al., 2005), а в другом доказана прогностическая способность результатов кейс-теста спустя 9 лет после его прохождения (Lievens & Sackett, 2012). Это дает основания предполагать, что специальным образом сконструированные кейс-тесты измеряют потенциал сотрудников.

4.       Прирост валидности даже в случае использования вместе с тестами способностей и опросниками, измеряющими «Большую пятерку» (инкре-ментная валидность).

Инкриментная валидность кейс-тестов составляет 4% в случае, если первоначально применённый инструмент – тест способностей, и 7% – если это личностный опросник. В случае совместного использования тестов способностей и личностных опросников кейс-тесты увеличивают суммарную валидность на 2% (McDaniel, Hartman, Whetzel & Grubb, 2007). Существует и отечественное исследование, которое подтверждает эти данные (Попов, Лурье, 2012). Также в нём показана существенная инкриментная валидность одной из разновидностей кейс-тестов – имитацинно-игрового кейс-теста, или инбаскет-методики.

Вопреки описанным преимуществам, в России применение кейс-тестов носит ограниченный характер – только 20% компаний стран СНГ используют их в процессах найма сотрудников (SHL, 2014b). Конструирование нового кейс-теста – событие ещё более редкое для России. Об этом свидетельствует крайне малое количество отечественных методик, о которых есть информация в научной периодике (Алтухов, 2014а; Алтухов, 2014b; Лурье, 2010a; Попов, Лурье, 2012; Шмелев, 2005). Ещё один показатель –


333




единичный случай написания тематических обзорных статей отечественными исследователями (Лурье, 2011).

Слабый интерес к кейс-тестам у отечественных компаний и исследователей продиктован двумя недостатками данного метода.

Во-первых, их невозможно применять в широких масштабах из-за до-роговизны разработки. Наиболее эффективно кейс-тесты измеряют специфичные рабочие качества – знания и социальные навыки (Campion et al., 2014; Christian et al., 2010), что делает необходимой разработку новой методики под каждую конкретную задачу. И при этом новая методика требу-ет существенных инвестиций: стоимость разработки текстового кейс-теста за рубежом составляет от 60 000 до 120 000 долларов [2], а в России – от 1,5 миллионов рублей. Перевод методики в видео-формат увеличивает данную цифру в полтора-два раза.

Во-вторых, кейс-тест как метод обладает низкой конструктной валидностью. Это связано с влиянием побочных переменных на ход решения кейс-теста. Ситуации кейс-теста должны характеризоваться уникальностью и подробностью описания. В то же время, сама необходимость детализированного описания ситуаций снижает уровень их стандартизированности и приводит к тому, что респонденты с высоким уровнем интеллекта лучше справляются с тестом.

Низкая конструктная валидность проявляется особенно явно, когда разработчики пытаются измерить несколько конструктов в рамках одного теста. В результате субшкалы, представляющие эти конструкты, редко набирают необходимый уровень согласованности [1], что ограничивает область применения и интерпретационные возможности методики.

Удовлетворительным уровнем конструктной валидности чаще обладают шкалы, обобщающие результаты всего теста. То есть современные кейс-тесты оценивают скорее эффективность решения определённого круга задач, нежели конкретные конструкты (здесь очевидны аналогии с цен-трами оценки, где имеет место такая же проблема, см. Jackson, 2012).

Тем не менее, мы считаем кейс-тесты перспективным инструментов тестирования персонала. Высокая стоимость их массового использования будет преодолена разработкой более «общих» конструктов, которые сделают возможной применение одной методики к более широкому кругу позиций. А развитие теоретической базы, лежащей в основе ситуационного моделирования, способно повысить конструктную валидность. Наиболее перспективными концепциями в этой области являются теория активации черт (англ. trait activation theory, Tett & Burnett, 2003) и теория установок на черты (англ. implicit trait policies, Motowidlo, Hooper & Jackson, 2006). Они позволяют создавать ситуации, провоцирующие проявление строго определенных черт (конструктов). Более того, уже есть примеры разработок, где высокая конструктная валидность кейс-теста является не спонтанным


334




результатом усилий исследователей, но итогом применения описанных выше теорий (Burnett, 2015).

Команда центра разработки оценочных технологий ЭКОПСИ обладает уникальным опытом в разработке кейс-тестов. Нашими консультантами было разработано 6 кейс-тестов для крупнейших отечественных компаний. Некоторые из них остаются актуальными в течение длительного времени и проходят регулярную проверку психометрических качеств. Разработанные кейс-тесты активно эксплуатируются. Так, один из разработанных нами кейс-тестов ежедневно проходит до 200 кандидатов, а по другому уже накопилась совокупная выборка в 150 000 респондентов.

На мастер-классе участники пройдут следующие темы:

1.   Краткая история и сферы применения кейс-тестов в практике тести-рования;

2.   Преимущества и недостатки метода кейс-тестов;

3.   Основы конструирования кейс-тестов – как варьирование параметров кейс-теста позволяет создавать фундамент надежного и валидного инструмента. Эти параметры:

формат предъявления; способ разработки ситуаций; способ разработки вариантов действия; способ разработки ключевых ответов; формат заданий; механизм вычисления баллов за задание; инструкция к заданиям.

Литература

1. Campion, M.C. The state of research on situational judgment tests: a content analysis and directions for future research / M.C. Campion, R.E. Ployhart, & W.I. MacKenzie // Human Performance. – 2014. – V. 4. – P. 283–310.

2.  Lievens, F. Situational judgment tests: A review of recent research / F. Lievens, H. Peeters, & E. Schollaert // Personnel Review. – 2008. – V.4. – P. 426–441.

3.  Ryan, A. M. A century of selection / A.M. Ryan & R.E. Ployhart // The Annual Review of Organizational Psychology and Organizational Behavior. – 2014. – V. 1. – P. 693–717.

4.  Weekly, J. A. Low – fidelity simulations / J.A. Weekly, B. Hawkes, N. Guenole & R.E. Ployhart, The Annual Review of Organizational Psychology and Organiza-tional Behavior. – 2015. – V. 2. – P. 295–322.

5.   Whetzel, D. L. Situational judgment tests: An overview of current research / D.L. Whetzel & M.A. McDaniel // Human Resource Management Review. – 2009. – V. 3. – P. 188–202.
Tags: тест
Subscribe
  • Post a new comment

    Error

    Comments allowed for members only

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 21 comments