m_d_n (m_d_n) wrote in rabota_psy,
m_d_n
m_d_n
rabota_psy

Category:

Регламент психодиагностики военнослужащих

Цитируем по книге:

Современная психодиагностика России. Преодоление кризиса: сборник материалов III Всероссийской конференции: в 2 т. / редколлегия: Н.А. Батурин (отв. ред.) и др. – Челябинск: Издательский центр ЮУрГУ, 2015. Т.1. – 380 с.

Со стр. 292-296


УДК 159.9:005 + 159.938:355
ББК Ю956.6:Ц + Ю983

РАЗРАБОТКА ЛОКАЛЬНОГО СТАНДАРТА КАЧЕСТВА МЕТОДИК, ПРИМЕНЯЕМЫХ В ОТБОРЕ
ВОЕННОГО ПЕРСОНАЛА

Сугоняев К.В.
E-mail: skv-354@yandex.ru

Военная академия Генерального штаба Вооруженных Сил Российской Федерации, г. Москва

В Научно-практическом центре Военной академии Генерального штаба ВС РФ в 2013–14 гг. разработан документ, в котором изложены основные требования к порядку разработки, экспертизы, внедрения и использования методик, применяемых в отборе военного персонала. В статье дано краткое описание структуры и особенностей документа, приобретшего – после утверждения в декабре 2014 года начальником Генерального штаба ВС РФ – статус ведомственного стандарта, регламентирующего проведение данных мероприятий.

Ключевые слова: отбор военного персонала, психометрическое качество, надежность, валидизация, тестовая безопасность, репрезентативность тестовых норм.

Тестирование военного персонала – сфера, в которой действуют тысячи психологов, а ежегодный объем связанных с этим обследований исчисляется сотнями тысяч. Практически все категории военнослужащих проходят отборочные процедуры, результаты которых могут иметь серьезные последствия, как для каждого отдельного индивида, так и для всего ведом-

292



ства, в интересах которого они проводятся. Использование качественных тестов и обоснованных процедур вынесения заключений способно внести существенный вклад в повышение качества военного персонала; в противном случае отбор может иметь нулевую и даже отрицательную полезность для организации.

До недавнего времени качеству методик, используемых в военном профессиональном психологическом отборе, уделялось гораздо меньше внимания, чем вопросам обеспечения единообразия тестовых материалов, процедур проведения обследования, подсчета тестовых баллов и правил вынесения заключения. При несомненной важности стандартизации условий обследования, она не в состоянии компенсировать деструктивное влияние на валидность заключений и выводов ошибок измерения, связанных с неоптимальным подбором тестов, дефектами их конструирования и стандартизации. Другая слабость нынешнего методического обеспечения отбора военного персонала (ОВП) – опора на устаревшие модели индивидуальности и концепции, не имеющие внятного дифференциально-психологического обоснования. Хотя институт экспертизы методов профотбора, руководств, методических документов и технических средств существовал в Минобороны России с 2000 года, качество тестов имплицитно отождествлялось с их популярностью и репутацией автора; формальных критериев, которые позволяли бы подтверждать его, до недавнего времени не было. По этой причине экспертные заключения носили в значительной степени субъективный характер.

По мере компьютеризации системы профотбора в Минобороны России, начавшейся на рубеже веков, объемы доступных для психометрического анализа данных стали быстро расти. Выполненный в 2012–14 гг. анализ сотен тысяч протоколов обследования по нескольким десяткам тестов, показал, что немалое число последних не удовлетворяют комплексу требований, предъявляемых к измерительным инструментам, предназначенным для использования в аттестационных ситуациях и, следовательно, дают весьма приблизительное или даже искаженное представление об индивидуальных особенностях респондентов. Причины этого оказались достаточно многообразными:

1)    Многие тесты разработаны десятилетия назад и характеризуются низким психометрическим качеством (низкая надежность оценок, неудовлетворительная структурная валидность, неоптимальные временные ограничения и др.).

2)   Многие тестовые нормы (в том числе, регламентированные методическими документами)оказались нерепрезентативными из-за того, что часть из них была заимствована извне, а часть – рассчитана на селективных выборках, не отражающих характеристики целевой популяции в целом.


293



3) Часть применяемых в ОВП тестов имеет сомнительную легитимность и нулевую тестовую безопасность. Помимо возможных юридических коллизий и репутационных издержек, такая практика создает серьезные угрозы валидности тестовых заключений, особенно в тех сферах, где мотивация к преодолению барьеров отбора высока.

Для исправления сложившейся ситуации в Научно – практическом центре Военной академии Генерального штаба ВС РФ в 2013–14 гг. разработан документ, получивший наименование «Методические указания по порядку разработки, экспертизы (оценки соответствия психометрическим требованиям), внедрения и использования методик профессионального психологического отбора в Вооруженных Силах Российской Федерации» (далее по тексту – МУ).Хотя при его подготовке изучались материалы примерно десятка родственных стандартов[3, 5, 6 и др.], он не является компиляцией какого-то из них, поскольку адаптирован к современному состоянию отечественной психодиагностики, с одной стороны, и специфике отбора военнослужащих, с другой.

Необходимость в разработке локального стандарта обусловлена тем, что в отечественной версии стандарта качества психологических тестов [1] предпринята попытка сформулировать требования к психодиагностическим тестам вообще, безотносительно к сфере их применения. Понятно, что неизбежное в подобном случае согласование интересов различных пользователей тестовых технологий обусловило определенное смягчение требований и расширение рамок приемлемости для оцениваемых характеристик. Но ОВП – гораздо более сфокусированная область тестоприменения, отличающаяся своими особенностями и, прежде всего – высокой значимостью решений, принимаемых на основе тестовых оценок. Из этого следует, что требования к тестам, применяемым в отборе, могут быть более конкретными и в целом должны быть существенно выше, чем, например, в сфере психологического консультирования.

Документ состоит из четырех разделов. В первом (общие положения) очерчены границы области, на которую распространяется действие МУ, определены основные цели и задачи документа, обозначены основные требования, которым должны удовлетворять методики, применяемые в ОВП.

Второй раздел является основным и занимает большую часть МУ. В нем последовательно и достаточно детально рассматривается основные этапы разработки психологического теста – от определения содержания и формы пунктов пилотного набора до стандартизации финальной версии и оформления сопроводительной документации на нее. Рекомендации по выполнению всех этапов содержат ряд количественных индексов и пороговых значений, на которые следует ориентироваться разработчику, включая необходимые объемы выборок, на которых они должны рассчитываться. Например, для коэффициентов одномоментной надежности тестов (шкал), пригодных для использования в практике ОВП, установлены сле-

294



дующие диапазоны приемлемости: 0,80–0,95 для когнитивных тестов и 0,75–0,90 для некогнитивных. Подчеркивается, что все индексы должны рассчитываться на целевых популяциях, а не заимствоваться из каких-либо руководств или результатов обследования доступных выборок.

Следующий раздел МУ определяет состав материалов, представляемых на экспертизу, и порядок ее проведения. Одной из отличительных особенностей предложенной системы оценивания является положение, согласно которому анализу подвергаются не только текстовые описания и итоговые индексы, как это практикуется во многих системах рецензирования, но и исходные материалы (электронные базы психодиагностических данных, полученные с помощью компьютерных программ; матрицы ответов в формате электронных таблиц, корреляционные матрицы, материалы факторного анализа и др.). Выдвинуто требование, согласно которому любые материалы, содержащие контент и ключи к методикам в доступном для восприятия или копирования виде, должны иметь ограниченное распространение и не должны публиковаться в открытых изданиях. Нарушение требований к тестовой безопасности рассматривается как основание для отрицательного заключения о возможности использования методики в практике ОВП. В целях объективизации итоговой оценки качества теста-разработан «Опросник для эксперта», идея которого заимствована из голландского стандарта [4].Опросник содержит 45 (54 – если методика компьютеризирована) пунктов с двух–трехуровневой рейтинговой оценкой каждого, сгруппированных в семь разделов. Для каждого раздела рассчитывается средняя рейтинговая оценка. Интегральная оценка рассчитывается как средняя по семи разделами может принимать любое дробное значение в интервале от 0 до 2.

Последний раздел посвящен рассмотрению вопросов внедрения и использования тестовых методик в практике работы организаций Минобороны и также содержит ряд новшеств. В нем, в частности определена необходимость проведения мониторинга баз психодиагностических данных (особенно на этапе внедрения) с целью подтверждения заявленных психометрических характеристик, а также своевременной коррекции тестовых материалов и норм (при необходимости). Серьезное внимание в разделе уделено проблеме обеспечения тестовой безопасности. Для обеспечения обоснованного суждения о степени репрезентативности тестовых норм в документе впервые установлены количественные критерии репрезентативности на основе расчета стандартизированного различия средних оценок между эмпирической выборкой и выборкой стандартизации (d Дж. Коэна), которое, как правило, не должно превышать 0,3 [2]. Определены временные рамки действия тестовых норм.

Разработанный документ введен в действие указаниями Начальника Генерального штаба ВС РФ от 13.12.2014 г. № 315/4/6020. Если удастся защитить его положения от выхолащивания, можно надеяться, что он ста-

295



нет важным инструментом достижения перспективной цели нынешнего этапа – выстраивания недекоративной системы военного психологического отбора, опирающейся на современные, защищенные, находящиеся в исключительной собственности Минобороны России, валидизированные и адекватно отнормированные тесты.

Литература

1.   Стандарт требований к психодиагностическим методикам – http://www.cc. psytest.ru /ru/Sertifikacija_metodik.
2.   Сугоняев, К.В. К вопросу о критериях репрезентативности тестовых норм /   К.В. Сугоняев // 20 лет функционирования системы профессионального психологического отбора в Вооруженных Силах Российской Федерации, итоги и перспективы совершенствования: Сборник мат. военно-науч. конф. (Москва, 22 апреля 2014 г.). – М.: ВАГШ ВС РФ, 2014. – С. 113–117.

3.   European test user standards for test use in work and organizational settings, version 1.92. EFPA, AEWOP. 2005. – http://www.eawop.org/uploads/datas/10 /original/European-test-user-standards-v1-92.pdf?1297020028.

4.   Evers, A. The Dutch review process for evaluating the quality of psychological tests: History, procedure, and results / A. Evers, K. Sijtsma , W. Lucassen, R.R. Meijer // International Journal of Testing. – 2010. –V. 10, N 4. – P. 295–317.

5.   ITC Guidelines on quality control in scoring, test analysis, and reporting of test scores // International Journal of Testing. – 2014. – V. 14, N 3. – P. 195–217.

6.   Society for Industrial and Organizational Psychology (SIOP). Principles for the validation and use of personnel selection procedures (4th ed.), 2003. – http:// www.siop.org/_principles/principles.pdf.
Tags: тест
Subscribe
  • Post a new comment

    Error

    Comments allowed for members only

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 0 comments