Купер К. I индивидуальные различия/Пер, с англ. Т. М. Марютиной под ред. И. В. Равич-Щербо - davaiknam.ru o_O
Главная
Поиск по ключевым словам:
Похожие работы
Название работы Кол-во страниц Размер
Жизнь счастливого человека (А. Маслоу) 1 76.35kb.
Сальваторе Д. Международная экономика: [Учеб. ]: Пер с англ /Науч... 1 152.55kb.
Справочник издательства Gower / Под ред. Дж. Гатторны (ред. 4 679.36kb.
Гилье Н. История философии: Учеб пособие для студ высш учеб заведений... 42 7868.59kb.
Гилье Н. История философии: Учеб пособие для студ высш учеб заведений... 66 11410.45kb.
Большая электронная библиотека нефтяника 1 161.71kb.
Внутренние болезни : [Справочник] : в 10 кн пер с англ. / ред. 1 37.74kb.
Аберкромби Н. Социологический словарь : словарь / Н. Аберкромби, С. 1 39.44kb.
Учебник для вузов / под ред. В. В. Исаичева. М.: Колос, 2002. 1 62.56kb.
Аронсон Э. Общественное животное. Введение в социальную психологию/... 1 28.61kb.
О. М. Могилевера Под редакцией Н. Сутары 9 1735.54kb.
Изучение и описание фауны на маршруте Наблюдения за млекопитающими 1 84.46kb.
Направления изучения представлений о справедливости 1 202.17kb.

Купер К. I индивидуальные различия/Пер, с англ. Т. М. Марютиной под ред. И. В. Равич-Щербо - страница №45/48

Галликсен (Gulliksen, 1986) опубликовал превосходную, без излишних технических подробностей работу по оценке способно­стей и достижений. В ней приводится несколько других форм тес­товых заданий, и ее прочтение является принципиально важным для любого, кто заинтересован в конструировании тестов в этой области в целом.

Подготовка заданий для личностных тестов

Первый шаг заключается в том, чтобы решить, в каком виде вы хотите получить ответы на ваши вопросы от респондентов. Су­ществует несколько наиболее распространенных форматов. Тест может представлять утверждения, с которыми люди соглашаются, по отношению к которым они нейтральны, или неуверены, или несогласны, например: «Ночью я не могу уснуть, переживая со­бытия дня». Вы можете также, подумав, добавить: «совершенно согласен», «совершенно не согласен», однако не используйте боль­ше семи категорий ответа. Если вы применяете такой тип шкалы, всегда используйте в опроснике такие слова, как «согласен/?/не-

28 - 989

согласен», а не просто цифры. Если используются меньше, чем три категории, могут возникнуть статистические проблемы. При таком типе заданий попытайтесь выдержать нечетное число выбо­ров, поскольку это гарантирует наличие центрального нейтраль­ного ответа, который нравится тестируемым. С другой стороны, тест может содержать несколько возможных вариантов ответа, на­пример: «На прошлой неделе мои тревоги не давали мне возмож­ности сразу уснуть: (а) ни одного дня, (б) один или два дня, (в) три или четыре дня, (г) пять или более дней».

Старайтесь писать утверждения так, чтобы они были четкими, недвусмысленными и требовали как можно меньше самоанализа. Всегда, когда возможно, вы должны обращаться к поведению, а не к чувствам, как это показано во втором примере предыдущего абзаца.

Обеспечьте, чтобы в каждом пункте был задан только один вопрос. Например, не используйте утверждения такого типа, как: «Временами я чувствовал себя подавленным и пытался совершить самоубийство», поскольку крайне депрессивные люди, которые (совсем) не помышляют о попытке самоубийства, не согласятся с этим утверждением, последнее, вероятно, не то, что предпола­гается получить.

Старайтесь избегать утверждений, сформулированных в отрица­тельной форме, таких, как: «Мне не нравятся студенты»: «да/?/нет», поскольку выбор ответа «нет» требует от испытуемого интерпрета­ции двойного отрицания.

Старайтесь избегать вопросов, касающихся частоты и количе­ства, вместо этого обращайтесь не к общим вариантам поведе­ния, а к конкретным. Вместо того чтобы спрашивать: «Вы много читаете?», задавайте вопрос: «Сколько книг вы прочитали ради удовольствия в прошлом месяце?» или еще лучше вопрос: «Пере­числите книги, которые вы прочитали ради удовольствия в про­шлом месяце» (последний может уменьшить социально желатель­ные ответы).

Убедитесь, что ни одно из слов не допускает двойного толко­вания. Например, в один личностный опросник был включен воп­рос: «Получаете ли вы удовольствие от веселых вечеринок?», хотя слово «веселый» («gay») по-английски может означать индивиду­ума с гомосексуальной ориентацией.

Попытайтесь добиться того, чтобы около 50% заданий по каж­дому аспекту опросника были построены таким образом, чтобы

ответ «да/совершенно-'Согласен» соответствовал высокой оценке по черте, а другие 50% соответствовали бы низкой оценке по чер­те. Например, если на утверждение «Обычно я засыпаю ночью сразу же, как только выключается свет» следует ответ: «Совершенно не согласен», это оценивается как указание на тревожность.

Если вы должны спросить о чем-то социально нежелательном, рассмотрите возможность формулировки утверждения как бы с точки зрения другого человека, например: «Некоторые люди мо­гут описывать меня как скупого», а не «вы скупой?».

И наконец, целесообразно иметь такой текст инструкции, что-.бы она призывала респондентов давать первый ответ, который естественным образом приходит в голову, а не искать скрытые значения.

Общие принцип анализа заданий

Закончив набросок теста, необходимо обеспечить, чтобы все задания измеряли один и тот же конструкт, прежде чем прово­дить проверку надежности и валидности теста. Чтобы сделать это, тест следует предъявить большой выборке людей (п > 200), сход­ных по своим характеристикам с индивидуумами, которые будут в конечном счете тестироваться при помощи этого теста. Напри­мер, если тест будет использоваться для отбора окончивших обу­чение соискателей в определенную организацию, было бы целе­сообразно испытать этот тест на студентах, а не на 16-летних школьниках общеобразовательной школы (из-за разной академи­ческой подготовки) или пенсионерах (из-за различия в возрасте). Ответы затем обрабатываются, и для каждого индивидуума вы­числяется общий балл.

Следующая стадия заключается в том, чтобы проанализиро­вать средние показатели и стандартные отклонения по каждому из заданий. В тесте способностей (где правильный ответ вознаг­раждается одним баллом, а за неправильный не дают ничего) средняя оценка указывает на степень трудности каждого задания. Средний показатель 0,95 будет означать, что 95% выборки дали правильные ответы на задания. В случае личностных тестов сред­няя оценка показывает степень, с которой индивидуумы склон­ны соглашаться или не соглашаться с утверждениями. В соответ-

ствии с общим эмпирическим правилом было бы нежелательно иметь слишком много очень легких или очень трудных заданий в тесте. Таким образом, если более чем 10% заданий имеют средние показатели выше 0,8 или ниже 0,2, будет резонным обдумать воз­можность удаления некоторых заданий.

Задание для самопроверки 18.1

Почему нецелесообразно иметь слишком много очень легких или очень трудных заданий в тесте?

Величина стандартного отклонения по каждому заданию пока­зывает размах индивидуальных различий, обнаруженных среди от­ветов испытуемых на это задание. Например, если задание имеет стандартное отклонение, равное 0, значит, все ответили одним и тем же образом и, следовательно, оно явно не фиксирует индиви­дуальные различия любого рода и должно быть удалено из шкалы. (Когда задания обрабатываются при помощи дихотомической шка­лы, такой, как «правильно/неправильно», стандартное отклоне­ние прямо связано со средним значением, что читатели, изучав­шие биномиальную теорему, могли бы подтвердить самостоятель­но. Этот этап вычисления должен быть в таких случаях пропущен.)

Хотя проверка средних и стандартных отклонений оценок — необходимый первый шаг, она не может обнаружить, какие воп­росы в тесте имеют плохое содержание. Например, представим себе, что одно задание в личностном тесте использовало язык, который оказался слишком трудным для понимания испытуемыми, побуж­дая всех их просто угадывать ответ. На другое задание могла отри­цательно влиять «социальная желательность». Мы приведем четы­ре метода анализа задания для выявления тех из них, которые по той или иной причине просто не измеряют то же самое, что изме­ряют другие задания теста.

При использовании любого из описанных ниже четырех мето­дов элиминации заданий из теста важно стараться обеспечить, чтобы тест сохранял приблизительно равное число заданий по каж­дому из его аспектов (как описано выше). Предположим, напри­мер, что учитель начал с подготовки пяти заданий по каждому из семи видов математических действий: письменному делению в стол­бик, письменному умножению в столбик, геометрии/тригономет­рии, решению систем уравнений, нахождению корней квадрат­ных из уравнений, дифференцированию и интегрированию. После

этого анализ заданий позволит исключить из 35 заданий слишком легкие, слишком трудные или задания, которые просто не рабо­тают, но было бы явной неудачей, если бы анализ привел к ис­ключению всех заданий на письменное деление в столбик и всех заданий на умножение в столбик, поскольку учитель считает, что это два важных компонента математических достижений учащихся. Анализ заданий — это искусство в такой же степени, как и наука, и при удалении заданий важно гарантировать, что по каждому из аспектов останется приблизительно равное их число.

Конструирование тестов по критериальному принципу

Предположим, что нас попросили сконструировать тест для отбора авиационных штурманов. Задача состоит в том, чтобы раз­работать тест, по общему показателю которого можно было бы предсказать окончательные оценки штурманов после курса обуче­ния и который, следовательно, мог бы быть использован для вы­явления соискателей с прогнозом плохой успеваемости. Не имея четкого представления о том, какие характеристики личности и способностей могут соответствовать такому применению, мы мо­жем собрать большой опросник, состоящий из 600 заданий, из­меряющих, как мы надеемся, все основные способности и лич­ностные черты, которые можно оценить. Но какие из них в дей­ствительности предсказывают успешность работы штурмана?

Представим себе, что предварительный вариант шкалы предъя­вили нескольким сотням стажеров. Наиболее очевидный способ выделения хороших (т.е. прогностичных) заданий теста состоит в том, чтобы валидизировать каждое задание непосредственно по отношению к некоторому критерию. Например, предположим, что в конце обучения каждый стажер-штурман получает отметку от О до 100, указывающую на общий уровень успешности в обучении штурманскому делу. Конечно, процесс анализа заданий будет про­сто включать корреляции оценок стажеров по каждому из зада­ний теста с их оценками, полученными в курсе обучения, т.е. с критерием успешности обучения. Задания, имеющие значимые кор­реляции, могут рассматриваться как способные предсказать этот критерий, а те, которые не в состоянии это сделать, будут удале­ны из теста.

Эта процедура, известная как критериальный принцип, была использована для конструирования нескольких хорошо известных шкал, включая Миннесотский многофакторный личностный оп­росник (MMPI и MMPI-2, Hathaway, McKinley, 1967; Graham, 1990) и Калифорнийский психологический опросник (Gough, 1975), шкалы которого могут предположительно выделять различ­ные клинические группы. Не используйте этот метод анализа за­дания. Как напоминает нам Нанелли (Nunnally, 1978), он имеет несколько значительных недостатков.

Во-первых, существует высокая вероятность того, что он про­дуцирует шкалы, имеющие очень низкую надежность, т.е. шкалы, задания которых измеряют разные характеристики. Например, пред­положим, что успех в обучении штурманскому делу зависит от математических способностей, способностей к механике, простран­ственных способностей, низкого нейротицизма и экстраверсии. Если бы критериальный принцип был применен к большой выборке заданий, он привел бы к созданию шкалы, которая измеряла бы смесь всех этих характеристик. Во-вторых, при отборе заданий ред­ко можно выделить для использования единственный критерий. Например, рассмотрим мою должность, которая включает чтение лекций по индивидуальным различиям и психодиагностике, ис­следовательскую работу, написание и редактирование книг, на­писание исследовательских статей, ведение практических занятий и семинаров, администрирование (например, планирование кур­сов), проверку курсовых и экзаменационных работ, координацию некоторых видов деятельности лаборатории, руководство аспиран­тами и множество других видов деятельности. По какому принци­пу следует выбрать ту из них, которая может служить критерием успешности моей профессиональной деятельности? Если их ка­ким-нибудь образом усреднить, то сколько научных работ или сколько программ по учебным курсам будут эквивалентны одной книге? Если используется один критерий, то будет выделен один специфический набор прогностических заданий, если выбран дру­гой критерий, есть вероятность, что выделится совершенно дру­гая выборка заданий. Третья позиция в несколько большей степе­ни связана со статистикой. Для того чтобы отобрать «лучшее» зада­ние по критериальному принципу, ответы на определенные задания коррелируют с критериями. Если тест состоит приблизительно из 400 заданий (как MMPI), тогда вычисляется 400 корреляций. Не вникая в детали, укажем: если вычисляется большое число корре-

ляций, мы должны ожидать, что несколько корреляций будут за­метно выше, чем их подлинные (популяционные) значения. Дру­гими словами, некоторые задания, отобранные нами с помощью этой процедуры, вряд ли будут работать на других группах соиска­телей. Наконец, эта процедура не дает нам реального понимания того, почему работает тест, — она совершенно лишена теоретичес­ких оснований. Без понимания того, какие психологические кон­структы измеряются с помощью «полезных» заданий, невозмож­но сказать, будет ли этот тест полезен при других случаях приме­нения (например, при отборе пилотов или авиадиспетчеров), и становится очень сложным «наладить» тест, если он внезапно пре­кращает предсказывать успешность. По всем этим причинам не следует руководствоваться критериальным принципом.

Конструирование тестов с помощью факторного анализа заданий

Одни психологи, например, Кэттелл, отстаивают целесооб­разность использования факторного анализа при конструирова­нии тестов, а другие (например, Nunnally, 1978) наряду с этим выделяют некоторые проблемы, возникающие в связи с этим под­ходом. В соответствии с ним корреляции между полученными оцен­ками по каждому заданию подвергаются факторному анализу, и фактор (или факторы) идентифицируется на основе факторных весов, как описано в главах 14 и 15. Объединяя вместе набор зада­ний для измерения одного определенного конструкта, мы, разу­меется, надеемся, что появится только один фактор и что все пе­ременные будут иметь по нему большие нагрузки. На практике может выделиться больше чем один фактор, и некоторые переменные могут не иметь нагрузок выше 0,4 по любому фактору. Этот метод конструирования шкал просто предусматривает выделение и со­хранение тех заданий, которые имеют существенные нарузки по главному фактору (факторам).

При проведении анализа заданий любым методом важно конт­ролировать, чтобы по каждому аспекту теста элиминировалось примерно равное число заданий. Как покажет следующий пример, анализ заданий — это в такой же степени искусство, как и наука. Представим себе, что математический тест из 35 заданий, описан­ный выше, был подвергнут факторному анализу и выделился только

один фактор. Предположим также, что анализ показал, что три из пяти заданий, измеряющих письменное деление в столбик, име­ли нагрузки выше 0,4, так же как три из пяти заданий по каждой из следующих тем: умножение в столбик, геометрия/тригономет­рия, решение систем уравнений и нахождение квадратных кор­ней из уравнений. Однако представим теперь, что только одно из заданий на дифференцирование и все пять заданий на интегриро­вание имели нагрузки выше 0,4. Слепое применение критерия, предусматривающего сохранение заданий с «факторными нагруз­ками выше 0,4», приведет к созданию теста с различным числом заданий по каждой теме. Было бы целесообразнее проверить, нет ли среди заданий на дифференцирование таких, которые имели бы факторные нагрузки лишь ненамного ниже, чем 0,4, и, если таковые имеются, включить два из них в тест и изъять два задания на интегрирование с самыми низкими нагрузками. Этот прием обеспечит тест с 21 заданием, имеющим равное число заданий по каждой теме.

После этого необходимо будет провести эксперименты для проверки того, что эти задания действительно измеряют черту, которую предполагается измерить. Другими словами, должна быть установлена их валидность, как обсуждается в главе 13.

Проблемы возникают при разработке шкал способностей, ко­торые предназначаются для использования с очень жесткими временными лимитами. Поскольку некоторые соискатели могут и не пройти тест до конца, очень сложно установить, почему это произошло: потому, что задания трудны, или потому, что человек не успел, т.е. степень трудности смешивается со скоростью ответов соискателей. На стадии разработки лучше предъявлять тест без ог­раничения времени и устанавливать временные лимиты лишь при подготовке окончательного варианта.

Конструирование тестов

с помощью теории сложности заданий

Предположим, что теория сложности заданий применяется к набору заданий теста, как описано в главе 16. Используемая про­грамма будет выбирать параметры задания, которые лучше всего характеризуют, каким образом вероятность правильного ответа на определенное задание зависит от уровня способностей индивиду-

ума, измеряемых заданиями теста. Что если одно задание измеряет нечто, очень отличающееся от того, что измеряют другие задания? Например, предположим, что 24 задания оценивают способности в области механики, в то время как одно измеряет словарный за­пас (легкое задание, написанное таким вычурным языком, что вряд ли кто-либо понимает, чего от него хотят). На что могут быть похожи параметры задания такого типа?

Вероятность «преодоления» словарного задания не будет, ско­рее всего, существенно зависеть от уровня способностей человека в области механики. В конце концов мы знаем, что существует два совершенно отличных фактора способностей. Следовательно, пред­ставляется вероятным, что ХКЗ будет совершенно плоской, почти горизонтальной. Это имеет место в случае, когда задание имеет низкий уровень дискриминации. Таким образом, если при изуче­нии характеристических кривых находятся задания такого типа, может быть, стоит проверить содержание задания. Стоит также проверить, насколько полно одна из моделей, имеющихся в тео­рии сложности заданий, соответствует конкретному заданию. Если задание имеет высокую «остаточную дисперсию» (т.е. вариатив­ность, которую нельзя объяснить тремя параметрами задания), это нередко дает основание полагать, что данное задание измеряет что-то весьма отличное от других и что следует рассмотреть воз­можность его изъятия из шкалы, хотя процедура изъятия заданий, которые не соответствуют модели, в определенной степени дис­куссионна: некоторые будут утверждать, что вместо этого следует использовать более утонченную модель теории сложности заданий. Хемблтон и Сваминатан (Hambleton, Swaminathan, 1985) пред­ставляют весьма детальное обсуждение этих проблем.

Однако теория сложности заданий допускает, что набор зада­ний измеряет один определенный конструкт, и поэтому обычно на практике, прежде чем начать требующий много времени ана­лиз, основанный на теории заданий, проводят быстрый фактор­ный анализ, чтобы проверить, действительно ли выявляется толь­ко один фактор. Кажется целесообразным на этой стадии изъять «инородные» (т.е. имеющие низкие нагрузки) задания. Если тео­рию сложности заданий применять по отношению к набору зада­ний, измеряющих несколько различных факторов, то целостная процедура распадется на части, поскольку ни одно из них не соот­ветствует модели достаточно хорошо, а оценки параметров могут выглядеть крайне странно, если компьютерная программа вообще

сможет выдать решение. Таким образом, если решено выбирать задания с использованием теории заданий и весь анализ продви­гается плохо, может быть, стоит проверить, являются ли задания истинно монометричными. Основными недостатками теории слож­ности заданий являются, конечно, ее теоретическая сложность и необходимость использования специализировнных компьютерных программ.

Классический анализ заданий

Мы оставили наиболее простую методику анализа заданий на­последок. Вспомните, что высокая надежность обычно рассматри­вается как великолепная характеристика теста, следовательно, кажется целесообразным попытаться оценить степень, с которой каждое задание теста коррелирует с подлинными оценками инди­видуумов, т.е. с теми оценками, которые, как вы помните, каж­дый индивидуум мог бы получить, если бы ему предъявили все задания, которые потенциально могли бы быть созданы для изме­рения данной области. Если мы тем или иным способом выделим задания, каждое из которых имеет существенные корреляции с подлинной оценкой, при сложении оценок индивидуумов по этим заданиям общие показатели по тесту обязаны дать существенную корреляцию с подлинной оценкой. Это, разумеется, другой спо­соб утверждать, что тест имеет высокую внутреннюю согласован­ность или надежность. Таким образом, если можно выделить зада­ния, которые обнаруживают существенные корреляции с подлин­ной оценкой, можно также выбрать те задания, которые будут обеспечивать высоконадежный тест.

Проблема состоит в том, что мы никогда не можем получить подлинные оценки индивидуумов. Однако существует один фраг­мент данных, который, как может быть показано, приближается к ним, а именно общая оценка индивидуумов по всем заданиям теста. Поэтому классический анализ заданий просто предусматри­вает корреляции общего показателя по тесту с оценками по каж­дому из отдельных заданий. Рассмотрим, например, данные из табл. 18.1, которые представляют ответы шести испытуемых на тест из пяти заданий (где правильный ответ оценивался 1, а непра­вильный 0) и общую оценку каждого испытуемого по этому тесту.

Таблица 18.1

Гипотетические данные для анализа заданий



Задание 1

Задание 2

Задание

3


Задание 4

Задание

5'


Общая

оценка


Испытуемый 1

1

0

1

1

1

4

Испытуемый 2

0

1

1

1

0

3

Испытуемый 3

0

0

1

0

0

1

Испытуемый 4

0

0

1

0

0

1

Испытуемый 5

0

1

0

1

1

3

Испытуемый 6

1

0

1

1

0

3

г с общей

0,63

0,32

-0,20

0,95

0,63



оценкой













г с общей

0,11

0,22

-0,48

0,87

0,50



оценкой/коррек-













тированный













<< предыдущая страница   следующая страница >>



Не стоит бояться старости. Старость бессильна. Збигнев Холодюк
ещё >>