Концептуальное определение конструкции

Наличие четкого и полного концептуального определения конструкта является предпосылкой для хорошего измерения. Во-первых, это позволяет вам принимать обоснованные решения о том, как именно измерять конструкцию. Если бы у вас было лишь смутное представление о том, что вы хотите измерить «память» людей, например, у вас не было бы способа выбрать, должны ли они запоминать список слов из словаря, набор фотографий, недавно выученный навык или опыт давно минувших дней. Поскольку сейчас психологи рассматривают память как набор полунезависимых систем, вам следует уточнить, что вы подразумеваете под «памятью». Если вы заинтересованы в долговременной декларативной памяти (памяти на факты), то имеет смысл, если участники запомнят список слов, которые они выучили на прошлой неделе, но не запомнят и отработают только что выученный навык.

Принятие решения об операционном определении

Использование существующей меры

Обычно хорошей идеей является использование существующей меры, которая успешно использовалась в предыдущих исследованиях. К числу преимуществ относятся следующие: (а) вы экономите время и силы на создании собственной, (б) уже есть некоторые доказательства того, что мера действительна (если она успешно использовалась), и (в) ваши результаты могут быть легко обработаны. сравнивать и комбинировать с предыдущими результатами. На самом деле, если уже существует надежная и валидная мера конструкта, другие исследователи могут ожидать, что вы будете его использовать, если только у вас нет веских и четко сформулированных причин этого не делать.

Если вы решите использовать существующую меру, вам все равно придется выбирать из нескольких альтернатив. Вы можете выбрать наиболее распространенный, тот, который лучше всего свидетельствует о надежности и валидности, тот, который лучше всего измеряет конкретный аспект интересующей вас конструкции (например, физиологическую меру стресса, если вас больше всего интересует его лежащей в основе физиологии), или даже тот, который проще всего использовать. Например, личностный опросник с десятью элементами (TIPI) представляет собой анкету для самоотчетов, которая измеряет все личностные параметры Большой пятерки всего с 10 элементами (Gosling, Rentfrow, & Swann, 2003). Гослинг, С.Д., Рентфроу, П.Дж., и Суонн, В.Б., младший (2003). Очень краткая оценка личностных областей Большой пятерки. Журнал исследований личности, 37 , 504–528.Он не так надежен или действителен, как более длительные и комплексные меры, но исследователь может использовать его, когда время тестирования сильно ограничено.

Когда существующая мера была создана в первую очередь для использования в научных исследованиях, она обычно подробно описывается в опубликованной исследовательской статье и может свободно использоваться в ваших собственных исследованиях — с надлежащим цитированием. Вы можете обнаружить, что более поздние исследователи, использующие ту же меру, описывают ее лишь кратко, но дают ссылку на исходную статью, и в этом случае вам придется получить подробности из исходной статьи. Американская психологическая ассоциация также публикует Справочник неопубликованных экспериментальных измерений., который представляет собой обширный каталог мер, которые использовались в предыдущих исследованиях. Многие существующие меры, особенно те, которые применяются в клинической психологии, являются собственностью. Это означает, что права на них принадлежат издателю, и вам придется их приобрести. К ним относятся многие стандартные тесты интеллекта, опросник депрессии Бека и Миннесотский многофазный опросник личности (MMPI). Подробную информацию о многих из этих показателей и о том, как их получить, можно найти в других справочниках, включая « Тесты в печати » и « Ежегодник умственных измерений» . Скорее всего, вы сможете найти эти справочники в библиотеке своего колледжа или университета.

Создание собственной меры

Вместо использования существующей меры вы можете создать свою собственную. Возможно, нет существующей меры интересующей вас конструкции или существующие слишком сложны или требуют много времени для использования. Или, возможно, вы хотите использовать новую меру специально, чтобы увидеть, работает ли она так же, как существующие меры, то есть для демонстрации сходящихся операций. В этом разделе мы рассмотрим некоторые общие вопросы создания новых показателей, которые в равной степени применимы к самоотчетам, поведенческим и физиологическим показателям. Более подробные рекомендации по созданию показателей самоотчета представлены в Главе 9 «Исследования в рамках опроса» .

Во-первых, имейте в виду, что большинство новых мер в психологии на самом деле являются вариациями существующих мер, поэтому вам все равно следует искать идеи в исследовательской литературе. Возможно, вы сможете изменить существующий вопросник, создать бумажно-карандашную версию показателя, который обычно компьютеризируется (или наоборот), или адаптировать показатель, который традиционно использовался для другой цели. Например, знаменитая задача Струпа (Stroop, 1935) Stroop, JR (1935). Исследования вмешательства в серийных словесных реакций. Журнал экспериментальной психологии, 18 , 643–662.— в котором люди быстро называют цвета, которыми напечатаны различные цветные слова, — был адаптирован для изучения социальной тревожности. Социально тревожные люди медленнее называют цвета, когда слова имеют негативные социальные коннотации, такие как «глупый» (Amir, Freshman, & Foa, 2002). Амир, Н., Фрешман, М., и Фоа, Э. (2002). Улучшено вмешательство Stroop для угрозы при социальной фобии. Журнал тревожных расстройств, 16 , 1–9.

При создании новой меры следует стремиться к простоте. Помните, что ваши участники не так заинтересованы в вашем исследовании, как вы, и что они будут сильно различаться по своей способности понимать и выполнять любое задание, которое вы им поручите. Вы должны создать набор четких инструкций, используя простой язык, который вы можете представить в письменной форме или прочитать вслух (или и то, и другое). Также рекомендуется включить один или несколько практических элементов, чтобы участники могли ознакомиться с заданием, и предусмотреть для них возможность задавать вопросы, прежде чем продолжить. Также лучше, чтобы измерение было кратким, чтобы избежать утомления или разочарования ваших участников до такой степени, что их ответы начинают становиться менее надежными и достоверными.

Однако потребность в краткости необходимо сопоставлять с тем фактом, что почти всегда лучше, чтобы мера включала несколько элементов, а не один элемент. Этому есть две причины. Один из них касается достоверности содержания. Для адекватного покрытия конструкции часто требуется несколько элементов. Другое дело надежность. На реакцию людей на отдельные вопросы могут влиять всевозможные не относящиеся к делу факторы — непонимание конкретного вопроса, кратковременное отвлечение внимания или простая ошибка, например выбор неверного варианта ответа. Но когда несколько ответов суммируются или усредняются, эффекты этих нерелевантных факторов, как правило, уравновешивают друг друга, чтобы получить более надежные оценки. Помните, однако, что несколько элементов должны быть структурированы таким образом, чтобы их можно было объединить в единую общую оценку путем суммирования или усреднения. Чтобы измерить «финансовую ответственность», студент может спросить людей об их годовом доходе, узнать их кредитный рейтинг и попросить их оценить, насколько они «бережливы», но нет очевидного способа объединить эти ответы в общий балл. Чтобы создать настоящую оценку из нескольких пунктов, учащийся может вместо этого попросить людей оценить степень, в которой 10 утверждений о финансовой ответственности описывают их по одной и той же пятибалльной шкале.

Наконец, лучший способ удостовериться в том, что ваше измерение имеет четкие инструкции, включает в себя достаточную практику и имеет подходящую длину, — это протестировать нескольких человек. (Семья и друзья часто прекрасно служат этой цели). Наблюдайте за тем, как они выполняют задание, засекайте время и попросите их потом прокомментировать, насколько это было легко или сложно, были ли ясны инструкции и что-нибудь еще, что вас может интересовать. Очевидно, что лучше выявить проблемы с мерой, прежде чем начинать какой-либо крупномасштабный сбор данных.

Реализация меры

Вы захотите реализовать любую меру таким образом, чтобы максимизировать ее надежность и достоверность. В большинстве случаев лучше тестировать всех в одинаковых условиях, в идеале — в тишине и без отвлекающих факторов. Тестирование участников в группах часто проводится, потому что это эффективно, но имейте в виду, что оно может отвлекать внимание, что снижает надежность и достоверность измерения. Как всегда, полезно использовать предыдущие исследования в качестве руководства. Если другие успешно протестировали людей в группах с использованием определенной меры, то вам также следует подумать о том, чтобы сделать это.

Имейте также в виду, что люди могут по-разному реагировать на измерения, что снижает надежность и достоверность оценок. Хотя некоторые неприятные участники могут намеренно реагировать таким образом, чтобы «испортить» исследование, реакция участников , скорее всего, примет противоположную форму. Приятные участники могут реагировать так, как, по их мнению, от них ожидают. Они могут участвовать в социально желательном реагировании . Например, люди с низкой самооценкой соглашаются с тем, что они чувствуют себя достойными людьми не потому, что они действительно так считают, а потому, что они считают это социально приемлемой реакцией и не хотят выглядеть плохо в глазах исследователя. Кроме того, исследования могут иметь встроенные характеристики спроса.: намеки на то, как исследователь ожидает поведения участников. Например, участница, чье отношение к физическим упражнениям измеряется сразу после того, как ее попросили прочитать отрывок об опасностях сердечно-сосудистых заболеваний, может обоснованно заключить, что этот отрывок предназначен для улучшения ее отношения. В результате она может отреагировать более благосклонно, потому что считает, что исследователь ожидает от нее этого. Наконец, ваши собственные ожидания могут непреднамеренно повлиять на поведение участников.

Есть несколько мер предосторожности, которые вы можете предпринять, чтобы свести к минимуму такие реакции. Во-первых, сделать процедуру как можно более ясной и краткой, чтобы у участников не возникло соблазна выразить свое недовольство вашими результатами. Другой — гарантировать анонимность участников и дать им понять, что вы это делаете. Если вы тестируете их в группах, убедитесь, что они сидят достаточно далеко друг от друга и не могут видеть ответы друг друга. Дайте им всем одинаковые письменные принадлежности, чтобы их нельзя было узнать, например, по розовой блестящей ручке, которой они пользовались. Вы даже можете разрешить им запечатывать заполненные анкеты в отдельные конверты или помещать их в почтовый ящик, где они сразу же смешиваются с анкетами других пользователей. Хотя информированное согласие требует сообщить участникам, что они будут делать, он не требует раскрытия вашей гипотезы или другой информации, которая может подсказать участникам, какой реакции вы ожидаете от них. Опросник, предназначенный для измерения финансовой ответственности, не обязательно должен называться «Отвечаете ли вы в финансовом отношении?» Он может называться «Опросник денег» или вообще не иметь названия. Наконец, последствия ваших ожиданий можно свести к минимуму, организовав проведение измерения помощником, который не знает ни его намерения, ни проверяемой гипотезы. Независимо от того, возможно ли это, вы должны стандартизировать все взаимодействия между исследователями и участниками — например, всегда читая один и тот же набор инструкций слово в слово. Опросник, предназначенный для измерения финансовой ответственности, не обязательно должен называться «Отвечаете ли вы в финансовом отношении?» Он может называться «Опросник денег» или вообще не иметь названия. Наконец, последствия ваших ожиданий можно свести к минимуму, организовав проведение измерения помощником, который не знает ни его намерения, ни проверяемой гипотезы. Независимо от того, возможно ли это, вы должны стандартизировать все взаимодействия между исследователями и участниками — например, всегда читая один и тот же набор инструкций слово в слово. Опросник, предназначенный для измерения финансовой ответственности, не обязательно должен называться «Отвечаете ли вы в финансовом отношении?» Он может называться «Опросник денег» или вообще не иметь названия. Наконец, последствия ваших ожиданий можно свести к минимуму, организовав проведение измерения помощником, который не знает ни его намерения, ни проверяемой гипотезы. Независимо от того, возможно ли это, вы должны стандартизировать все взаимодействия между исследователями и участниками — например, всегда читая один и тот же набор инструкций слово в слово.

Оценка меры

После того, как вы использовали свою меру на выборке людей и получили набор баллов, вы можете более тщательно оценить ее с точки зрения надежности и достоверности. Даже если эта мера широко использовалась другими исследователями и уже продемонстрировала надежность и валидность, вы не должны предполагать, что она сработала так, как ожидалось, для вашего конкретного образца и в ваших конкретных условиях тестирования. Как бы то ни было, теперь у вас есть дополнительные доказательства надежности и валидности измерения, и было бы разумно добавить эти доказательства в исследовательскую литературу.

В большинстве дизайнов исследований невозможно оценить надежность повторного тестирования, поскольку участников тестируют только один раз. В качестве новой меры вы можете разработать исследование специально для оценки его надежности при повторном тестировании путем двухкратного тестирования одной и той же группы участников. В других случаях исследование, предназначенное для ответа на другой вопрос, все же позволяет оценить надежность повторного тестирования. Например, преподаватель психологии может измерить отношение своих студентов к критическому мышлению, используя одну и ту же меру в начале и в конце семестра, чтобы увидеть, есть ли какие-либо изменения. Даже если изменений не будет, он все равно может посмотреть на корреляцию между оценками студентов в два раза, чтобы оценить надежность измерения при повторном тестировании.

Критериальную и дискриминантную валидность можно оценивать различными способами. Например, если ваше исследование включало более одного показателя одного и того же конструкта или показателей концептуально различных конструктов, вам следует изучить корреляции между этими показателями, чтобы убедиться, что они соответствуют вашим ожиданиям. Обратите также внимание на то, что успешная экспериментальная манипуляция также свидетельствует о достоверности критерия. Напомним, что Макдональд и Мартино манипулировали настроением участников, заставляя их думать либо о положительных, либо о отрицательных мыслях, и после манипулирования их измерение настроения показало отчетливую разницу между двумя группами. Это одновременно свидетельствовало о том, что их манипуляции с настроением сработали и что их оценка настроения была достоверной.

Но что, если ваши недавно собранные данные ставят под сомнение надежность или достоверность вашей меры? Короткий ответ заключается в том, что вы должны спросить, почему. Возможно, что-то не так с вашей мерой или с тем, как вы ее применяли. Возможно, что-то не так с вашим концептуальным определением. Возможно, ваша экспериментальная манипуляция не удалась. Например, если измерение настроения не показало никакой разницы между людьми, которым вы дали указание мыслить позитивно и негативно, возможно, это связано с тем, что участники на самом деле думали не так, как предполагалось, или что эти мысли на самом деле не влияли на их настроение. Короче говоря, нужно «вернуться к чертежной доске», чтобы пересмотреть меру, пересмотреть концептуальное определение или попробовать новую манипуляцию.

КЛЮЧЕВЫЕ ВЫВОДЫ

Хорошее измерение начинается с четкого концептуального определения измеряемого конструкта. Это достигается как ясным и детальным мышлением, так и обзором исследовательской литературы.

Часто у вас есть возможность использовать существующую меру или создать новую меру. Вы должны принять это решение, исходя из наличия существующих мер и их адекватности для ваших целей.

Можно предпринять несколько простых шагов для создания новых мер и для реализации как существующих, так и новых мер, которые могут помочь максимизировать надежность и достоверность.

После того, как вы использовали меру, вы должны переоценить ее надежность и достоверность на основе ваших новых данных. Помните, что оценка надежности и валидности — это непрерывный процесс.

УПРАЖНЕНИЯ

Практика: напишите свое собственное концептуальное определение уверенности в себе, раздражительности и атлетизма.

Практика: выберите конструкт (сексуальная ревность, уверенность в себе и т. д.) и найдите два показателя этого конструкта в исследовательской литературе. Если бы вы проводили собственное исследование, какое из них (если бы использовали) вы бы использовали и почему?