6.3 Проведение экспериментов

ЦЕЛИ ОБУЧЕНИЯ

Опишите несколько стратегий набора участников для эксперимента.

Объясните, почему важно стандартизировать процедуру эксперимента и несколько способов сделать это.

Объясните, что такое пилотное тестирование и почему оно важно.

Информации, представленной до сих пор в этой главе, достаточно, чтобы спланировать простой эксперимент. Однако когда приходит время проводить этот эксперимент, возникает несколько дополнительных практических вопросов. В этом разделе мы рассмотрим некоторые из этих проблем и пути их решения. Большая часть этой информации применима как к неэкспериментальным исследованиям, так и к экспериментальным.

Набор участников

Конечно, вы должны думать о том, как привлечь участников с самого начала любого исследовательского проекта. Например, если у вас нет доступа к людям, страдающим шизофренией, или к несовершеннолетним правонарушителям, находящимся в заключении, нет смысла планировать исследование, посвященное этим группам населения. Но даже если вы планируете использовать удобную выборку, вам придется набирать участников для своего исследования.

Существует несколько подходов к набору участников. Один из них заключается в использовании участников из формального пула субъектов .— сложившаяся группа людей, давших согласие на то, чтобы с ними связались по поводу участия в научных исследованиях. Например, во многих колледжах и университетах есть предметный пул, состоящий из студентов, зачисленных на вводные курсы по психологии, которые должны принять участие в определенном количестве исследований, чтобы соответствовать требованиям курса. Исследователи публикуют описания своих исследований, а студенты регистрируются для участия, как правило, через онлайн-систему. Участники, не входящие в тематические пулы, также могут быть привлечены путем размещения или публикации рекламных объявлений или личных обращений к группам, представляющим интересующую группу населения. Например, исследователь, заинтересованный в изучении пожилых людей, может организовать выступление на собрании жителей пенсионного сообщества, чтобы объяснить исследование и попросить добровольцев.

Волонтерская тема

Даже если участники исследования получают компенсацию в виде курсового кредита, небольшой суммы денег или шанса на лечение от психологической проблемы, они все равно остаются добровольцами. Это стоит учитывать, потому что люди, добровольно участвующие в психологических исследованиях, предсказуемо отличаются от тех, кто не участвует в них. В частности, есть убедительные доказательства того, что в среднем добровольцы обладают следующими характеристиками по сравнению с недобровольцами (Rosenthal & Rosnow, 1976): Rosenthal, R. & Rosnow, RL (1976). Волонтерская тема . Нью-Йорк, штат Нью-Йорк: Уайли.

Их больше интересует тема исследования.

Они более образованны.

У них больше потребность в одобрении.

У них более высокий коэффициент интеллекта (IQ).

Они более общительны.

Они выше по социальному классу.

Это может быть проблемой внешней валидности, если есть основания полагать, что участники с такими характеристиками, вероятно, будут вести себя иначе, чем население в целом. Например, при тестировании различных методов убеждения людей рациональный аргумент может работать лучше на добровольцев, чем на население в целом, из-за их в целом более высокого уровня образования и IQ.

Во многих полевых экспериментах задача состоит не в наборе участников, а в их выборе. Например, исследователи Николя Геген и Мари-Аньес де Гейл провели полевой эксперимент по изучению влияния улыбки на помощь, в котором участниками были покупатели в супермаркете. Сообщник, спускающийся по лестнице, смотрел прямо на покупателя, идущего по лестнице, и либо улыбался, либо не улыбался. Вскоре после этого покупатель столкнулся с другим сообщником, который уронил на землю несколько компьютерных дискет. Зависимой переменной было то, остановился ли покупатель, чтобы помочь подобрать дискеты (Guéguen & de Gail, 2003). Геген, Н., и де Гейл, Мари-Аньес. (2003). Влияние улыбки на помогающее поведение: улыбка и доброе самарянинское поведение. Отчеты о связи, 16 , 133–140.Обратите внимание, что эти участники не были «набраны», но исследователям все же нужно было выбрать их среди всех покупателей, поднимавшихся по лестнице в тот день. Чрезвычайно важно, чтобы этот вид отбора производился в соответствии с четко определенным набором правил, которые устанавливаются до начала сбора данных и могут быть четко объяснены впоследствии. В этом случае при каждом спуске по лестнице сообщнику давали указание смотреть на первого встречного человека в возрасте от 20 до 50 лет. Только если человек смотрел в ответ, он или она становился участником исследование. Смысл наличия четко определенного правила отбора состоит в том, чтобы избежать предвзятости при выборе участников. Например, если бы сообщник был свободен выбирать, на каких покупателей он будет смотреть, он мог выбрать дружелюбно выглядящих покупателей, когда он настроен улыбаться, и недружелюбно выглядящих, когда он не настроен улыбаться. Как мы вскоре увидим, такие предубеждения могут быть совершенно непреднамеренными.

Стандартизация процедуры

Во время процедуры на удивление легко ввести посторонние переменные. Например, один и тот же экспериментатор может давать четкие инструкции одному участнику, но расплывчатые инструкции другому. Или один экспериментатор может тепло приветствовать участников, в то время как другой едва смотрит им в глаза. В той мере, в какой такие переменные влияют на поведение участников, они добавляют шум к данным и затрудняют обнаружение влияния независимой переменной. Если они различаются в зависимости от условий, они становятся смешивающими переменными и дают альтернативные объяснения результатов. Например, если участников экспериментальной группы тестирует теплый и дружелюбный экспериментатор, а участников контрольной группы — холодный и недружелюбный,

Пол экспериментатора как посторонняя переменная

Хорошо известно, что на результаты исследования может повлиять то, являются ли участники исследования мужчинами или женщинами. Но как насчет того, является ли экспериментатор мужчиной или женщиной? Существует множество доказательств того, что это тоже имеет значение. Мужчины и женщины-экспериментаторы несколько по-разному взаимодействуют со своими участниками, и, конечно же, участники по-разному реагируют на мужчин и женщин-экспериментаторов (Rosenthal, 1976). Розенталь, Р. (1976). Эффекты экспериментатора в поведенческих исследованиях (расширенная ред.). Нью-Йорк, штат Нью-Йорк: Уайли. Например, в недавнем исследовании восприятия боли участники погружали руки в ледяную воду так долго, как только могли (Ibolya, Brake, & Voss, 2004).Иболя, К., Брейк, А., и Восс, У. (2004). Влияние характеристик экспериментатора на отчеты о боли у женщин и мужчин. Боль, 112 , 142–147. Участники мужского пола дольше терпели боль, когда экспериментатором была женщина, а участники женского пола дольше терпели боль, когда экспериментатором был мужчина.

Исследователь Роберт Розенталь провел большую часть своей карьеры, показывая, что такого рода непреднамеренные изменения в процедуре действительно влияют на поведение участников. Кроме того, одним из важных источников таких вариаций являются ожидания экспериментатора относительно того, как участники «должны» вести себя в эксперименте. Это называется эффектом ожидания экспериментатора (Rosenthal, 1976). Розенталь, Р. (1976). Эффекты экспериментатора в поведенческих исследованиях (расширенная ред.). Нью-Йорк, штат Нью-Йорк: Уайли.Например, если экспериментатор ожидает, что участники лечебной группы справятся с заданием лучше, чем участники контрольной группы, то он или она может непреднамеренно дать участникам лечебной группы более четкие инструкции или больше поощрения или дать им больше времени для выполнения задания. . Поразительный пример: Розенталь и Кермит Фоде попросили нескольких студентов лабораторного курса психологии обучать крыс бегать по лабиринту. Хотя крысы были генетически похожи, некоторым студентам сказали, что они работают с крысами, способными ходить в лабиринте, которые были выведены, чтобы быть хорошими учениками, а другим студентам сказали, что они работают с крысами, которые не умеют ходить в лабиринте. были воспитаны, чтобы быть плохими учениками. Конечно же, за пять дней обучения «лабиринтные» крысы давали больше правильных ответов, быстрее давали правильные ответы.Розенталь Р. и Фоде К. (1963). Влияние предвзятости экспериментатора на поведение крысы-альбиноса. Наука о поведении, 8 , 183-189. Ясно, что это должны были быть ожидания студентов относительно того, как крысы поведут себя, что имело значение. Но как? Некоторые подсказки получены из данных, собранных в конце исследования, которые показали, что студенты, которые ожидали, что их крысы будут учиться быстро, чувствовали себя более позитивно по отношению к своим животным и сообщали, что вели себя по отношению к ним более дружелюбно (например, больше обращались с ними).

Способ свести к минимуму непреднамеренные изменения в процедуре — максимально стандартизировать ее, чтобы она выполнялась одинаково для всех участников, независимо от их состояния. Вот несколько способов сделать это:

Создайте письменный протокол, в котором будет указано все, что экспериментаторы должны делать и говорить, с момента, когда они приветствуют участников, до момента, когда они их отпускают.

Составьте стандартные инструкции, которые участники читают сами или слово в слово читает им экспериментатор.

Остальную часть процедуры максимально автоматизируйте, используя для этой цели пакеты программ или даже простые компьютерные слайд-шоу.

Предугадывайте вопросы участников и либо задавайте их и отвечайте на них в инструкциях, либо разрабатывайте для них стандартные ответы.

Обучите несколько экспериментаторов протоколу вместе и попросите их попрактиковаться друг на друге.

Убедитесь, что каждый экспериментатор тестирует участников во всех условиях.

Другой хорошей практикой является обеспечение того, чтобы экспериментаторы были «слепы» к исследовательскому вопросу или к условиям, в которых тестируется каждый участник. Идея состоит в том, чтобы свести к минимуму эффекты ожидания экспериментатора путем минимизации ожиданий экспериментаторов. Например, в исследовании лекарств, в котором каждый участник получает лекарство или плацебо, часто бывает так, что ни участники, ни экспериментатор, взаимодействующий с участниками, не знают, какое состояние ему или ей было назначено. Поскольку и участники, и экспериментаторы не замечают этого состояния, это называется двойным слепым исследованием.исследование. (Простое слепое исследование — это исследование, в котором участник, но не экспериментатор, не видит условия.) Конечно, во многих случаях это невозможно. Например, если вы одновременно являетесь исследователем и единственным экспериментатором, вы не можете оставаться слепым к вопросу исследования. Кроме того, во многих исследованиях экспериментатор должен знать условие, потому что он или она должны выполнять процедуру по-разному в разных условиях.

Бухучет, ведение учета, делопроизводство

Очень важно вести хорошие записи, когда вы проводите эксперимент. Как обсуждалось ранее, экспериментаторы обычно создают письменную последовательность условий до начала исследования, а затем проверяют каждого нового участника в следующем условии в последовательности. Когда вы их тестируете, рекомендуется добавить в этот список базовую демографическую информацию; дата, время и место проведения испытаний; и имя экспериментатора, проводившего тестирование. Также неплохо иметь место, где экспериментатор мог бы записывать комментарии о необычных случаях (например, о замешательстве или отказе участника) или возникающих вопросах. Такая информация может пригодиться позже, если вы решите проанализировать половые различия или влияние разных экспериментаторов, или если возникнет вопрос о конкретном участнике или сеансе тестирования.

Также может быть полезно присвоить идентификационный номер каждому участнику, когда вы их тестируете. Обычно достаточно просто пронумеровать их последовательно, начиная с 1. Затем этот номер можно также записать на любых листах ответов или анкетах, созданных участниками, что упрощает их хранение.

Пилотное тестирование

Всегда полезно провести пробную проверку вашего эксперимента. Пилотный тест — это небольшое исследование, проводимое для того, чтобы убедиться, что новая процедура работает, как планировалось. В пилотном тесте вы можете набирать участников формально (например, из установленного пула участников) или неофициально из числа членов семьи, друзей, одноклассников и т. д. Количество участников может быть небольшим, но этого должно быть достаточно, чтобы вы были уверены, что ваша процедура работает по плану. Есть несколько важных вопросов, на которые вы можете ответить, проведя пилотный тест:

Понимают ли участники инструкции?

Какие недоразумения возникают у участников, какие ошибки они совершают и какие вопросы задают?

Участники скучают или разочаровываются?

Эффективна ли косвенная манипуляция? (Вам нужно будет включить проверку манипуляции.)

Могут ли участники угадать исследовательский вопрос или гипотезу?

Сколько времени занимает процедура?

Правильно ли работают компьютерные программы или другие автоматизированные процедуры?

Правильно ли записываются данные?

Конечно, чтобы ответить на некоторые из этих вопросов, вам нужно будет внимательно наблюдать за участниками во время процедуры и поговорить с ними об этом позже. Участники часто не решаются критиковать исследование в присутствии исследователя, поэтому убедитесь, что они понимают, что это экспериментальный тест, и вы искренне заинтересованы в отзывах, которые помогут вам улучшить процедуру. Если процедура работает по плану, то можно приступать к фактическому исследованию. Если есть проблемы, которые нужно решить, вы можете решить их, протестировать новую процедуру и продолжать этот процесс, пока не будете готовы к нему.

КЛЮЧЕВЫЕ ВЫВОДЫ

Есть несколько эффективных методов, которые вы можете использовать для набора участников исследования для вашего эксперимента, в том числе через формальные пулы испытуемых, рекламу и личные обращения. Полевые эксперименты требуют четко определенных процедур отбора участников.

Важно стандартизировать экспериментальные процедуры, чтобы свести к минимуму посторонние переменные, включая эффекты ожидания экспериментатора.

Важно провести одно или несколько небольших пилотных испытаний эксперимента, чтобы убедиться, что процедура работает по плану.

УПРАЖНЕНИЯ

Практика: перечислите два способа, которыми вы можете набирать участников из каждой из следующих групп населения: (а) пожилые люди, (б) безработные, (в) регулярно занимающиеся спортом и (г) математические специальности.

Обсуждение: представьте себе исследование, в котором вы визуально представляете участникам список из 20 слов по одному, ждете некоторое время, а затем просите их вспомнить как можно больше слов. В состоянии стресса им говорят, что они также могут быть выбраны для выступления с короткой речью перед небольшой аудиторией. В нестрессовом состоянии им не говорят, что им, возможно, придется произнести речь. Какие конкретные вещи вы могли бы сделать, чтобы стандартизировать процедуру?