К основному контенту

 


Экспериментальное исследование

В конце 1960-х социальные психологи Джон Дарли и Бибб Латане выдвинули контринтуитивную гипотезу. Чем больше свидетелей несчастного случая или преступления, тем меньше вероятность того, что кто-либо из них поможет пострадавшему (Darley & Latané, 1968). Дарли, Дж. М., и Латане, Б. (1968). Вмешательство свидетелей в чрезвычайных ситуациях: Распределение ответственности. Журнал личности и социальной психологии, 4 , 377–383.Они также выдвинули теорию о том, что это происходит потому, что каждый свидетель чувствует меньшую ответственность за помощь — процесс, называемый «распределением ответственности». Дарли и Латане отметили, что их идеи согласуются со многими реальными случаями. Например, женщина из Нью-Йорка по имени Китти Дженовезе подверглась нападению и была убита, а несколько свидетелей не смогли помочь. Но Дарли и Латане также понимали, что такие отдельные случаи не дают убедительных доказательств предполагаемого ими «эффекта свидетеля». Например, невозможно было узнать, помог бы кто-нибудь из свидетелей убийства Китти Дженовезе, если бы их было меньше.


Итак, чтобы проверить свою гипотезу, Дарли и Латане создали в лаборатории смоделированную чрезвычайную ситуацию. Каждого из их студентов-участников колледжа изолировали в небольшой комнате и сказали, что он или она будут обсуждать жизнь колледжа с другими студентами через систему внутренней связи. Однако в начале обсуждения у одного из студентов начался приступ эпилепсии. По интеркому прозвучало следующее: «Мне действительно-э-э-необходима помощь, так что если кто-то-э-э-окажет мне ч-помощ-э-э-э-э-э-э-э-э-э-э-э-э-э-э-э-э-э-э-м-не мог бы кто-то-э-э- Er-Help-er-uh-uh-uh (задыхающиеся звуки) ... Я умру-эр-эр-я ... ]» (Дарли и Латане, 1968, стр. 379). Дарли, Дж. М., и Латане, Б. (1968). Вмешательство свидетелей в чрезвычайных ситуациях: Распределение ответственности.Журнал личности и социальной психологии, 4 , 377–383.


На самом деле других студентов не было. Эти комментарии были предварительно записаны и воспроизведены, чтобы создать видимость реальной чрезвычайной ситуации. Ключом к исследованию было то, что некоторым участникам сказали, что в обсуждении участвовал только один студент (жертва), другим сказали, что в нем участвовали два других студента, а третьим сказали, что в нем участвовали еще пять студентов. Поскольку это было единственным различием между этими тремя группами участников, любое различие в их стремлении помочь жертве должно было быть вызвано этим. И действительно, вероятность того, что участник вышел из комнаты, чтобы обратиться за помощью к «жертве», уменьшилась с 85% до 62% и 31% по мере увеличения числа «свидетелей».


Притча о 38 свидетелях

История Китти Дженовезе была рассказана и пересказана во многих учебниках по психологии. Стандартная версия состоит в том, что свидетелей преступления было 38 человек, все они наблюдали (или слушали) в течение длительного периода времени, и никто из них ничем не помог. Однако недавние исследования показывают, что стандартная история во многих отношениях неточна (Manning, Levine, & Collins, 2007). Мэннинг, Р., Левин, М., и Коллинз, А. (2007). Убийство Китти Дженовезе и социальная психология оказания помощи: притча о 38 свидетелях. Американский психолог, стр. 62 , 555–562.Например, на суде дали показания только шесть очевидцев, ни один из них не знал, что он или она были свидетелями нападения со смертельным исходом, и было несколько сообщений о том, что свидетели звонили в полицию или даже приходили на помощь Китти Дженовезе. Хотя стандартная история вдохновила целую серию исследований эффекта свидетеля и распределения ответственности, она, возможно, также отвлекла внимание исследователей и студентов от других не менее интересных и важных вопросов психологии помощи, включая условия, в которых на самом деле люди коллективно реагируют на чрезвычайные ситуации.


Исследование, которое провели Дарли и Латане, было исследованием особого рода, называемым экспериментом. Эксперименты используются для определения не только того, существует ли статистическая связь между двумя переменными, но также и того, является ли эта связь причинно-следственной. По этой причине эксперименты являются одним из наиболее распространенных и полезных инструментов в арсенале психолога-исследователя. В этой главе мы подробно рассмотрим эксперименты. Сначала мы рассмотрим, что отличает эксперименты от других видов исследований и почему они подтверждают причинно-следственные выводы, а другие виды исследований — нет. Затем мы рассмотрим два основных способа планирования эксперимента — между испытуемыми и внутри испытуемых — и обсудим их плюсы и минусы. Наконец, рассмотрим несколько важных практических вопросов, возникающих при проведении экспериментов.


6.1 Основы эксперимента

ЦЕЛИ ОБУЧЕНИЯ

Объясните, что такое эксперимент, и определите примеры исследований, которые являются экспериментами, и исследований, которые не являются экспериментами.

Объясните, что такое внутренняя валидность и почему считается, что эксперименты обладают высокой внутренней валидностью.

Объясните, что такое внешняя валидность, и оцените исследования с точки зрения их внешней валидности.

Проведите различие между манипулированием независимой переменной и управлением посторонними переменными и объясните важность каждой из них.

Распознайте примеры смешанных переменных и объясните, как они влияют на внутреннюю валидность исследования.

Что такое эксперимент?

Как мы видели ранее в книге, эксперимент — это тип исследования, специально предназначенный для ответа на вопрос, существует ли причинно-следственная связь между двумя переменными. Вызывают ли изменения в независимой переменнойизменения зависимой переменной? Эксперименты имеют две основные особенности. Во-первых, исследователи манипулируют или систематически изменяют уровень независимой переменной. Различные уровни независимой переменной называются условиями. Например, в эксперименте Дарли и Латане независимой переменной было количество свидетелей, которые, по мнению участников, присутствовали. Исследователи манипулировали этой независимой переменной, сообщая участникам, что в обсуждении участвовали один, два или пять других студентов, тем самым создавая три условия. Вторая фундаментальная особенность эксперимента заключается в том, что исследователь контролирует или минимизирует изменчивость переменных, отличных от независимой и зависимой переменных. Эти другие переменные называются внешними переменными. Дарли и Латане проверили всех своих участников в одной комнате, подвергли их одной и той же чрезвычайной ситуации и так далее. Они также случайным образом распределили своих участников по условиям, чтобы три группы были похожи друг на друга с самого начала. Обратите внимание, что хотя словаманипулирование и контроль имеют схожие значения в повседневном языке, исследователи проводят между ними четкое различие. Они манипулируют независимой переменной, систематически изменяя ее уровни, и контролируют другие переменные, поддерживая их постоянными.


Внутренняя и внешняя валидность

Внутренняя валидность

Напомним, что тот факт, что две переменные статистически связаны, не обязательно означает, что одна является причиной другой. «Корреляция не подразумевает причинно-следственной связи». Например, если бы люди, которые регулярно занимаются спортом, были счастливее тех, кто не занимается спортом регулярно, это не обязательно означало бы, что занятия спортом повышают уровень счастья людей. Вместо этого это может означать, что большее счастье заставляет людей заниматься спортом (проблема направленности) или что что-то вроде улучшения физического здоровья заставляет людей заниматься спортом и быть счастливее (проблема третьей переменной).


Цель эксперимента, однако, состоит в том, чтобы показать, что две переменные статистически связаны, и сделать это таким образом, чтобы подтвердить вывод о том, что независимая переменная вызвала любые наблюдаемые различия в зависимой переменной. Основная логика такова: если исследователь создает два или более очень похожих условия, а затем манипулирует независимой переменной, чтобы получить только одно различие между ними, то любое последующее различие между условиями должно быть вызвано независимой переменной. Например, поскольку единственное различие между условиями Дарли и Латане заключалось в количестве студентов, которые, по мнению участников, были вовлечены в обсуждение, это должно было быть причиной различий в помощи между условиями.


Считается, что эмпирическое исследование имеет высокую внутреннюю валидность , если способ его проведения подтверждает вывод о том, что независимая переменная вызвала любые наблюдаемые различия в зависимой переменной. Таким образом, эксперименты обладают высокой внутренней валидностью, потому что способ их проведения — с манипулированием независимой переменной и контролем посторонних переменных — обеспечивает сильную поддержку причинно-следственных выводов.


Внешняя валидность

В то же время то, как проводятся эксперименты, иногда вызывает разного рода критику. В частности, необходимость манипулировать независимой переменной и контролировать посторонние переменные означает, что эксперименты часто проводятся в условиях, которые кажутся искусственными или непохожими на «реальную жизнь» (Станович, 2010). Станович, К.Е. (2010). Как правильно думать о психологии (9-е изд.). Бостон, Массачусетс: Аллин и Бэкон.Во многих психологических экспериментах все участники — студенты колледжей, которые приходят в аудиторию или лабораторию, чтобы заполнить серию бумажных и карандашных вопросников или выполнить тщательно разработанное компьютерное задание. Рассмотрим, например, эксперимент, в котором исследователь Барбара Фредриксон и ее коллеги попросили студентов колледжа прийти в лабораторию на территории кампуса и выполнить тест по математике в купальниках (Fredrickson, Roberts, Noll, Quinn, & Twenge, 1998). Фредриксон, Б.Л., Робертс, Т.-А., Нолл, С.М., Куинн, Д.М., и Твенге, Дж.М. (1998). Купальник становится вами: половые различия в самообъективации, воздержании от еды и математических способностях. Журнал личности и социальной психологии, 75 , 269–284.Поначалу это может показаться глупым. Когда студенты колледжа когда-нибудь должны будут выполнять тесты по математике в купальниках помимо этого эксперимента?


Перед нами стоит проблема внешней валидности. Эмпирическое исследование имеет высокую внешнюю валидностьесли способ его проведения позволяет обобщать результаты на людей и ситуации, выходящие за рамки реально изученных. Как правило, исследования имеют более высокую внешнюю валидность, когда участники и изучаемая ситуация подобны тем, на которые исследователи хотят обобщить. Представьте, например, что группу исследователей интересует, как на покупателей в крупных продуктовых магазинах влияет то, упакованы ли хлопья для завтрака в желтые или фиолетовые коробки. Их исследование имело бы высокую внешнюю валидность, если бы они изучали решения обычных людей, совершающих еженедельные покупки в реальном продуктовом магазине. Если бы покупатели купили намного больше хлопьев в фиолетовых коробках, исследователи были бы вполне уверены, что это верно и для других покупателей в других магазинах. Однако их исследование будет иметь относительно низкую внешнюю валидность. если бы они изучали выборку студентов колледжа в лаборатории избранного колледжа, которые просто оценивали привлекательность различных цветов, представленных на экране компьютера. Если бы студенты сочли фиолетовый цвет более привлекательным, чем желтый, исследователи не были бы уверены, что это имеет отношение к решениям покупателей о покупке хлопьев.


Однако мы должны быть осторожны, чтобы не сделать опрометчивого вывода, что эксперименты имеют низкую внешнюю валидность. Одна из причин заключается в том, что эксперименты не должны казаться искусственными. Учтите, что эксперимент Дарли и Латане обеспечил достаточно хорошую симуляцию реальной чрезвычайной ситуации. Или рассмотрим полевые эксперименты , которые проводятся полностью за пределами лаборатории. В одном из таких экспериментов Роберт Чалдини и его коллеги изучали, предпочитают ли гости отеля повторно использовать свои полотенца в течение второго дня, а не стирать их в целях экономии воды и энергии (Cialdini, 2005). Чалдини, Р. (2005 г., апрель). Не сдавайтесь: используйте исследования социального влияния. Наблюдатель АПС . Извлекаются изhttp://www.psychologicalscience.org/observer/getArticle.cfm?id=1762 Эти исследователи манипулировали сообщением на карточке, оставленной в большом количестве гостиничных номеров. В одной версии сообщения подчеркивалось уважение к окружающей среде, в другой подчеркивалось, что отель пожертвует часть своих сбережений на экологические цели, а в третьей подчеркивалось, что большинство гостей отеля предпочитают повторно использовать свои полотенца. В результате гости, получившие сообщение о том, что большинство постояльцев отеля предпочитают повторно использовать свои полотенца, повторно использовали свои собственные полотенца значительно чаще, чем гости, получившие любое из двух других сообщений. Учитывая то, как они провели свое исследование, весьма вероятно, что их результаты будут справедливы и для других гостей в других отелях.


Вторая причина не делать опрометчивого вывода о низкой внешней валидности экспериментов заключается в том, что они часто проводятся для изучения психологических процессов .которые, вероятно, будут действовать в отношении различных людей и ситуаций. Вернемся к эксперименту Фредриксона и его коллег. Они обнаружили, что женщины в их исследовании, но не мужчины, хуже справлялись с тестом по математике, когда были в купальниках. Они утверждали, что это произошло из-за большей склонности женщин объективировать себя - думать о себе с точки зрения стороннего наблюдателя, что отвлекает их внимание от других задач. Более того, они утверждали, что этот процесс самообъективации и его влияние на внимание, вероятно, проявляются у самых разных женщин и ситуаций, даже если ни одна из них никогда не окажется на контрольной по математике в купальнике.


Манипуляции с независимой переменной

Опять же, манипулировать независимой переменной означает систематически изменять ее уровень, чтобы разные группы участников подвергались воздействию разных уровней этой переменной или одна и та же группа участников подвергалась воздействию разных уровней в разное время. Например, чтобы увидеть, влияет ли экспрессивное письмо на здоровье людей, исследователь может поручить некоторым участникам писать о травматических переживаниях, а другим — о нейтральных переживаниях. Различные уровни независимой переменной называются условиями , и исследователи часто дают состояниям короткие описательные имена, чтобы о них было легко говорить и писать. В этом случае состояния можно назвать «травматическим состоянием» и «нейтральным состоянием».


Обратите внимание, что манипулирование независимой переменной должно включать активное вмешательство исследователя. Сравнение групп людей, различающихся по независимой переменной, до начала исследования — это не то же самое, что манипулирование этой переменной. Например, исследователь, который сравнивает здоровье людей, которые уже ведут дневник, со здоровьем людей, которые не ведут дневник, не манипулировал этой переменной и, следовательно, не проводил эксперимент. Это важно, потому что группы, которые уже различаются по одному признаку в начале исследования, скорее всего, будут различаться и по другим признакам. Например, люди, которые предпочитают вести дневники, также могут быть более добросовестными, более интровертными или менее подверженными стрессу, чем люди, которые этого не делают. Следовательно, любая наблюдаемая разница между двумя группами с точки зрения их здоровья могла быть вызвана тем, ведут ли они дневник или нет, или могла быть вызвана любыми другими различиями между людьми, которые ведут дневники и не ведут их. Таким образом, активное манипулирование независимой переменной имеет решающее значение для устранения проблемы с третьей переменной.


Конечно, во многих ситуациях независимой переменной нельзя манипулировать по практическим или этическим соображениям, и поэтому эксперимент невозможен. Например, нельзя манипулировать тем, имеют ли люди значительный опыт раннего заболевания или нет, что делает невозможным проведение эксперимента по влиянию раннего опыта болезни на развитие ипохондрии. Это не означает, что невозможно изучить взаимосвязь между ранними переживаниями болезни и ипохондрией — только то, что это должно быть сделано с использованием неэкспериментальных подходов. Мы обсудим это подробно позже в книге.


Во многих экспериментах независимая переменная является конструкцией, которой можно манипулировать только косвенно. Например, исследователь может попытаться косвенно манипулировать уровнем стресса участников, говоря некоторым из них, что у них есть пять минут, чтобы подготовить короткую речь, которую они затем должны будут произнести перед аудиторией других участников. В таких ситуациях исследователи часто включают в свою процедуру проверку на манипулирование. Проверка манипуляции — это отдельная мера конструкции, которой исследователь пытается манипулировать. Например, исследователи, пытающиеся манипулировать уровнем стресса участников, могут дать им бумажный опросник или измерить их кровяное давление — возможно, сразу после манипуляции или в конце процедуры — чтобы убедиться, что они успешно манипулировали этой переменной.


Контроль посторонних переменных

Внешняя переменнаяэто все, что меняется в контексте исследования, кроме независимых и зависимых переменных. В эксперименте по влиянию выразительного письма на здоровье, например, внешние переменные будут включать переменные участников (индивидуальные различия), такие как их способность писать, их диета и размер их обуви. Они также будут включать переменные ситуации или задачи, такие как время суток, когда участники пишут, пишут ли они от руки или на компьютере, а также погода. Посторонние переменные создают проблему, потому что многие из них могут иметь некоторое влияние на зависимую переменную. Например, на здоровье участников будут влиять многие другие факторы, помимо того, занимаются ли они экспрессивным письмом или нет. Это может затруднить отделение влияния независимой переменной от влияния посторонних переменных,контролировать посторонние переменные, удерживая их постоянными.


Посторонние переменные как «шум»

Посторонние переменные затрудняют обнаружение влияния независимой переменной двумя способами. Один из них заключается в добавлении к данным изменчивости или «шума». Представьте себе простой эксперимент по влиянию настроения (счастливого или грустного) на количество счастливых детских событий, которые люди могут вспомнить. Участников настраивают на негативное или позитивное настроение (показывая им счастливый или грустный видеоклип), а затем просят вспомнить как можно больше счастливых событий из детства. Два крайних левых столбца таблицы 6.1 «Гипотетические данные без шума и реальные данные с шумом»показать, как могли бы выглядеть данные, если бы не было посторонних переменных, а количество воспоминаний участников о счастливых детских событиях зависело только от их настроения. Каждый участник в состоянии счастливого настроения вспомнил ровно четыре счастливых события детства, а каждый участник в состоянии грустного настроения вспомнил ровно три. Влияние настроения здесь совершенно очевидно. В действительности, однако, данные, вероятно, больше походили бы на данные в двух крайних правых столбцах таблицы 6.1 «Гипотетические данные без шума и реальные данные с шумом» .. Даже в состоянии хорошего настроения некоторые участники будут вспоминать меньше счастливых воспоминаний, потому что у них меньше возможностей для рисования, они используют менее эффективные стратегии или менее мотивированы. И даже в состоянии грустного настроения некоторые участники вспоминали больше счастливых детских воспоминаний, потому что у них было больше счастливых воспоминаний, они использовали более эффективные стратегии вспоминания или были более мотивированы. Хотя средняя разница между двумя группами такая же, как и в идеализированных данных, эта разница гораздо менее очевидна в контексте большей изменчивости данных. Таким образом, одна из причин, по которой исследователи пытаются контролировать посторонние переменные, заключается в том, что их данные больше похожи на идеализированные данные в таблице 6.1 «Гипотетические данные без шума и реалистичные данные с шумом»., что облегчает обнаружение эффекта независимой переменной (хотя реальные данные никогда не выглядят так хорошо ).


Таблица 6.1 Гипотетические данные без шума и реальные данные с шумом


Идеализированные «бесшумные» данные Реалистичные «зашумленные» данные

Хорошее настроение Грустное настроение Хорошее настроение Грустное настроение

4 3 3 1

4 3 6 3

4 3 2 4

4 3 4 0

4 3 5 5

4 3 2 7

4 3 3 2

4 3 1 5

4 3 6 1

4 3 8 2

М = 4 М = 3 М = 4 М = 3

Один из способов контролировать внешние переменные — поддерживать их постоянными. Это может означать поддержание постоянными переменных ситуации или задачи путем тестирования всех участников в одном и том же месте, предоставления им одинаковых инструкций, одинакового обращения с ними и т. д. Это также может означать, что переменные участников остаются постоянными. Например, многие исследования языка ограничивают участников правшами, у которых языковые области обычно изолированы в левом полушарии мозга. У левшей более вероятно, что их языковые области изолированы в правом полушарии головного мозга или распределены по обоим полушариям, что может изменить способ обработки речи и, таким образом, добавить шум к данным.


В принципе, исследователи могут контролировать посторонние переменные, ограничивая участников одной очень конкретной категорией людей, например, 20-летними, гетеросексуалами, женщинами, правшами, второкурсниками, специализирующимися на психологии. Очевидным недостатком этого подхода является то, что он снизит внешнюю валидность исследования, в частности, степень, в которой результаты могут быть обобщены за пределами реально изучаемых людей. Например, может быть неясно, применимы ли результаты, полученные на выборке молодых гетеросексуальных женщин, к пожилым мужчинам-геям. Во многих ситуациях преимущества разнородной выборки перевешивают уменьшение шума, достигаемое однородной выборкой.


Внешние переменные как смешанные переменные

Второй способ, которым посторонние переменные могут затруднить обнаружение эффекта независимой переменной, заключается в том, что они становятся мешающими переменными. Вмешивающаяся переменная — это посторонняя переменная, которая различается в среднем поуровни независимой переменной. Например, почти во всех экспериментах коэффициенты интеллекта участников (IQ) будут посторонней переменной. Но пока есть участники с более низкими и более высокими IQ на каждом уровне независимой переменной, так что средний IQ примерно одинаков, тогда такая вариация, вероятно, приемлема (и может быть даже желательна). Однако было бы плохо, если бы участники на одном уровне независимой переменной имели в среднем значительно более низкий IQ, а участники на другом уровне имели бы в среднем значительно более высокий IQ. В этом случае IQ будет смешанной переменной.


Запутать означает запутать, и это именно то, что делают смешанные переменные. Поскольку они различаются в зависимости от условий — как и независимая переменная — они обеспечивают альтернативное объяснение любой наблюдаемой разницы в зависимой переменной. Рисунок 6.1 «Гипотетические результаты исследования влияния настроения на память»показаны результаты гипотетического исследования, в котором участники с хорошим настроением набрали больше баллов в задаче на память, чем участники с плохим настроением. Но если IQ является мешающей переменной — участники с положительным настроением имеют в среднем более высокий IQ, чем участники с отрицательным настроением, — тогда неясно, было ли положительное настроение или более высокий IQ причиной того, что участники с первым состоянием оценка выше. Один из способов избежать смешения переменных — оставить лишние переменные постоянными. Например, можно предотвратить превращение IQ в мешающую переменную, ограничив участников только теми, у кого IQ ровно 100. Но этот подход не всегда желателен по причинам, которые мы уже обсуждали.


Рис. 6.1 . Гипотетические результаты исследования влияния настроения на память



Поскольку IQ также различается в зависимости от условий, это смешанная переменная.


КЛЮЧЕВЫЕ ВЫВОДЫ

Эксперимент — это тип эмпирического исследования, которое включает в себя манипулирование независимой переменной, измерение зависимой переменной и контроль посторонних переменных.

Исследования имеют высокую внутреннюю валидность в той мере, в какой способ их проведения поддерживает вывод о том, что независимая переменная вызвала любые наблюдаемые различия в зависимой переменной. Эксперименты, как правило, имеют высокую внутреннюю достоверность из-за манипулирования независимой переменной и контроля внешних переменных.

Исследования имеют высокую внешнюю валидность в той мере, в какой результат можно обобщить на людей и ситуации, выходящие за рамки реально изучаемых. Хотя эксперименты могут показаться «искусственными» и малопривлекательными, важно учитывать, могут ли изучаемые психологические процессы проявляться в других людях и ситуациях.

УПРАЖНЕНИЯ

Практика: перечислите пять переменных, которыми исследователь может манипулировать в ходе эксперимента. Перечислите пять переменных, которыми исследователь не может манипулировать в ходе эксперимента.

Практика: Для каждой из следующих тем решите, можно ли изучать эту тему с помощью плана экспериментального исследования, и объясните, почему или почему нет.


Влияние повреждения теменной доли на способность людей выполнять основные арифметические действия.

Влияние клинической депрессии на количество близких друзей.

Влияние группового обучения на социальные навыки подростков с синдромом Аспергера.

Влияние платы людям за прохождение теста IQ на их результаты в этом тесте.

6.2 Экспериментальный план

ЦЕЛИ ОБУЧЕНИЯ

Объясните разницу между экспериментами между испытуемыми и внутри испытуемых, перечислите некоторые плюсы и минусы каждого подхода и решите, какой подход использовать для ответа на конкретный исследовательский вопрос.

Дайте определение случайному распределению, отличите его от случайной выборки, объясните его назначение в экспериментальных исследованиях и используйте несколько простых стратегий для его реализации.

Дайте определение контрольному состоянию, объясните его назначение в исследованиях эффективности лечения и опишите некоторые альтернативные типы контрольных условий.

Дайте определение нескольким типам эффекта переноса, приведите примеры каждого из них и объясните, как уравновешивание помогает справиться с ними.

В этом разделе мы рассмотрим несколько различных способов планирования эксперимента. Основное различие, которое мы проведем, будет между подходами, в которых каждый участник сталкивается с одним уровнем независимой переменной, и подходами, в которых каждый участник сталкивается со всеми уровнями независимой переменной. Первые называются экспериментами между испытуемыми, а вторые — экспериментами внутри испытуемых.


Межсубъектные эксперименты

В эксперименте между субъектами, каждый участник тестируется только в одном условии. Например, исследователь с выборкой из 100 студентов колледжа может поручить половине из них написать о травмирующем событии, а другой половине написать о нейтральном событии. Или исследователь с выборкой из 60 человек с тяжелой агорафобией (боязнью открытых пространств) может назначить 20 из них пройти каждый из трех различных видов лечения этого расстройства. В эксперименте между субъектами важно, чтобы исследователь распределял участников по таким условиям, чтобы разные группы в среднем были очень похожи друг на друга. Те, кто находится в состоянии травмы и в нейтральном состоянии, например, должны включать одинаковую пропорцию мужчин и женщин, и они должны иметь одинаковые средние коэффициенты интеллекта (IQ), одинаковые средние уровни мотивации, одинаковое среднее количество проблем со здоровьем и т. на.


Случайное назначение

Основной способ, с помощью которого исследователи выполняют такой контроль внешних переменных в разных условиях, называется случайным назначением , что означает использование случайного процесса для определения того, какие участники тестируются в каких условиях. Не путайте случайное назначение со случайной выборкой. Случайная выборка — это метод отбора выборки из совокупности, который редко используется в психологических исследованиях. Случайное распределение — это метод распределения участников выборки по различным условиям, а также важный элемент всех экспериментальных исследований в психологии и других областях.


Строго говоря, случайное назначение должно соответствовать двум критериям. Во-первых, каждый участник имеет равные шансы быть назначенным для каждого условия (например, 50% шанс быть назначенным для каждого из двух условий). Во-вторых, каждому участнику назначается условие независимо от других участников. Таким образом, один из способов распределить участников по двум условиям — подбросить монету для каждого из них. Если монета выпадает орлом, участнику назначается условие A, а если выпадает решка, участнику назначается условие B. Для трех условий можно использовать компьютер для генерации случайного целого числа от 1 до 3 для каждого участника. Если целое число равно 1, участнику присваивается условие A; если он равен 2, участнику присваивается состояние B; а если оно равно 3, участнику присваивается состояние C. На практике полная последовательность условий — по одной для каждого участника, который, как ожидается, будет участвовать в эксперименте — обычно создается заранее, и каждому новому участнику назначается следующее условие в последовательности по мере его или ее тестирования. Когда процедура компьютеризирована, компьютерная программа часто выполняет случайное назначение.


Одна из проблем с подбрасыванием монет и другими строгими процедурами случайного распределения заключается в том, что они могут привести к неравным размерам выборки в различных условиях. Неравные размеры выборки, как правило, не являются серьезной проблемой, и вы никогда не должны выбрасывать уже собранные данные, чтобы получить одинаковые размеры выборки. Однако для фиксированного числа участников статистически наиболее эффективно разделить их на группы равного размера. Поэтому стандартной практикой является использование своего рода модифицированного случайного распределения, при котором количество участников в каждой группе остается как можно более одинаковым. Один из подходов — блочная рандомизация.. При блочной рандомизации все условия выполняются один раз в последовательности, прежде чем какое-либо из них повторяется. Затем все они повторяются снова, прежде чем любой из них повторится снова. Внутри каждого из этих «блоков» условия возникают в случайном порядке. Опять же, последовательность условий обычно генерируется до того, как будут протестированы какие-либо участники, и каждому новому участнику назначается следующее условие в последовательности. В таблице 6.2 «Последовательность рандомизации блоков для распределения девяти участников по трем состояниям» показана такая последовательность для распределения девяти участников по трем состояниям. Веб-сайт Research Randomizer ( http://www.randomizer.org ).) будет генерировать последовательности рандомизации блоков для любого количества участников и условий. Опять же, когда процедура компьютеризирована, компьютерная программа часто обрабатывает рандомизацию блоков.


Таблица 6.2 Последовательность рандомизации блоков для распределения девяти участников по трем состояниям


Участник Условие

1 А

2 С

3 Б

4 Б

5 С

6 А

7 С

8 Б

9 А

Случайное назначение не гарантирует контроля всех посторонних переменных в условиях. Всегда возможно, что просто случайно участники одного состояния могут оказаться в среднем значительно старше, менее уставшими, более мотивированными или менее подавленными, чем участники другого состояния. Однако есть некоторые причины, по которым это не является серьезной проблемой. Во-первых, случайное назначение работает лучше, чем можно было бы ожидать, особенно для больших выборок. Другой заключается в том, что статистика логического вывода, которую исследователи используют, чтобы решить, отражает ли разница между группами разницу в популяции, принимает во внимание «ошибочность» случайного распределения. Еще одна причина заключается в том, что даже если случайное присвоение приводит к мешающей переменной и, следовательно, приводит к вводящим в заблуждение результатам, это, вероятно, будет обнаружено при повторении эксперимента. В результате случайное назначение условий — хотя и не безошибочное с точки зрения контроля посторонних переменных — всегда считается сильной стороной плана исследования.


Условия лечения и контроля

Эксперименты между субъектами часто используются, чтобы определить, работает ли лечение. В психологических исследованиях под лечением понимается любое вмешательство, направленное на изменение поведения людей к лучшему. Это включает в себя психотерапию и медикаментозное лечение психологических расстройств, а также вмешательства, направленные на улучшение обучения, содействие сохранению, уменьшение предубеждений и так далее. Чтобы определить, работает ли лечение, участников случайным образом распределяют либо в состояние лечения , при котором они получают лечение, либо в контрольное состояние ., в котором они не получают лечения. Если участники в терапевтическом состоянии в конечном итоге оказываются в лучшем положении, чем участники в контрольном состоянии, например, они менее подавлены, быстрее учатся, больше сохраняют, выражают меньше предубеждений, то исследователь может сделать вывод, что лечение работает. В исследованиях эффективности психотерапии и медикаментозного лечения такой тип эксперимента часто называют рандомизированным клиническим испытанием .


Существуют различные типы условий контроля. В контрольном состоянии без лечения участники вообще не получают никакого лечения. Одна проблема с этим подходом, однако, заключается в существовании эффектов плацебо. Плацебо — это симулированное лечение, в котором отсутствуют какие-либо активные ингредиенты или элементы, делающие его эффективным, и эффект плацебо .Положительный эффект от такого лечения. Многие народные средства, которые, кажется, работают, например, употребление куриного супа при простуде или помещение мыла под простыни, чтобы остановить ночные судороги в ногах, вероятно, не более чем плацебо. Хотя эффекты плацебо недостаточно изучены, они, вероятно, обусловлены в первую очередь ожиданиями людей, что они улучшатся. Ожидание улучшения может привести к снижению стресса, беспокойства и депрессии, что может изменить восприятие и даже улучшить работу иммунной системы (Price, Finniss, & Benedetti, 2008). Прайс, Д. Д., Финнисс, Д. Г., и Бенедетти, Ф. (2008). Всесторонний обзор эффекта плацебо: последние достижения и современные мысли. Ежегодный обзор психологии, 59 , 565–590.


Эффекты плацебо интересны сами по себе (см. примечание 6.28 «Мощное плацебо» ), но они также представляют серьезную проблему для исследователей, которые хотят определить, работает ли лечение. На рис. 6.2 «Гипотетические результаты исследования, включающего лечение, отсутствие лечения и состояние плацебо» показаны некоторые гипотетические результаты, в которых участники в условиях лечения в среднем улучшались больше, чем участники в контрольном состоянии без лечения. Если эти условия (две крайние левые полосы на рис. 6.2 «Гипотетические результаты исследования, включающего лечение, отсутствие лечения и плацебо»)) были единственными условиями в этом эксперименте, однако нельзя было сделать вывод, что лечение сработало. Вместо этого могло быть, что участники в группе лечения улучшились больше, потому что они ожидали улучшения, в то время как участники в контрольной группе без лечения этого не сделали.


Рисунок 6.2 . Гипотетические результаты исследования, включающего лечение, отсутствие лечения и плацебо.



К счастью, есть несколько решений этой проблемы. Один из них заключается в том, чтобы включить условие контроля плацебо ., в котором участники получают плацебо, которое очень похоже на лечение, но в нем отсутствует активный ингредиент или элемент, который, как считается, отвечает за эффективность лечения. Например, когда участники в состоянии лечения принимают таблетку, тогда участники в состоянии плацебо-контроля будут принимать идентичную таблетку, в которой отсутствует активный ингредиент в лечении («сахарная таблетка»). В исследованиях эффективности психотерапии плацебо может включать посещение психотерапевта и неструктурированный разговор о своих проблемах. Идея состоит в том, что если участники как лечебной, так и плацебо-контрольной групп ожидают улучшения, то любое улучшение в лечебной группе сверх того, что было в контрольной группе плацебо, должно быть вызвано лечением, а не ожиданиями участников.Рисунок 6.2 «Гипотетические результаты исследования, включающего лечение, отсутствие лечения и плацебо» .


Конечно, принцип информированного согласия требует, чтобы участникам сообщали, что им будет назначено либо лечение, либо плацебо-контрольное состояние, даже если они не могут быть сообщены до окончания эксперимента. Во многих случаях участникам, которые находились в контрольном состоянии, затем предлагалась возможность пройти настоящее лечение. Альтернативный подход заключается в использовании условия управления списком ожидания., в котором участникам говорят, что они получат лечение, но должны подождать, пока участники в состоянии лечения уже не получат его. Это позволяет исследователям сравнивать участников, получивших лечение, с участниками, которые в настоящее время не получают его, но все еще ожидают улучшения (в конечном итоге). Окончательное решение проблемы эффектов плацебо состоит в том, чтобы полностью исключить контрольное состояние и сравнить любое новое лечение с лучшим доступным альтернативным лечением. Например, новое лечение простой фобии можно сравнить со стандартной экспозиционной терапией. Поскольку участники с обоими состояниями получают лечение, их ожидания относительно улучшения должны быть схожими. Этот подход имеет смысл еще и потому, что если есть эффективное лечение, Интересный вопрос о новом лечении заключается не просто в том, «Работает ли оно?» но «Работает ли это лучше, чем то, что уже доступно?»


Мощное плацебо

Многих не удивляет, что плацебо может оказывать положительное влияние на расстройства, которые кажутся в основе своей психологическими, включая депрессию, тревогу и бессонницу. Однако плацебо также может оказывать положительное влияние на расстройства, которые большинство людей считают физиологическими. К ним относятся астма, язвы и бородавки (Shapiro & Shapiro, 1999). Шапиро, А.К., и Шапиро, Э. (1999). Мощное плацебо: от древнего жреца до современного врача . Балтимор, Мэриленд: Издательство Университета Джона Хопкинса. Есть даже свидетельства того, что плацебо-хирургия, также называемая «фиктивной хирургией», может быть столь же эффективной, как и реальная хирургия.


Медицинский исследователь Дж. Брюс Мозли и его коллеги провели исследование эффективности двух процедур артроскопической хирургии при остеоартрозе коленного сустава (Moseley et al., 2002). Мозли, Дж. Б., О'Мэлли, К., Петерсен, Н. Дж., Менке, Т. Дж., Броуди, Б. А., Куикендалл, Д. Х.,… Рэй, Н. П. (2002). Контролируемое исследование артроскопической хирургии остеоартрита коленного сустава. Медицинский журнал Новой Англии, 347 , 81–88.Контрольные участники этого исследования были подготовлены к операции, получили транквилизатор и даже получили три небольших разреза на коленях. Но они не получили настоящую артроскопическую хирургическую процедуру. Удивительным результатом стало то, что у всех участников улучшились как боли в колене, так и его функция, причем в группе симуляционной хирургии улучшение было таким же, как и в группах лечения. По словам исследователей, «это исследование предоставляет убедительные доказательства того, что артроскопический лаваж с хирургической обработкой или без нее [используемые хирургические процедуры] не лучше и, по-видимому, эквивалентен процедуре плацебо в уменьшении боли в колене и, по самооценке, функции» (стр. 85).


Внутрисубъектные эксперименты

Во внутрисубъектном эксперименте каждый участник тестируется во всех условиях. Рассмотрим эксперимент по влиянию физической привлекательности подсудимого на суждения о его виновности. Опять же, в эксперименте между субъектами одной группе участников показывали привлекательного ответчика и просили оценить его вину, а другой группе участников показывали непривлекательного ответчика и просили судить о его виновности. Однако во внутрисубъектном эксперименте одна и та же группа участников будет судить о виновности как привлекательного , так и непривлекательного подсудимого.


Основное преимущество этого подхода заключается в том, что он обеспечивает максимальный контроль над посторонними переменными участников. Участники во всех условиях имеют одинаковый средний IQ, одинаковый социально-экономический статус, одинаковое количество братьев и сестер и т. д., потому что это одни и те же люди. Внутрисубъектные эксперименты также позволяют использовать статистические процедуры, которые устраняют влияние этих посторонних переменных участников на зависимую переменную и, следовательно, делают данные менее «зашумленными», а влияние независимой переменной легче обнаружить. Мы рассмотрим эту идею более подробно позже в книге.


Эффекты переноса и уравновешивание

Основным недостатком внутрисубъектных планов является то, что они могут привести к эффектам переноса. Эффект переноса — это влияние тестирования в одном состоянии на поведение участников в более поздних условиях. Одним из типов эффекта переноса является эффект практики , когда участники лучше выполняют задачу в более поздних условиях, потому что у них была возможность попрактиковаться. Другой тип — это эффект усталости , когда участники хуже выполняют задачу в более поздних условиях, потому что они устают или скучают. Тестирование в одном состоянии также может изменить то, как участники воспринимают стимулы или интерпретируют свою задачу в более поздних условиях. Это называется контекстным эффектом .. Например, ответчик с обычной внешностью может быть осуждён более сурово, если участники только что оценили привлекательного ответчика, чем когда они только что осудили непривлекательного ответчика. Эксперименты с участием испытуемых также облегчают участникам угадывание гипотезы. Например, участник, которого просят судить о виновности привлекательного ответчика, а затем просят судить о виновности непривлекательного ответчика, вероятно, догадается, что гипотеза состоит в том, что привлекательность ответчика влияет на суждения о виновности. Это может привести к тому, что участник более строго осудит непривлекательного ответчика, потому что он думает, что именно этого от него и ожидают. Или это может заставить участников судить двух подсудимых одинаково, чтобы быть «справедливыми».


Эффекты переноса могут быть интересны сами по себе. (Зависит ли привлекательность одного человека от привлекательности других людей, которых мы недавно видели?) Но когда они не находятся в центре внимания исследования, эффекты переноса могут быть проблематичными. Представьте, например, что участники оценивают вину привлекательного ответчика, а затем осуждают виновного непривлекательного ответчика. Если они судят непривлекательного подсудимого более строго, это может быть связано с его непривлекательностью. Но вместо этого они могут судить его более строго, потому что им становится скучно или они устают. Другими словами, порядок условий является смешанной переменной. Привлекательное состояние всегда является первым условием, а непривлекательное состояние — вторым.


Однако существует решение проблемы эффектов порядка, которое можно использовать во многих ситуациях. Это уравновешивает, что означает тестирование разных участников в разных порядках. Например, некоторые участники будут тестироваться в состоянии привлекательного ответчика, за которым следует состояние непривлекательного ответчика, а другие будут тестироваться в непривлекательном состоянии, за которым следует привлекательное состояние. С тремя условиями будет шесть разных порядков (ABC, ACB, BAC, BCA, CAB и CBA), поэтому некоторые участники будут протестированы в каждом из шести порядков. При уравновешивании участники распределяются по заказам случайным образом с использованием методов, которые мы уже обсуждали. Таким образом, случайное распределение играет важную роль как в планах внутри субъектов, так и в планах между субъектами. Здесь вместо случайного назначения условий они случайным образом назначаются разным порядкам условий. Фактически,


Есть два способа думать о том, что достигается уравновешиванием. Во-первых, он управляет порядком условий, так что он больше не является смешанной переменной. Вместо того, чтобы привлекательное состояние всегда было первым, а непривлекательное состояние всегда вторым, привлекательное состояние стоит первым для одних участников и вторым для других. Точно так же непривлекательное состояние стоит первым для одних участников и вторым для других. Таким образом, любое общее различие в зависимой переменной между двумя условиями не может быть вызвано порядком условий. Второй способ думать о том, чего достигает уравновешивание, состоит в том, что если есть эффекты переноса, то это позволяет обнаружить их. Можно проанализировать данные отдельно по каждому заказу, чтобы увидеть, повлиял ли он.


Когда 9 больше, чем 221

Исследователь Майкл Бирнбаум утверждал, что отсутствие контекста, обеспечиваемое планами между субъектами, часто является более серьезной проблемой, чем эффекты контекста, создаваемые планами внутри субъектов. Чтобы продемонстрировать это, он попросил одну группу участников оценить, насколько большим было число 9 по оценочной шкале от 1 до 10, а другую группу оценить, насколько большим было число 221 по той же оценочной шкале от 1 до 10 (Бирнбаум). , 1999). Бирнбаум, М.Х. (1999). Как показать, что 9 > 221: Соберите суждения в межсубъектном плане. Психологические методы, 4 , 243–249.Участники этого межсубъектного исследования дали цифре 9 среднюю оценку 5,13, ​​а цифре 221 — среднюю оценку 3,10. Другими словами, они оценили 9 больше, чем 221! По словам Бирнбаума, это происходит потому, что участники спонтанно сравнивали 9 с другими однозначными числами (в этом случае оно относительно велико) и 221 с другими трехзначными числами (в этом случае оно относительно мало).


Одновременные внутрисубъектные планы

До сих пор мы обсуждали подход к внутрисубъектным планам, в котором участники тестируются в одном состоянии за раз. Однако есть и другой подход, который часто используется, когда участники дают несколько ответов в каждом условии. Представьте, например, что участники судят о виновности 10 привлекательных подсудимых и 10 непривлекательных подсудимых. Вместо того чтобы заставлять людей выносить суждения обо всех 10 подсудимых одного типа, за которыми следуют все 10 подсудимых другого типа, исследователь может представить всех 20 подсудимых в последовательности, в которой смешаны два типа. Затем исследователь мог вычислить средний рейтинг каждого участника для каждого типа ответчика. Или представьте себе эксперимент, целью которого было выяснить, помнят ли люди с социальным тревожным расстройством отрицательные прилагательные (например, «глупый», «некомпетентный») лучше, чем положительные (например, «счастливый, «производительный»). Исследователь может предложить участникам изучить один список, включающий оба типа слов, а затем предложить им вспомнить как можно больше слов. Затем исследователь мог подсчитать количество припоминаемых слов каждого типа. Есть много способов определить порядок, в котором предъявляются стимулы, но один из распространенных способов — создать различный случайный порядок для каждого участника.


Между субъектами или внутри субъектов?

Почти каждый эксперимент может быть проведен с использованием как плана между субъектами, так и плана внутри субъектов. Это означает, что исследователи должны выбирать между двумя подходами, исходя из их относительных достоинств в конкретной ситуации.


Преимущество экспериментов между субъектами состоит в том, что они концептуально проще и требуют меньше времени на тестирование каждого участника. Они также избегают эффектов переноса без необходимости уравновешивания. Преимущество внутригрупповых экспериментов состоит в том, что они контролируют посторонние переменные участников, что обычно уменьшает шум в данных и облегчает обнаружение взаимосвязи между независимыми и зависимыми переменными.


Хорошее эмпирическое правило заключается в том, что если есть возможность провести эксперимент внутри испытуемых (с надлежащим уравновешиванием) за время, отведенное на одного участника, и у вас нет серьезных опасений по поводу эффектов переноса, то это, вероятно, лучший вариант. вариант. Если внутрисубъектный план сложно или невозможно выполнить, вам следует вместо этого рассмотреть межсубъектный план. Например, если вы тестировали участников в приемной врача или покупателей в очереди в продуктовом магазине, у вас может не хватить времени для тестирования каждого участника во всех условиях, и поэтому вы выберете межсубъектный план. Или представьте, что вы пытаетесь снизить уровень предрассудков людей, заставляя их общаться с представителями другой расы. План внутри субъектов с уравновешиванием потребует тестирования некоторых участников сначала в условиях лечения, а затем в контрольных условиях. Но если лечение сработает и снизит уровень предрассудков у людей, то они больше не будут пригодны для тестирования в контрольном состоянии. Это верно для многих дизайнов, включающих лечение, направленное на долгосрочное изменение поведения участников (например, исследования, проверяющие эффективность психотерапии). Ясно, что здесь необходим межсубъектный план. исследования, проверяющие эффективность психотерапии). Ясно, что здесь необходим межсубъектный план. исследования, проверяющие эффективность психотерапии). Ясно, что здесь необходим межсубъектный план.


Помните также, что использование одного типа дизайна не исключает использования другого типа в другом исследовании. Нет никаких причин, по которым исследователь не мог бы использовать как план между субъектами, так и план внутри субъектов, чтобы ответить на один и тот же исследовательский вопрос. На самом деле профессиональные исследователи часто именно так и поступают.


КЛЮЧЕВЫЕ ВЫВОДЫ

Эксперименты могут проводиться с использованием планов между субъектами или внутри субъектов. Принятие решения о том, что использовать в конкретной ситуации, требует тщательного рассмотрения плюсов и минусов каждого подхода.

Случайное назначение условий в экспериментах между субъектами или порядков условий в экспериментах внутри субъектов является фундаментальным элементом экспериментального исследования. Его цель состоит в том, чтобы контролировать посторонние переменные, чтобы они не становились смешивающими переменными.

Экспериментальное исследование эффективности лечения требует как условия лечения, так и контрольного состояния, которое может быть контрольным состоянием без лечения, контрольным состоянием плацебо или контрольным состоянием списка ожидания. Экспериментальные методы лечения также можно сравнить с наилучшей доступной альтернативой.

УПРАЖНЕНИЯ

Обсуждение: по каждой из следующих тем перечислите плюсы и минусы межсубъектного и внутрисубъектного дизайна и решите, какой из них лучше.


Вы хотите проверить относительную эффективность двух программ подготовки к марафонскому бегу.

Используя фотографии людей в качестве стимулов, вы хотите увидеть, воспринимаются ли улыбающиеся люди как более умные, чем люди, которые не улыбаются.

В полевом эксперименте вы хотите увидеть, влияет ли то, как одет нищий (опрятно или неряшливо), дают ли ему деньги прохожие.

Вы хотите проверить, запоминаются ли конкретные существительные (например, собака ) лучше, чем абстрактные существительные (например, правда ).

Обсуждение: представьте, что эксперимент показывает, что участники, получающие психодинамическую терапию по поводу фобии собак, выздоравливают больше, чем участники контрольной группы, не получавшей лечения. Объясните фундаментальную проблему, связанную с этим планом исследования, и по крайней мере два способа ее исправления.


Комментарии

Популярные сообщения из этого блога

   niki24874@gmail.com  Поблагодарить автора  payeer - P1040394788  capitalist - U10989124  capitalist - R10989122 Что такое психологические теории? Психологические теории — это основанные на фактах идеи, описывающие феномен человеческого поведения. Эти теории основаны на гипотезе , которая подкреплена доказательствами. Таким образом, двумя ключевыми компонентами психологической теории являются: Он должен описывать поведение. Он должен делать прогнозы относительно будущего поведения. Термин «теория» используется с удивительной частотой в повседневном языке. Оно часто используется для обозначения догадки, догадки или предположения. Вы можете даже услышать, как люди отвергают определенную информацию, потому что это «всего лишь теория». Но в сфере науки теория — это не просто догадка. Теория представляет концепцию или идею, которые можно проверить. Ученые могут проверить теорию с помощью эмпирических исследований и собрать доказательства, подтверждающие или оп...
  Мы боимся секса с новой женщиной  Да, это правда: мы, мужчины, действительно все время думаем о сексе, и если бы мы столкнулись с пышным декольте, при этом у дамы было бы три глаза и чихуахуа на голове, мы бы этого не заметили. Но когда дело доходит до первого интимного контакта с новой дамой… Наш пульс танцует польку, и мы делаем очень странные вещи. Мы изо всех сил напрягаем мышцы тазового дна, выпиваем литры ананасового сока (который должен улучшить вкус спермы) и гуглим технику куннилингуса. Но когда женщина лежит перед нами совершенно голая, мы так же робки, как и в первый раз.
    сайты для фриланса   studwork     Заработок на написании научных работ.  Зарабатывайте на сайте фриланса ежедневно. биржа ссылок     http://www.rotapost.ru/   биржа фриланса  https://kwork.ru    Биржа консалтинга  https://www.liveexpert.ru Купить хостинг домен     ukraine.com.ua биржа ссылок рекламы     blogun   платежная система для фрилансеров  capitalist  Купить книгу " форекс основы " электронная версия, цена 2 доллара Купить книгу " фото городов США " электронная версия, цена 2 доллара Купить книгу " 1000 бизнес- идей " электронная версия, цена 2 доллара Купить книгу "Золотые правила общения" электронная версия, цена 2 доллара Купить емейл базу 500 000 адресов, пишите на почту написать по вопросу покупки   toshatereh@gmail.com   ИЛИ  aarci4772@gmail.com  Напишите на почту - e - mail,   Вам дадут реквизиты для о...