Грешка в покритието в интернет проучванията

лаптоп с квадратче за отметка на екрана на бял фон

Драматичен ръст в използването на интернет, но „Все едно в десет“ все още е офлайнПривлечени както от по-ниски разходи за събиране на данни, така и от значителни предимства в начина, по който могат да се проектират и администрират въпросниците, проучванията на проучването бързо се придвижват към мрежата. Приемането на мрежата за събиране на данни се случва във всички сектори на индустрията от Бюрото за преброяване на населението на САЩ, което сега позволява на респондентите да вземат анкетата на Американската общност в мрежата, до политически анкети, където цената и трудността при насочване на телефонните обаждания в географски план е подтиквайки повече организации да разчитат на онлайн анкети към общността за маркетингови изследвания, която премести почти всички потребителски проучвания в мрежата. Един ключов фактор, който направи тази промяна възможна, е фактът, че по-голямата част от американците сега използват интернет. Телефонните проучвания на Pew Research Center документират нарастването на приемането на интернет, което нарасна от 14% от възрастното население на САЩ през 1996 г. до 89% днес.

Но 89% не са 100% и проучванията, които включват само тези, които използват интернет (и са готови да вземат анкети онлайн), рискуват да дадат пристрастни резултати. Колко голям е този риск? Този анализ документира как би се различавал широк спектър от общи констатации на проучването, ако се изключат тези, които не могат или не желаят да участват онлайн. Той разчита на поредица от проучвания, проведени през последните 15 месеца от изследователския център Pew със своя национален представител American Trends Panel. Повечето членове на панела участват чрез мрежата, докато тези, които не могат или не желаят да вземат анкети онлайн, обикновено се интервюират по пощата. Чрез сравняване на резултатите за пълната извадка с тези, получени от уеб извадката, е възможно да се оценят последиците от изключването на неинтернет населението от проучвания.

Повечето елементи от проучването се различават малко между пълната и уеб извадкатаТова сравнение на стотици отделни въпроси от проучването, със и без офлайн популацията, установи, че за повечето от темите, изследвани от Pew Research Center, размерът на пристрастията, причинен от изключването на респондентите извън мрежата, е доста малък. При 406 отделни елемента от проучването само девет дават оценки, които се различават с 5 или повече процентни пункта. Повече от две трети от 406 елемента дадоха оценки с 0 или 1 точка разлика. Това е следствие от факта, че не-уеб анкетната група е малък дял от общото население, както и от факта, че размерът на разликите между уеб и не-мрежовите групи обикновено е сравнително скромен по повечето въпроси .

Но за няколко теми разликите са по-големи. Елементите, свързани с използването на интернет и технологиите, показват значителни пристрастия само в уеб проби. По-малки, но все пак значителни пристрастия се появяват по толкова разнообразни елементи, колкото политическите знания и финансовите обстоятелства. И също толкова важно, дори при въпроси, при които общите разлики са скромни, може да има значително пристрастие сред определени подгрупи в популацията, като тези на 65 и повече години, където онлайн и офлайн хората са много различни.

Данните в този доклад са извлечени от третата до 11-ата вълна на събиране на данни на Американския панел за тенденции (ATP) на Pew Research Center. ATP е национално представителен, базиран на вероятности панел от възрастни в САЩ, живеещи в домакинства. Респондентите, които се самоидентифицират като потребители на интернет и които са предоставили имейл адрес, участват в панела чрез ежемесечни самостоятелно администрирани уеб проучвания, докато тези, които не използват интернет, нямат имейл адрес или отказват да предоставят своя имейл адрес, участват чрез пощата. Допълнителна информация, включително дати на полета, размери на проби и граници на грешка, може да бъде намерена в раздела за методи на този отчет.

Елементите от проучването бяха избрани за включване, ако бяха поискани от общата извадка, а не само от участниците в уеб режима. Елементите бяха изключени, ако имаха сложни модели на пропускане въз основа на отговорите на предишни вълни. Няколко елемента бяха изключени, ако те или предмет, много подобен на тях, вече бяха поискани в предишна вълна. Избраните елементи за анализ на разликите между подгрупите в популацията са често използвани мерки в основните изследователски области в Pew Research Center.



Примерен състав на типична вълна от проучванетоЗа този анализ бяха създадени две тегла за всяка вълна от събиране на данни. Първият претегля общата извадка, включително участниците в мрежата и пощата, към демографските цели на всички възрастни в САЩ, живеещи в домакинства. Втората претегля само частта от уеб режима на панела към същите цели за общата популация. Допълнителна информация за претеглянето, включително източниците на целите, може да бъде намерена в раздела за методи в края на този доклад.

Всички разлики от 3 процентни пункта или по-големи са статистически значими, както и повечето от тези с разлика от 2 точки. Дори някои разлики от 1 точка преминаха тест за значимост. Тези статистически тестове отчитат както дизайнерския ефект от тежестите, така и факта, че респондентите в мрежата са подпроба от общия брой респонденти. Това припокриване означава, че много малките разлики са статистически значими, много по-малки, отколкото ако Мрежата и общите респонденти са две независими извадки. Поради тази причина основният акцент в този доклад е върху разликите, които са достатъчно големи, за да имат съществено значение.

Мрежата и пробите от пощата са много различни

По-голямата част от респондентите с извадка на поща са на възраст над 65 годиниС намаляването на населението извън интернет демографският му профил непрекъснато се различава от останалата част от населението. Освен това лицата, които съобщават, че използват поне от време на време Интернет, но твърдят, че не могат или няма да участват в онлайн проучвания, са по-сходни демографски с тези, които не са онлайн, отколкото с другите потребители на интернет. Такива разлики между хората, които са обхванати от уеб проучвания, и тези, които не са, могат потенциално да представляват риск за точността на оценките на проучванията, основани единствено на респонденти, способни и желаещи да вземат уеб проучвания.

Според изследователския център на Pew, 89% от възрастните в САЩ се идентифицират като потребители на интернет. Фактът, че проучване само за мрежата би изключило приблизително един на всеки десет възрастни, може да се счита за маловажен, но истинският дял от населението, което ще бъде изключено от проучване само за мрежата, всъщностпо-големиотколкото предполага тази оценка. В допълнение към респондентите, които не са потребители на интернет, някои респонденти, поканени да участват в уеб панел, или нямат или няма да желаят да предоставят имейл адрес, за да улеснят участието онлайн.

Всъщност малко по-малко от половината от типичната поща на American Trends Panel се състои от потребители на интернет, които поради една или друга причина отказаха да участват в панела чрез мрежата.1И този дял вероятно би бил по-висок, ако не спряхме да каним тези респонденти да се присъединят към панела донякъде чрез набиране. (За подробно описание на набирането на членове на комисията вижте раздела за методите в този доклад.) Като цяло, претегленият дял на участниците в дискусиите, които вземат анкети по пощата, е около 18%.

Почти двама от десет възрастни, които биха били изключени от извадка само в мрежата - или по необходимост, или по избор - са много различни от възрастните, които желаят да участват в уеб панел. Тези разлики обхващат почти всички основни демографски, икономически и политически характеристики. Разликите между тези две проби се проследяват тясно с дела на всяка подгрупа, които са потребители на интернет.

Например, повече от половината от извадката на пощата (56%) са възрастни на възраст 65 и повече години и само 1% са възрастни под 30 години. За сравнение, 24% от респондентите в мрежата са на 65 и повече години и 14% са на възраст под 30 години. Това е отражение на факта, че само 66% от възрастните на 65 и повече години казват, че са потребители на интернет, в сравнение с 99% от възрастните на възраст под 30 години.2

В сравнение с уеб извадката, пощенската проба също има много по-голям дял чернокожи (16% срещу 6%) и по-малък дял бели (70% срещу 80%). Около 7% от възрастните във всяка проба са испанци.

Отчасти поради възрастовия им профил, по-малко вероятно е респондентите да бъдат женени или да живеят с партньор и по-вероятно да живеят сами от респондентите в мрежата. Около две трети (64%) от уеб извадката са женени или си партнират, в сравнение с 37% от пощата. И около 44% от респондентите по пощата живеят сами, в сравнение със само 17% от респондентите в мрежата.

Около половината от респондентите (49%) имат диплома за средно образование или по-малко образование и само 21% са завършили колеж. За сравнение, 57% от уеб извадката са завършили колеж, докато само 14% имат диплома за средно образование или по-малко.

Примерна поща по-селски, юженРеспондентите по пощата също са много по-малко богати от респондентите в мрежата. Около 42% от респондентите по пощата имат семейни доходи под 20 000 долара, в сравнение с 10% от респондентите в мрежата. И напълно една четвърт (25%) от респондентите в мрежата имат доходи от $ 100 000 годишно или повече, в сравнение с едва 2% от респондентите по пощата.

Има по-малки разлики между респондентите в мрежата и по пощата по отношение на политическата идентичност и ангажираност: 42% от извадката в мрежата е републиканска или републиканска, в сравнение с 37% от пощата. Респондентите в пощата са по-склонни от респондентите в мрежата да описват своите политически възгледи като консервативни (42% срещу 33%), докато респондентите в уеб извадката са по-склонни да описват своите възгледи като либерални (29% срещу 19%). Респондентите в мрежата са малко по-склонни от респондентите да заявят, че са абсолютно сигурни, че са регистрирани да гласуват (86% срещу 81%).

Религиозният профил на респондентите по пощата се различава от този на респондентите в мрежата. Около две трети (63%) от респондентите по пощата са протестанти, в сравнение с 45% от респондентите в мрежата. А респондентите по пощата са около наполовина по-малко склонни от респондентите в мрежата да се определят като атеисти, агностици или без религия (12% срещу 23%). Освен това по-често анкетираните по пощата от респондентите в мрежата казват, че посещават религиозни служби поне седмично (46% срещу 34%).

И накрая, по отношение на географското местоположение, пощата има по-висок дял, живеещ в селските райони (25% срещу 14%) и по-нисък дял, живеещ в градските райони (30% срещу 36%) от уеб извадката. И докато регионалната дисперсия е подобна в североизточния, средния запад и запад, югът е представен по-силно сред респондентите по пощата, отколкото сред респондентите в мрежата (41% срещу 32%).

Скромни разлики между общите проби и пробите само в мрежата

Технологиите и Интернет елементите показват значителни разликиВъпреки значителните разлики между пробите в мрежата и пощата, повечето оценки на проучванията, изготвени от уеб проучвания, ще бъдат малко по-различни от тези, направени от проучвания, които обхващат цялата общественост. От 406 отделни оценки, взети от девет вълни на American Trends Panel, само девет от тях се различават с 5 процентни пункта или повече. Може би не е изненадващо, че всичките девет са свързани с използването на интернет или цифрови технологии. Проучване само в мрежата изчислява, че 82% от обществеността ежедневно използва интернет, докато пълната извадка (включително неинтернетни потребители) установява, че 69% влизат в интернет ежедневно. По същия начин има 10 точки разлика в процента на хората, които съобщават, че са изпратили имейл или текстово съобщение до приятел или роднина вчера (79% сред уеб извадката срещу 69% сред пълната извадка). Също така има 10 точки разлика в отчетената собственост на лаптоп или настолен компютър (90% от уеб извадката спрямо 80% като цяло).

Дванадесет от изследваните 406 елемента дадоха разлика от 4 точки между мрежата и общите проби. Четири от 12-те бяха свързани с използване на интернет или технологии, докато три бяха въпроси от викторина за новини и политически знания (уеб извадката беше по-информирана от общата извадка) и три от елементите, отнасящи се до финансови или туристически ресурси, включително наличието на паспорт, кредитна карта, IRA, 401K или подобен вид пенсионна сметка (като уеб извадката има по-голяма вероятност от общата извадка да има всяка от тях).

Имаше 32 артикула с разлика от 3 процентни пункта. Те обхващаха различни теми, включително други финансови активи и инструменти (спестовна сметка, разчетна сметка, пенсионен план), политически и научни знания, здравни проблеми и условия на увреждане (с по-голяма честота на последните в общата извадка, отколкото в уеб извадката ). Останалите 353 елемента дадоха разлики от 2 точки (74 елемента), 1 точка (165) или 0 точки (114). Пълният списък на елементите и приблизителните оценки от общите и уеб пробите може да бъде намерен в приложението.

По-големи разлики за определени подгрупи

Демографските връзки се различават за мрежата и пълната извадкаПодгрупите от населението с по-ниски нива на приемане на интернет са уязвими към по-големи пристрастия в проучванията само за мрежата. Това не само застрашава точкова оценка, направена за тези групи, но също така влияе върху валидността на направените изводи за връзката между определени демографски или социални характеристики и различни резултати от интерес.

Сред възрастните на 65 и повече години оценката на ежедневното използване на интернет е с 35 точки по-висока в уеб проучване от пълната извадка (74% срещу 39%). Други въпроси, свързани с използването на интернет, като социалните мрежи, също са засегнати. Но дори статиите за нетехнологични теми показват значителни пристрастия сред тази възрастова група. Респондентите в уеб проучванията на възраст 65 и повече години са с 10 точки по-склонни да кажат, че се чувстват много безопасно да се разхождат по тъмно в кварталите си, отколкото интервюираните в комбинираните проби от мрежата и пощата. Интересът към четенето на Библията е с 10 точки по-висок сред пълната извадка, отколкото само при уеб извадката. Такива разлики не съществуват сред възрастните на възраст между 18 и 29 години, което прави връзката на този въпрос с възрастта да изглежда по-слаба в извадката само в мрежата, отколкото в пълната извадка.

Изглежда, че образованието има много по-силна връзка с притежаването на шофьорска книжка в пълната извадка, отколкото в извадката само в мрежата. И в двете извадки 96% от завършилите колеж съобщават, че имат лиценз, но има разлика в 7 точки между мрежата и общите проби сред тези с диплома за средно образование или по-малко.

Малки разлики в политическата идеология и ангажираностПо същия начин връзката между расата и статуса на заетост е доста по-различна в извадката само в мрежата от пълната извадка. Чернокожите (65%) имат подобен процент на заетост като белите (61%) в уеб извадката, но сред пълната извадка степента на бяла заетост е с 8 пункта по-висока, отколкото сред чернокожите (62% срещу 54%).

Една от областите като цяло положителни новини за уеб проучванията е, че оценките на политическите предпочитания и ангажираност са относително незасегнати от пристрастията към покритието на интернет, дори сред подгрупите на населението с относително по-ниски нива на използване на интернет. При индекс на идейна последователност от 10 точки почти няма разлика между мрежата и общите извадки между възрастовите групи. По същия начин моделът на регистрираната регистрация на гласоподаватели по степен на образование беше много сходен в онлайн и общите проби.

Заключение

Едва ли е пресилено да се каже, че Мрежата трансформира изследванията на проучванията. Широко разпространеното приемане в интернет, съчетано със скоростта, ниската цена и ефективността на събирането на данни онлайн, кара повечето организации за проучване да пренасочат поне част от събирането на данни към мрежата или да обмислят това.

Самоуправляваните проучвания в мрежата имат много предимства по отношение на качеството на измерванията, но както беше отбелязано в предишно проучване на Pew Research Center за въздействието на режима на изследване, все още има въпроси, които трябва да бъдат разгледани. Настоящото проучване установява, че пристрастието на покритието, свързано с проучванията в мрежата, е скромно за повечето видове мерки, но не липсва изцяло. Около един на всеки десет американци не използва интернет и много други може да имат достъп, но отказват да вземат анкети в мрежата. В резултат на това мерките за използване на технологиите вероятно ще бъдат пристрастни. Дори нетехнологични мерки могат да бъдат засегнати, особено за някои субпопулации (като американци на възраст 65 и повече години), където сегментът на групата, удобен за интернет, може да се различава много от тези, които не са. Такива модели на пристрастия могат да повлияят не само на точковите оценки на проучването, но на корелациите и други вътрешни взаимоотношения в данните. Потребителите на само уеб проучвания трябва да имат предвид потенциалните грешки и пристрастия, свързани с онлайн проучванията.

Методи

Това проучване се основава на анализ на данни от Американския панел за тенденции (АТП), създаден от изследователския център Pew и управляван от Abt SRBI. Екипът на панела на Abt SRBI включваше Чинтан Турахия, Чарлз ДиСогра, Кортни Кенеди, Ник Бертони, Марси Шалк, Робърт Магау, Емили Мартинес, Алисън Акерман и Сандра Ернандес.

ATP е национално представителен панел от случайно избрани възрастни американци, живеещи в домакинства. Респондентите, които се самоидентифицират като потребители на интернет и които са предоставили имейл адрес, участват в панела чрез месечни самоуправляващи се уеб проучвания, а тези, които не използват интернет, нямат имейл адрес или отказват да предоставят своя имейл адрес, участват по пощата.

Данните в този доклад са извлечени от третата до единадесетата вълна на панела, проведени през 2014 и 2015 г. Допълнителна информация, включително дати на полета, проценти на отговор и размери на пробите, може да бъде намерена в таблицата по-долу.

Всички настоящи членове на Панела за американски тенденции първоначално бяха наети от Проучването за политическа поляризация и типология през 2014 г., голямо (n = 10 013) национално проучване за набиране на случайни цифри (RDD) на национално ниво, проведено от 23 януари до 16 март 2014 г. Испански. В края на това проучване респондентите бяха поканени да се присъединят към панела. Поканата беше отправена към всички респонденти, които използват интернет (от всяко място) и произволна подпроба от респонденти, които не използват интернет. Когато започна събирането на данни за Проучването за политическа поляризация и типология през 2014 г., неинтернетни потребители бяха подбрани в размер на 25%, но скоро след това беше взето решение да се поканят всички неинтернет потребители да се присъединят от 6 февруари 2014 г. чрез края на полевия период. Общо 83% от неинтернет потребителите бяха поканени да се присъединят към панела. Първоначално всички потребители на интернет, които не са имали имейл адрес, са били поканени да се присъединят към панела (и да участват чрез не-уеб режим), но след това са били взети под извадка след тази дата в размер на 25%. И накрая, всички потребители на интернет, които отказаха да предоставят имейл адрес, първоначално бяха поканени да се присъединят към частта от панела, която не е в уеб режим, но след тази дата вече не бяха поканени да се присъединят към панела.

От 10 013 интервюирани възрастни 9 809 бяха поканени да вземат участие в панела. Общо 5338 се съгласиха да участват и предоставиха или пощенски адрес, или имейл адрес, на който могат да бъдат изпратени пакет за приветствие, паричен стимул и покани за бъдещи проучвания. Панелите също получават малък паричен стимул, след като участват във всяка вълна от проучването.

Данните за ATP бяха претеглени в многоетапен процес, който започва с базово тегло, включващо вероятността за първоначално избиране на анкетата на респондентите и факта, че някои участници в панела са взети на извадка за покана в панела. След това беше направена корекция за факта, че склонността да се присъедини към панела и да остане активен участник в панелите варира в различните групи в извадката. Последната стъпка в претеглянето използва итеративна техника, която съответства пола, възрастта, образованието, расата, латиноамериканския произход и региона на параметрите от проучването на американската общност на Бюрото за преброяване през 2013 г. Плътността на населението се претегля, за да съответства на преброяването на населението на САЩ през 2010 г. Телефонната услуга се претегля към оценките на телефонното покритие за 2015 г., които се прогнозират от Националното проучване на интервюто за здравето от януари до юни 2014 г. Той също така се приспособява към партийната принадлежност, като използва средно от трите най-скорошни публични телефонни проучвания на Pew Research Center и за използване на интернет, като като параметър използва мярка от проучването за политическа поляризация от 2014 г. Грешките в извадката и статистическите тестове за значимост вземат предвид ефекта от претеглянето. Испанската извадка в American Trends Panel е предимно родена и говори английски.

За този отчет бяха създадени две тегла за всяка вълна от събиране на данни. Първият претегля общата извадка, включително участниците в мрежата и пощата, към демографските цели на всички възрастни в САЩ, живеещи в домакинства. Втората претегля само частта от уеб режима на панела към същите цели за общата популация. Имайте предвид, че вълна 5 от събирането на данни включваше режим на интервю експеримент, който произволно определяше участниците в уеб панелите да бъдат интервюирани от мрежата или телефона; пощенските експерти бяха интервюирани по телефона. За анализа в този доклад, интервюираните по телефона участници в мрежата се сравняват с интервюираните по телефона участници в мрежата и пощата, за да изследват разликата в покритието между двете групи, без да въвеждат ефекти от режима.

Както бе отбелязано по-рано в доклада, всички разлики от 3 процентни пункта или по-големи са статистически значими, както и повечето от тези с разлика от 2 точки, а някои само с разлика от 1 точка. Съответно фокусът тук е върху разликите, които са достатъчно големи, за да имат съществено значение. В допълнение към извадковата грешка, трябва да се има предвид, че формулировката на въпроса и практическите трудности при провеждането на проучвания могат да внесат грешки или пристрастия в резултатите от социологическите проучвания.

Следващата таблица показва периодите на полетата, непретеглените размери на извадката и степента на реакция за всяка вълна. Кумулативният процент на отговор отчита процента на отговорите за Проучването за политическа поляризация през 2014 г. (10,6%) и оттеглянето от членове на панела, които са отстранени по тяхно искане или поради бездействие.

Размери на пробните вълни и скорост на реакция
Facebook   twitter