Yanlı anket soruları, ifadeleriyle katılımcıyı belirli bir yanıta iten ya da herkese uymayan bir varsayımı dayatan sorulardır. Yönlendirici soru, beklediğiniz yanıtı belli eder: “Sizce de yeni menü daha iyi değil mi?” Yüklü soru bir adım daha ileri gider: içine bir varsayım ya da duygu yüklü sözcükler yerleştirir ve hiçbir yanıt bu tuzaktan kurtulamaz. “Toplu taşımayı neden bıraktınız?” sorusuna hiç kullanmamış biri doğru bir yanıt veremez. İki türde de sonuçlar düzgün görünür ama yanlıştır ve verilerde sizi uyaran hiçbir işaret yoktur. Anketini kendisi hazırlayan herkes için bu yazı, uyarı işaretlerini soruda ve seçeneklerde nasıl fark edeceğinizi, “Katılıyor musunuz?” sorusunun neden evet dedirttiğini, her türün nasıl yeniden yazılacağını ve göndermeden önce neye bakacağınızı anlatıyor.
Kısaca
- Yönlendirici soru umduğunuz yanıtı belli eder; yüklü soru ise yanıtlayan herkese bir varsayımı dayatır.
- Soru ifadesi sonuçları onlarca puan kaydırabilir ve sonuçların kendisi bunu hiçbir zaman göstermez.
- Seçenekleri de kontrol edin: iki taraf, eşit adımlar ve sorunun uymadığı kişiler için bir çıkış yolu.
- “… katılıyor musunuz?” yerine doğrudan bir soru sorun ya da iki ifade arasında seçim isteyin.
- Bir şeyi varsayan her sorudan önce bir eleme sorusu sorun ve taslağı göndermeden birkaç kişiyle deneyin.
Yanlı anket soruları nedir? Yönlendirici ve yüklü sorular
Avustralya İstatistik Bürosunun (ABS) tanımına göre yönlendirici soru, katılımcıları belirli bir yanıta yönelten ya da bazı yanıtları ötekilerden daha makbul gösteren sorudur. Yüklü soru ise katılımcının hiç söylemediği bir şeyi taşır: ya hangi yanıt verilirse verilsin doğrulanan bir varsayımı ya da insanların konudan çok sözcüğün kendisine tepki verdiği duygu yüklü ifadeleri.
Klasik örnek mantık biliminden gelir; mantıkçılar bu tür sorulara karmaşık soru ya da yüklü soru der: Araba çalmayı bıraktınız mı? “Evet” diyen eskiden araba çaldığını, “Hayır” diyen hâlâ çaldığını kabul eder. Anket hazırlayanlar da aynı türden soruları farkına varmadan sorar. Fiyatlar yüzünden toplu taşımayı bıraktınız mı? sorusu, kişinin toplu taşıma kullandığını, sonra bıraktığını ve nedeninin fiyat olduğunu varsayar. Toplu taşımaya hiç binmemiş biri için doğru bir yanıt yoktur.
| Tür | Ne yapar | Örnek |
|---|---|---|
| Yönlendirici ifade | Umduğunuz yanıtı belli eder | Sizce de yeni menü eskisinden daha iyi değil mi? |
| Örtük varsayım | Doğru olmayabilecek bir şeyi baştan doğru sayar | Uygulamamızı neden kullanmayı bıraktınız? |
| Duygu yüklü sözcükler | Konuya değil, sözcüğe tepki uyandırır | Toplantılarda her hafta ne kadar vakit kaybediyorsunuz? |
| Otorite işareti | Karşı çıkmayı bilgisizlik gibi gösterir | Uzmanlar yeni tasarımın daha kolay kullanıldığı konusunda hemfikir. Siz ne kadar kolay buluyorsunuz? |
Neden önemli: yanıtlar kayar, sonuçlar bunu göstermez
Soru ifadesindeki küçük değişiklikler sonuçları onlarca yüzde puanı kaydırabilir. Kanada İstatistik Kurumunun (Statistics Canada) aktardığına göre 1991 Toronto Area Survey'de katılımcıların %73'ü pazar günü açılmak isteyen mağazalara izin verilmesinden yanaydı, %25'i karşıydı. Aynı soru bu kez, pazarın çoğu kişinin çalışmak zorunda olmadığı bir “dinlenme günü” olarak kalması üzerinden sorulduğunda katılımcıların %50'si dinlenme gününe karşı çıktı, yani pazar açılışından yana oldu; %44'ü ise dinlenme gününü destekledi. Pazar açılışından yana çoğunluk korundu ama %73'ten %50'ye indi; mağazaların kapalı kalmasına destek ise %25'ten %44'e çıktı.
Tek bir ifadeyle yapılan bir ankette bu kaymanın hiçbir izi görünmez. Bu rastgele bir hata değil, yanlılıktır; hata payı onu kapsamaz, daha çok yanıt toplamak da onu azaltmaz. Etkinin büyüklüğünü ancak iki ifadeyi birbirine benzer gruplarda denemek ölçer; onu önlemenin tek yolu daha iyi bir sorudur.
Bir hipotezi sınamak çoğu zaman anketin asıl amacıdır. Hata, soruyu sizin ya da araştırmayı isteyen kurumun tercih ettiği taraftan yazmaktır: Amerikan Kamuoyu Araştırmaları Derneğinin (AAPOR) deyişiyle “bir konunun yalnızca bir tarafını sunan” bir dille.
Soru ifadesindeki uyarı işaretleri
Taslağınızdaki her soruya şu beş kontrolü uygulayın. Soru yazmanın genel kuralları için anket sorusu nasıl yazılır yazısına bakın.
- Onay isteyen kalıplar. “… olduğu doğru mu?”, “Sizce de … değil mi?” ve “… katılmaz mısınız?” gibi kalıplar, “hâlâ” ve “nihayet” gibi sözcükler katılımcıya hangi yanıtı beklediğinizi söyler. Çözüm: soruyu yalın sorun.
- Otorite işaretleri. Sorudan önce gelen “Uzmanlara göre…” ya da “Bilimsel olarak kanıtlanmıştır ki…” gibi bir giriş, karşı çıkmayı bilgisizlik gibi gösterir. Çözüm: girişi çıkarın.
- Sosyal işaretler. Sorumlu velilerin çoğu gibi siz de çocuğunuzun ödevlerini kontrol ediyor musunuz? sorusu, toplumca onaylanan yanıtı davet eder (sosyal beğenirlik yanlılığı). Çözüm: işareti kaldırın.
- Duygu yüklü sözcükler. “İsraf”, “bürokrat”, “gösteriş” ve “eşsiz hizmetimiz” gibi ifadeler konuya değil, sözcüğe tepki uyandırır. Çözüm: tarafsız sözcükler kullanın ve iki tarafı da adıyla anın: “… destekliyor musunuz, yoksa karşı mısınız?”
- Örtük varsayımlar. “Neden … bıraktınız?” ve “… en çok neyini beğeniyorsunuz?” bir değişikliği ya da bir beğeniyi varsayar. Çözüm: önce bir eleme sorusu sorun ya da “hiçbir şey” yanıtına yer bırakın: “Beğendiğiniz bir şey varsa nedir?”
Klasik örnek Hiç araba çaldınız mı? diye yeniden yazıldığında tuzak kalkar ama dürüst yanıt vermedeki isteksizlik kalır: Pew Research Center'ın belirttiği gibi insanlar utandıkları davranışları olduğundan az bildirir. Böyle bir soru artık yanlı değil, hassastır.
Yüklü seçenekler: ölçek de yönlendirebilir
Tarafsız bir soru, dengesiz seçeneklerle yine yönlendirir. Dengeli etiketler, “Çok zor” ile “Çok kolay” gibi eşit güçte tam karşıtlardır; iki tarafta da aynı sayıda nokta bulunur. Çok memnunum / Memnunum / Ne memnunum ne değilim / Pek memnun değilim / Memnun değilim ölçeğinde olumsuz taraf daha zayıftır: olumsuz uçta “Hiç memnun değilim” yoktur, “Pek memnun değilim” de “Memnunum” seçeneğinin karşılığı değildir. Bilerek olumlu tarafa kaydırılmış bir ölçek de dengeliymiş gibi raporlanmamalıdır: noktaların çoğu olumluysa “Katılımcıların %80'i bizi iyi ya da daha iyi buldu” cümlesi pek bir şey söylemez.
Seçenek listesi de herkese uymalıdır: metin kutulu bir “Diğer” seçeneği ekleyin, bazı kişiler listenin dışında kalıyorsa “Benim için geçerli değil” seçeneğini de. Listeyi kurmanın ayrıntıları çoktan seçmeli anket sorularında seçenek yazma yazısında. Bir soruyu yalnızca herkes gerçekten yanıtlayabiliyorsa zorunlu yapın: zorunlu bir yüklü soru, kendisine uymayan herkesi yanlış bir yanıt vermeye zorlar.
Sorveri.com'da bir soru, ayarlarındaki “Yanıt zorunlu” kutusunu işaretleyene kadar isteğe bağlıdır. Numaralı puanlama sorusunda yalnızca ilk ve son noktanın altında bir etiket görünür. Bu iki etiketi ve bir matrisin her sütun etiketini kendiniz yazarsınız; onları tam karşıt yapın. Ölçeğin uzunluğu ve orta nokta için analize uygun anket tasarımı yazısına bakın.
“Katılıyor musunuz?” soruları onaylamaya davet eder
Birçok katılımcı, içeriği ne olursa olsun bir ifadeye katılmaya yatkındır; Pew Research Center buna onaylama eğilimi der. Avustralya İstatistik Bürosuna göre bazı katılımcılar her soruya düpedüz “evet” diyebilir. Çözüm, ölçtüğünüz şeyi adıyla anan seçenekleri olan doğrudan bir sorudur: Siparişiniz ne kadar hızlı ya da yavaş teslim edildi? (Çok hızlı … Çok yavaş). Öteki yol iki ifade arasında seçim istemektir: “Hangisi görüşünüze daha yakın, A mı, B mi?”
Önce ve sonra: yanlı anket sorusu örnekleri ve düzeltmeleri
Bu yönlendirici soru örneklerinin konusunu değil, kalıbını kopyalayın.
| Önce | Sorun | Sonra |
|---|---|---|
| Belediye, halkın parasını gösterişli konserlere harcamaya devam etmeli mi? | Duygu yüklü sözcükler, yalnızca bir taraf | Belediyenin konser ve festivallere bütçeden pay ayırmasını destekliyor musunuz, yoksa buna karşı mısınız? |
| Fiyatlar yüzünden toplu taşımayı bıraktınız mı? | Kişinin toplu taşıma kullandığını, bıraktığını ve nedenin fiyat olduğunu varsayar | Eleme sorusu: Hiç toplu taşıma kullandınız mı? (Evet, hâlâ kullanıyorum / Evet, ama artık kullanmıyorum / Hayır, hiç kullanmadım / Yaşadığım yerde toplu taşıma yok). Ardından yalnızca “Evet, ama artık kullanmıyorum” diyenlere: Bırakmanızın asıl nedeni neydi? (seçenekler arasında fiyat ve “Diğer”) |
| Öğrencilerin öğretmenlere saygısızlığı okulunuzdaki öğretimi etkiliyor mu? | Öğrencilerin saygısız olduğunu varsayar | Okulunuzda öğrencilerin öğretmenlere karşı davranışını nasıl tanımlarsınız? (Çok saygılı … Çok saygısız), ardından etkilerini sorun |
| Uzmanlar, alışverişin ancak bilinçli bir seçimden sonra yapılması gerektiğini söylüyor. Katılıyor musunuz? | Otorite işareti ve “Katılıyor musunuz?” kalıbı | Hangisi görüşünüze daha yakın? (A) Bir ev aleti almadan önce modelleri dikkatle karşılaştırmaya değer. (B) Modelleri karşılaştırmak çoğu zaman harcanan zamana değmez. |
| Teslimatımızın hızlı olduğuna katılıyor musunuz? | “Katılıyor musunuz?” kalıbı, yalnızca bir taraf | Siparişiniz ne kadar hızlı ya da yavaş teslim edildi? (Çok hızlı … Çok yavaş) |
| Başarılı eğitim programımızdan ne kadar memnun kaldınız? (Son derece memnun kaldım / Çok memnun kaldım / Memnun kaldım / Memnun kalmadım) | Duygu yüklü sözcük, dengesiz seçenekler | Eğitim programını nasıl değerlendirirsiniz? (Çok iyi / İyi / Ne iyi ne kötü / Kötü / Çok kötü) |
Son satırdaki düzeltilmiş soru yalnızca katılımcının eğitimi nasıl bulduğunu sorar; eğitimin gerçekten işe yarayıp yaramadığının nasıl ölçüleceğini eğitim etkinliği değerlendirme yazısı anlatıyor.
Toplu taşıma satırı, örtük bir varsayımın genel çözümünü gösterir: önce bir eleme sorusu sorun ve her ek soruyu yalnızca uyduğu kişilere gösterin. Ölçütlere uymayan kişileri anketin başında ayırmak da aynı kalıba dayanır; bunun tam kurulumu anket katılımcı bulma yazısında.
Sorveri.com'da ücretsiz online anket oluştururken eleme sorusuna “Koşullu mantık” sekmesinden bir kural ekleyin. Uygun yanıt için listeden “Soruyu göster” seçeneğini seçerseniz ek soru yalnızca o kişilere görünür; öteki yanıtlar için “Soruyu gizle” de aynı işi görür. Her kural tek bir soruyu hedefler, bu yüzden her ek soruya ayrı bir kural gerekir. Bir kuralla gizlenen soru, zorunlu olsa bile katılımcının önünü hiçbir zaman kesmez.
Göndermeden önce taslağı kontrol edin
Her görüş ya da davranış sorusu için şunu sorun: Bir katılımcı hangi yanıtı umduğunuzu anlayabilir mi? Anlayabiliyorsa soruyu yeniden yazın. Olgu ve bilgi soruları farklıdır: onların gerçekten doğru bir yanıtı vardır.
Ardından taslağı ön uygulamadan geçirin; Pew Research Center bu adımı vazgeçilmez sayar. Anket bağlantısını, anketi göndereceğiniz gruptan birkaç kişiye iletin; aralarında hipotezinizi paylaşmayan biri de olsun. Onlara hangi yanıtın beklendiğini hissettiklerini sorun ve her soruyu kendi sözcükleriyle anlatmalarını isteyin. Bu kişilerin yanıtları gerçek yanıt sayılır: denemeden sonra onları sonuçlardan silin ya da denemeyi anketin bir kopyasıyla yapın.
Son olarak “Soru ifadesindeki uyarı işaretleri” ve “Yüklü seçenekler: ölçek de yönlendirebilir” başlıklarındaki kontrolleri her soruya ve her seçenek listesine uygulayın. Anketin tamamını adım adım kurmak için anket nasıl hazırlanır rehberine göz atın.
Özetle
Yönlendirici ve yüklü soruları yazmak kolaydır, sonuçlarda görmek ise neredeyse imkânsız. Çoğunu üç alışkanlık önler: iki tarafı da adıyla anan tarafsız bir ifade, bir çıkış yolu bırakan dengeli seçenekler ve bir şeyi varsayan her sorudan önce bir eleme sorusu. Ardından taslağı, herkesten önce beklentilerinizi paylaşmayan birkaç kişiyle deneyin.
Bu kontrolleri uygulamak için çalışan anketleri iyi bir başlangıçtır: iş, yönetici ve maaş sorularına sosyal işaretler ve duygu yüklü sözcükler kolayca karışır. Çalışan memnuniyeti anketi şablonunu açın ve her soruyu bu yazıdaki uyarı işaretlerine göre okuyun.
Hazır şablon: çalışan memnuniyeti anketi
Göndermeden önce şablondaki 15 sorunun ifadesini ve seçeneklerini bu yazıdaki uyarı işaretlerine göre kontrol edin.
Şablonu görün