Analize uygun anket tasarımı: soru türü, grafik ve sayı

Analize uygun anket tasarımı tek bir kurala dayanır: her sorunun hangi sayıyı vereceğine, soruyu yazmadan önce karar verin. Sorunun türü, çizebileceğiniz grafiği ve raporlayabileceğiniz rakamı belirler. Kişi başına tek yanıt, toplamı %100 eden bir bütünün paylarını verir. Kişi başına birden çok yanıt ise katılımcıların paylarını verir ve bu payların toplamı %100'ü aşabilir. Bir derecelendirme sorusu, sıralı bir ölçek üzerinde yanıtların dağılımını gösterir. Açık uçlu bir sorudan da metin çıkar; onu saymadan önce kodlamanız gerekir. Bu rehber, online bir araçla anket hazırlayan herkes için yazıldı. Her soru türünü grafiğiyle ve raporlanacak ana sayıyla eşleştirir, her birini bozan hataları gösterir ve sonuç ekranında ne göreceğinizi anlatır.

Kısaca

• Kişi başına tek yanıt, toplamı %100 eden paylar verir. Çubuk grafiği kullanın; pasta grafiğini yalnızca en çok beş dilim varsa ve biri açıkça en büyükse seçin.
• “Uygun olanların tümünü seçin” sorusunda her seçeneği katılımcıların yüzdesi olarak raporlayın; çubukların toplamı %100'ü aşsa da bu doğrudur. Bu soru türünde aracın kendi % sütunu kişilerin değil, işaretlenen bütün kutuların payıdır.
• Tek bir derecelendirme sorusu Likert tipi ölçek değildir. 5–7 nokta kullanın, her noktaya bir sözcük yazın, iki yönlü ölçekte orta noktayı koruyun ve dağılımın tamamını raporlayın.
• Açık uçlu yanıtlar temalara göre kodlandıktan sonra sayılabilir; bunun bedeli zamandır.

Raporlayacağınız sayıdan başlayın

Bir soruyu yazmadan önce raporunuzda yer alacak cümleyi (“Müşterilerin %X'i …”, “En sık söylenen üç neden …”), bu cümlenin gerektirdiği grafiği ve karşılaştıracağınız grupları yazın. Cümleyi yazamıyorsanız ya soru gereksizdir ya da henüz net değildir. Anketin bütün amacı hâlâ belirsizse önce bu anketle hangi kararı vermek istediğinizi tek cümleyle yazın.

Örneğin hem mağazası hem online satışı olan bir ev eşyası zinciri, müşterilerin kargoyla eve teslimatı mı yoksa mağazadan teslim almayı mı tercih ettiğini öğrenmek istiyor. Raporun ana cümlesi “Müşterilerin %58'i mağazadan teslim almayı tercih ediyor” olabilir (örneklerdeki bütün rakamlar örnek verilerdir). Bunun için iki seçeneğin yanına bir de “Fark etmez” seçeneği eklenmiş tek yanıtlı bir soru gerekir; sonuç çubuk grafiğiyle gösterilir.

Ardından karşılaştıracağınız grupları, örneğin ilk kez alışveriş yapanlarla tekrar gelen müşterileri listeleyin ve her gruptan kaç yanıt geleceğini tahmin edin. Yaklaşık 30'dan az yanıta dayanan bir yüzde, her yeni katılımcıyla birkaç puan oynar. Sorveri.com da iki grup arasındaki farkın gerçek olup olmadığını test etmez. Bu yüzden her grafiğin altına tabanı yazın: n, yani soruyu yanıtlayan kişi sayısı.

Soru türü, grafik ve ana sayı: eşleştirme tablosu

Raporlamak istediğiniz sayıyı ilk sütunda bulun ve satırı sağa doğru okuyun. Soru türleri, anket düzenleyicisindeki adlarıyla verilmiştir.

Sorveri.com'da ücretsiz online anket oluşturduğunuzda sonuçlar beş sekmede toplanır: “Özet”, “Analiz”, “Çapraz tablo”, “Bireysel yanıtlar” ve “Filtreleri yönet”. “Analiz” sekmesinde her çoktan seçmeli soru için sayıların ve yüzdelerin yer aldığı bir tablo ile sayıları gösteren bir çubuk grafiği bulunur. “Grafik türünü değiştir” düğmesiyle bu çubukları pasta grafiğine çevirebilirsiniz. Ekranın hesaplamadığı her şey dışa aktarılan dosyadan gelir. Hem “Analiz” hem “Bireysel yanıtlar” sekmesinde dışa aktarma vardır; “Bireysel yanıtlar” sekmesinden istediğiniz Excel dosyası size e-postayla gelir.

Kişi başına tek yanıt: bütünün payları

Herkes tek bir yanıt verdiğinde yüzdelerin toplamı, soruyu yanıtlayanların %100'üdür. Bu payları doğru tutmak için seçeneklerle ilgili iki kural, grafikle ilgili bir kural vardır.

Çakışmayan ve boşluk bırakmayan seçenekler

Her katılımcı kendine uyan tam olarak bir seçenek bulmalıdır. “Evli”, “Bekâr” ve “Boşanmış” seçeneklerinden oluşan bir medeni durum listesi, eşi ölmüş olanları ve kendini bu üç seçenekten hiçbirinde görmeyenleri dışarıda bırakır. TÜİK'in medeni durum istatistiklerinde kullandığı kategorileri alın; “Diğer (lütfen belirtin)” yanıtı için de “‘Diğer’ seçeneğini göster” ayarını açın.

20–30 ve 30–40 yaş aralıkları, 30 yaşındaki herkesi iki yere birden koyar; “20 yaş altı” diye bir aralık yoksa daha genç olanların gidecek yeri kalmaz. Doğrusu 20 yaş altı, 20–29, 30–39 diye devam eden aralıklardır. İç aralıkları aynı genişlikte tutun. Sonuçlar karşılaştırılabilsin diye resmî istatistiklerin ya da bir önceki anketinizin yaş gruplarını kullanın; “65 ve üzeri” gibi ucu açık bir ilk ya da son aralık sorun değildir.

Aylar da aynı tuzağa düşer: “Ocak–Şubat”, “Mart–Haziran” ve “Ağustos–Kasım” diye bölünmüş dönemler hem eşit değildir hem de temmuz ve aralık aylarını dışarıda bırakır. Üçer aylık dört, ikişer aylık altı ya da dörder aylık üç dönem kullanın. Seçenek listesinin kendisini nasıl yazacağınızı çoktan seçmeli anket soruları yazısı anlatıyor.

Pasta grafiği mi, çubuk grafiği mi?

Pasta grafiği yalnızca en çok beş parça varsa ve biri açıkça en büyükse işe yarar; o zaman da onu üç boyutlu değil düz çizin, her dilimi etiketleyin ve en büyük dilimle başlayın. Öteki durumlarda, Birleşik Krallık hükümetinin Analysis Function biriminin veri görselleştirme rehberinde (Data visualisation: charts, 2022) önerdiği gibi çubuk grafiği kullanın. “Anket grafiği nasıl yapılır?” sorusunun kısa yanıtı da budur: çubukları büyükten küçüğe sıralayın; yalnızca yaş ve ay gibi doğal bir sırası olan kategoriler kendi sırasında kalır.

Sonra tabanı belirtin. “Analiz” sekmesinde her tablonun altındaki “Toplam” satırı, “Diğer yanıtlar” da dahil, bir seçeneği seçen kişilerin sayısıdır. Bunu “Özet” sekmesindeki yanıt sayısıyla karşılaştırın ve ikisini birlikte verin: “Yanıtlayan 212 kişinin %58'i” gibi. Soruyu atlayanlar için bir çubuk yoktur; gerekiyorsa onu dışa aktarılan dosyadan kendiniz ekleyin.

“Uygun olanların tümünü seçin”: katılımcıların yüzdesi

Kişiler birden çok seçeneği işaretleyebiliyorsa her seçeneği, soruyu yanıtlayan kişilerin payı olarak raporlayın ve çubukları büyükten küçüğe sıralayın. Bu payların toplamı %100'ü aşabilir ve bu doğrudur.

Sorunun biçimi de rakamları değiştirir. Pew Research Center'ın 4.581 ABD'li yetişkinle yaptığı deneyde (2018'de yapıldı, 2019'da yayımlandı) her madde için ayrı ayrı sorulan evet ya da hayır sorusu, on iki maddenin hepsinde “uygun olanların tümünü seçin” listesinden daha yüksek rakamlar verdi; fark ortalama 8 puandı. Maddelerin büyüklük sırası ise neredeyse aynı kaldı. Pew artık evet ya da hayır biçimini kullanıyor, çünkü bu biçim katılımcıyı her maddeyi tek tek düşünmeye yöneltiyor. Kurumun yüksek rakamları gerçeğe daha yakın bulması, insanların fazla değil eksik bildirdiği varsayımına dayanır. Bu yüzden raporunuzda hangi biçimi kullandığınızı yazın.

Oranın kendisi önemliyse her madde için evet ya da hayır sorun; yalnızca sıra önemliyse “tümünü seçin” listesi yeterlidir. İşaretlenen kutunun neyi saydığına da dikkat edin: “Mağazamızı hangi aylarda ziyaret ettiniz?” sorusu ay başına ziyaret sayısını değil, kişi sayısını verir.

Aracın % sütunu katılımcıların payı değildir. “Çoklu seçim” ve “Görsel seçimi: çoklu” sorularında bu sütun, “Diğer” girişleri de dahil, her seçeneğin işaretlenen bütün kutular içindeki payıdır; bu yüzden toplamı %100 eder. 100 kişinin yanıt verdiğini, toplam 150 kutu işaretlediğini ve bunların 62'sinin e-posta olduğunu düşünün: ekranda e-posta yaklaşık %41 görünür, oysa katılımcıların %62'si e-posta kullanır. Her seçeneğin sayısını soruyu yanıtlayan kişi sayısına bölün; bu kişi sayısını “Bireysel yanıtlar” sekmesinden dışa aktardığınız dosya verir.

İki ayar sorunun kendisini değiştirir. “Seçilmesi gereken en az seçenek sayısı” birden büyükse katılımcılar, seçmeyecekleri seçenekleri de işaretlemek zorunda kalır. “Seçilebilecek en fazla seçenek sayısı” (“en çok üç seçenek işaretleyin”) ise “hangileri geçerli” sorusunu “hangileri en önemli” sorusuna, yani bir öncelik sorusuna çevirir. Bu ayarları yalnızca sormak istediğiniz soru gerçekten buysa kullanın.

Derecelendirme ölçeği mi, Likert tipi ölçek mi?

Likert tipi ölçek, aynı katılıyorum–katılmıyorum ölçeğiyle yanıtlanan ve tek bir puanda birleştirilen ifadelerden oluşur. “Bunu 1'den 5'e kadar puanlayın” diyen tek bir soru ise derecelendirme sorusudur ve dağılımıyla raporlanır. Araçtaki “Likert ölçeği” öğesi de bu türden tek bir derecelendirmedir: 2 ile 10 nokta arasında ayarlanan tek bir ölçek; sözcükler yalnızca iki uçta durur, sonuçta her nokta için bir sayı ve yüzde görünür.

Tek yönlü mü, iki yönlü mü?

“Hiç memnun değilim” ile “Çok memnunum” arasında uzanan iki yönlü bir ölçeğin bir orta noktası ve iki tarafında eşit sayıda noktası olmalıdır. “Hiç önemli değil” ile “Son derece önemli” arasında uzanan tek yönlü bir ölçeğin ise ortası yoktur ve genellikle beş noktayla iyi çalışır.

Kaç nokta?

Beş ile yedi arası nokta güvenli seçimdir. Krosnick ve Presser'ın Handbook of Survey Research için yazdığı 2010 tarihli derlemeye göre güvenirlik iki noktadan beşe kadar artar, yediden sonraki kazanç çok azdır ve yediyi geçince her noktaya bir sözcük bulmak zorlaşır; en kötü sonucu üç noktalı ölçekler verir. Bunun ötesinde kanıtlar karışıktır. Maitland (Survey Practice, 2009), kısa ölçeklerin iyi sonuç verdiği büyük bir çalışmayı ve yalnızca iki ucu adlandırılmış, 11 noktaya kadar çıkan ölçekleri savunan bir görüşü aktarır. Dolayısıyla, örneğin mevcut bir veri serisiyle karşılaştırma yapmanız gerekiyorsa 0–10 ölçeği savunulabilir bir seçimdir.

Her noktaya bir sözcük

Her noktaya bir sözcük yazmak yanıtların güvenirliğini artırır; sözcükler ölçeği yaklaşık eşit adımlara bölmelidir. “Likert ölçeği” öğesi yalnızca uçları adlandırır. Her noktayı adlandırmak istiyorsanız noktaları tek tek seçenek olarak yazdığınız bir “Tek seçim” sorusu ya da her noktanın adlandırılmış bir sütun olduğu bir “Matris: satır başına tek seçim” sorusu kullanın.

Orta nokta

İki yönlü bir ölçekte orta noktayı koruyun. Krosnick ve Presser, orta noktanın güvenirliği ve geçerliği artırdığını gösteren bir çalışmayı aktarır (O'Muircheartaigh, Krosnick ve Helic, 1999): gerçekten ortada duran kişiler, orta nokta yoksa komşu noktalardan birini rastgele seçer. Orta noktanın özensiz yanıtları kendine çektiği kaygısını destekleyen bulgular ise karışıktır. Orta noktayı yalnızca iki taraftan birine düşmesi gereken bir karar için çıkarın ve bunu raporunuzda belirtin.

Katılıyorum–katılmıyorum ifadeleri

Katılıyorum–katılmıyorum biçimindeki ifadeler, içerikleri ne olursa olsun katılımcıyı “katılıyorum” demeye yöneltir; buna onaylama yanlılığı denir. Yanıtları adlandırılmış doğrudan bir soru (“Teslimattan ne kadar memnunsunuz?”) ya da birbirine karşıt iki ifade arasında bir seçim bu etkiyi azaltır. Yanıtı bir yöne iten öteki ifade hatalarını yanlı anket soruları yazısında bulabilirsiniz.

Bir derecelendirme nasıl raporlanır?

Dağılımın tamamını pasta grafiğiyle değil, ölçek sırasına dizilmiş çubuklarla gösterin ve “Katılımcıların %71'i memnun ya da çok memnun” gibi tek bir ana cümle seçin. Noktaları gruplamak bilgi kaybettirir: Krosnick ve Presser'ın aktardığı bir çalışmada güvenirlik, 6 noktalı bir derecelendirmede 0,83 iken yanıtlar iki gruba indirildiğinde 0,71'e düştü. Tablonun tamamını saklayın ve her ortalamanın yanına dağılımı koyun. “Yıldız puanlama” ve “Kaydırıcı” ekranda her madde için yalnızca ortalamayı gösterir, dağılımı göstermez; dağılımı dışa aktarılan dosyadan alın.

Açık uçlu yanıtlar nasıl sayılır?

Açık uçlu yanıtlar kodlanarak sayılır: yanıtların bir kısmını okuyun, kısa bir tema listesi çıkarın, her yanıtı bir ya da birkaç temaya atayın, sonra sayın. Aynı yanıtları iki kişi ayrı ayrı kodlayıp karşılaştırırsa sayılar daha güvenilir olur. Ana cümle bu durumda “Katılımcıların %28'i fiyattan söz ediyor” gibi bir cümledir ve temaların çubuklarıyla gösterilir.

Kodlama zaman alır, üstelik insanlar açık uçlu soruları çok daha sık atlar. Pew Research Center'ın online American Trends Panel'inde 2018–2021 arasında sorulan açık uçlu sorular ortalama olarak katılımcıların yaklaşık %18'i tarafından boş bırakıldı (soruya göre %3 ile %50'nin biraz üstü arasında); kapalı uçlu sorularda bu oran %1–2'ydi. Açık uçlu soruları az tutun ve kişilerin nedenlerini kendi sözleriyle anlatacağı yerlere saklayın. Ön uygulamada açık uçlu bir soru, kapalı uçlu bir sorunun seçenek listesini de çıkarabilir. İki biçimin artılarını ve eksilerini açık uçlu ve kapalı uçlu sorular yazısı karşılaştırıyor.

“Analiz” sekmesi açık uçlu yanıtları tarihleriyle birlikte tek tek listeler; onları gruplamaz ya da saymaz. Yanıtları “Bireysel yanıtlar” sekmesinden dışa aktarın ve kodlamayı Excel'de yapın.

Zorunlu yanıtlar ve “bilmiyorum”: tabanı koruyun

Bir soruyu yalnızca her katılımcı onu gerçekten yanıtlayabiliyorsa zorunlu yapın. Koşullu mantıkla kişileri kendilerine uymayan soruların üstünden atlatan bir eleme sorusu buna örnektir. Öteki durumlarda zorla alınan yanıt bir tahmine dönüşür. ABD'deki kamuoyu araştırmacılarının derneği AAPOR (American Association for Public Opinion Research) da iyi uygulama rehberinde, yanıtı zorunlu tutmanın kişilerin anketi erken bırakma riskini artırdığı uyarısını yapar.

• Soru herkes için geçerli olmayabilir (hizmeti kullandınız mı?): “Benim için geçerli değil” ya da “Emin değilim” seçeneği ekleyin.
• Bir görüş ya da memnuniyet derecelendirmesi: “Fikrim yok” noktası eklemeyin. Krosnick ve Presser, kişilerin bir görüşü olduğunda bile bu noktayı seçtiğini ve veri kalitesinin düştüğünü aktarır. Bunun yerine derecelendirmeyi isteğe bağlı bırakın.
• Hassas bir soru: kişilerin soruyu atlamasına ya da “Yanıt vermek istemiyorum” demesine izin verin.

Her soruyu kaç kişinin yanıtladığını raporlayın. “Yanıt zorunlu” ayarı her soru için ayrı yapılır ve varsayılan olarak kapalıdır; koşullu mantığın gizlediği zorunlu bir soru, anketin gönderilmesini engellemez.

Göndermeden önce analizi test edin

Taslağı bir kez kendiniz uç yanıtlarla doldurun, birkaç iş arkadaşınızdan da doldurmasını isteyin. Sonra sonuç ekranını açın ve rapor cümlelerinizi gördüklerinize bakarak yazın. Bu deneme, “Anket analizi nasıl yapılır?” sorusunun en ucuz dersidir: bir cümle yazılamıyorsa soruyu şimdi değiştirin. Kanada'nın resmî istatistik kurumu Statistics Canada, çok az kişiyle yapılan bir ön uygulamanın ifade ve sıralama sorunlarının çoğunu ortaya çıkardığını belirtir. Test yanıtlarını, anketi yayına almadan önce “Bireysel yanıtlar” sekmesinde “Sil” düğmesiyle silin; silinen yanıt geri getirilemez. Soruların ifadesi için anket sorusu nasıl yazılır yazısındaki kurallara da göz atın.

Soru sırası

Önce sorulan bir soru, sonrakilerin yanıtlarını değiştirebilir. Bu yüzden genelden özele gidin ve zaman içinde izlediğiniz bir soruyu her turda aynı yerde tutun. Konuyla ilgili kolay sorularla başlayın, demografik soruları sona koyun. Bunlardan biri ankete kimin devam edeceğini belirliyorsa o soru başta kalır.

Sonuç

Analize uygun bir anket rapordan başlar: önce her sorunun cümlesini ve grafiğini yazın, sonra bunları üretecek soru türünü seçin. Dört tür sonucu birbirinden ayrı tutun: bütünün payları, katılımcıların payları, bir dağılım ve kodlanmış temalar. Yayına almadan önce sonuç ekranının her cümleyi yazmanıza izin verip vermediğini kontrol edin. Dışa aktarılan dosyadan gelmesi gerekenleri de not edin; “Çoklu seçim” sorusundaki katılımcı payı ya da bir “Kaydırıcı” ortalamasının arkasındaki dağılım bunlardandır. Anketin bütün adımlarını sırasıyla görmek isterseniz anket hazırlama rehberine bakın.

Pratik yapmak için ürün ve hizmet değerlendirme anketi şablonunu açın, her sorusu için bir rapor cümlesi yazın ve sayısını veremeyen soruyu göndermeden önce düzeltin.

Bunları da okuyun

• Açık uçlu soru mu, kapalı uçlu soru mu? Anketlerde artıları ve eksileri
• Anket giriş metni nasıl yazılır: örnek ve talimatlar
• Anket katılımcı bulma: ölçütlere uyan kişilere nasıl ulaşılır