Seçim anketleri ve simülasyonlar sonuçları tutturdu mu?
Anketler sonuçları tutturdu ama biz hangisinin sonuca en yakın olduğu konusunda bile uzlaşamadık.
14.06.2015
Nisan ayında Türkiye’deki gazetecilik pratiğini eleştirirken, “her anketi ‘haber’ yapıyoruz da, anket sonuçlarının çetelesini tutan, aylar içindeki değişimini listeleyen haber masası var mı?” diye sormuştum. Cevabımı haber masalarından değil, akademisyenlerden aldım.
Önce, 7 Mayıs’ta Yeni Şafak yazarı ve akademisyen Ali Saydam’ın 11 anketi değerlendirdiği makalesi yayımlandı. Saydam, anket şirketlerinin seçmen davranışını etkilemek için önce “uçuk kaçık” rakamlar verdiklerini, seçime az süre kalınca da bu rakamları düzeltip “en yakın ben bildim” diye övündüklerini iddia ediyor. Saydam yazısında bunu bir parça engellemek için, AKP’yi en yüksek ve en düşük gösteren 4 anketi çıkartıp ortalamalarını almış. Yöntemini çok bilimsel bulmasam da, sorularını haklı buluyorum:
Anket şirketleri gerçekten seçmen tercihlerini mı ölçüyor? Aylar içinde değişen sonuçlar seçmendeki değişimi mi yansıtıyor yoksa sonlara doğru yayımlananlar daha mı gerçeğe yakın?
Aylar içindeki değişimi ölçmek için belki en iyi yol, yayımlanan tüm anketleri aynı sepete koyup, gerçek sonuçları farklı taraflara çekmeye çalışan şirketlerin birbirini dengeleyeceğini ummak olabilir. Kalabalığın bir erdemi varsa, böyle ortaya çıkacaktır.
Gazeteci Michael Daventry’nin Türkiye hakkındaki haber blogu James in Turkey’de yer alan anket derlemesi tam da bu yöntemi kullanıyor. Daventry, Ağustos 2011 ile Haziran 2015 arasındaki dönemde sonuçları kamuoyuna açıklanan anketlerin ortalamasını almış.
Sonuçlar, aylar içinde AKP’nin oy kaybedişi ile HDP’nin oylarındaki artışı güzel bir şekilde görselleştiriyor. Daventry’nin seçimlerden dört gün önce bu veriye dayanarak yaptığı tahminde AKP yüzde 41.1, CHP yüzde 27.3, MHP yüzde 16.2 ve HDP yüzde 11.2 oy alıyordu. Hiç fena değil.
[Kaynak: JamesInTurkey.com]
Fakat, araştırma şirketlerinin basına gönderdiği sonuçları dahi manipüle etmeye gönüllü, “Alo Fatih” diye tabir edilen çıkar ilişkileri var. Bunlar yüzünden kamuoyuna açıklanan sonuçların hangi masada üretildiğini bile bilmiyoruz. Tüm anket ve medya şirketlerinin kendilerine yakın partiyi sürekli daha yüksekte gösterdiğini varsayarsak, aylar içindeki değişimi nasıl hesaplayabiliriz?
Türkiyeli akademisyenlerin kurduğu Research Institute on Turkey’den Onur Altındağ ve Bert M. Azizoğlu, bu endişelere de cevap veren 16 Mayıs tarihli yazılarında, anket şirketlerinin siyasilerle yakınlığını ve şirketlerin uğradığı siyasi baskı(n)ları da düşünmüş.
Kullandıkları istatistik modellerinin detayları şurada; ancak herkes için özetlemek gerekirse, şirketlerin partiler için gösterdiği oranlardan çok, bu oranların değişimini dikkate alarak sonuçları öngörmüşler. Bu şekilde, şirketlerin “yanlılığını” sabit tutmuşlar.
Örneğin, AKP’ye yakın ORC şirketi AKP’yi Mart anketinde yüzde 50, Nisan anketinde yüzde 48, Mayıs anketinde yüzde 47, Haziran anketinde ise (seçim yasağını da delerek) yüzde 46 gösterdi. Sonuç hiçbiri değil. Ama ORC’nin anketinden bile AKP’nin oylarının düşmekte olduğunu anlayabilir, hangi seviyeye düştüğünü ise diğer tüm anketlere birlikte bakarak değerlendirebiliriz.
Altındağ ve Azizoğlu bununla da kalmayıp buldukları sonuçların nasıl bir sandalye dağılımına yol açabileceğini ele almışlar, bunun için de kamuya açık seçim simülasyonlarını kullanmışlar. Onların analizini okuyanlar daha Mayıs ortasında AKP’nin 330 milletvekiline ulaşamayacağını, HDP’nin barajı geçmesi durumunda ise, AKP’nin tek başına iktidar olma şansının tehlikeye düşeceğini öngörmüştü.
[Kaynak: Research Institute on Turkey]
Bu seçim sürecinin dijital zenginlikleri arasında benim en çok önemsediğim iş de bu seçim simülasyonları oldu. Çünkü yüzde 10 seçim barajı nedeniyle zaten her seçimde başvurulan stratejik oylar bu seçimdeki sandalye dağılımında daha belirleyici olacaktı, oldu da.
Peki simülasyonlar, oyların ülke genelindeki dağılımını sandalye dağılımına doğru yansıtabildi mi? Partilerin hangi illerde daha güçlü olduğunu doğru hesapladı mı?
Demokrasi Denetçileri’nin simülasyonuna 7 Haziran 2015 gerçek seçim sonuçlarını girdiğimizde, partilerin milletvekili dağılımları şöyle gösteriliyor: AKP 260, CHP 131, MHP 89, HDP 69. Çilek Ağacı’nın simülasyonuna sonuçları girdiğimizde ise dağılım şöyle: AKP 265, CHP 130, MHP 84, ve HDP 71.
İki simülasyon da resmi olmayan kesin sonuçlara oldukça yakın. Fakat ilk anda göze öyle görünmese bile Çilek Ağacı’nın dağılımı daha yakın, çünkü hata payı daha az. Çilek Ağacı’nın sonuçları +7 (AKP tahmini) ile -9 (HDP tahmini) arasında sapmışken, Demokrasi Denetçileri’nin simülasyonu +9 (MHP tahmini) ile -11 (HDP tahmini) arasında sapmış.
Tahminler ile sonuçlar arasındaki en yüksek farkları ölçmek, o tahminin hata payını böylelikle ortaya çıkartabilir. Aşağıda bunu tüm seçim anketleri için nasıl yaptığımı anlatacağım.
Fakat, anketler ve simülasyonlar seçim sonuçlarını belirli bir hata payıyla tutturmuş olsa da seçimden sonra yapılan haberler hangi şirketin sonuca en yakın olduğu konusunda bile uzlaşamadı.
Bianet’ten Ekin Karaca’nın analizi, hangi araştırma şirketinin hangi partiyi daha yakın tahmin ettiğine dayanıyor. Halbuki bir anketin hata payı en iyi tutturduğu parti ile değil, en kötü ölçtüğü seçmen grubuyla anlaşılabilir. “X anket şu partiyi bildi, Z anket şunda yanıldı” demek ancak o şirketlerin kendi örneklem hatalarını anlamalarına yarayabilir. Bu yazının sorusuna cevap olamaz.
Bloomberg HT seçim gecesi yayımladığı haberde “hiçbiri doğrudan bilemedi” gibi bir ifade kullanmış; doğrusu o saatte YSK dahi sonuçları doğrudan bilmiyordu. Haberin gerisinde ise “hangi partiyi kim iyi bildi” türü değerlendirme tekrarlanmış.
Hürriyet KONDA’yı en yakın tahmin olarak açıklamış, ama değerlendirdiği anket sonuçları Mayıs ortasına ait; örneğin, en iyi olarak açıkladığı anket 21 Mayıs tarihinde sızan ve piyasaları hareketlendiren anket. Haberde KONDA’nın 4 Haziran tarihinde kamuoyuna açıklanan anketi gözden kaçırılmış.
T24 “Hangi anket şirketi, gerçeğe en yakın tahmini yaptı?” başlığını koymuş, ama haberde bu sorunun cevabını vermemiş, “büyük oranda doğru bildiler” deyip en son yayımlanan 11 anketi sıralamış. Vatan, Akşam ve Sözcü de soruyu sorup cevabı vermeyenlerden.
Sabah ise en iyi üç şirketi Andy-Ar, Sonar ve ANAR olarak açıklamış. Andy-Ar ilk üç şirketin içinde olabilir, Sonar ise ancak ilk ona girer; fakat AKP’yi yüzde 46, HDP’yi yüzde 7 gösteren ANAR nasıl ilk üçe girdi, anlamak mümkün değil. Ayrıca, haberde verilen rakamlardaki gibi ne bir KONDA, ne bir Pollmark, ne de bir GENAR anketi var. Bu nedenle, Sabah’ın haberinde yer alan rakamların çoğunun uydurma olduğunu düşünüyorum.
Bense başlıkta sorduğum soruyu cevaplayabilmek için Vikipedi’nin “2015 Türkiye genel seçimleri anketleri” makalesinde yer alan anketleri listeledim, eksikleri Emrah Göker’in listesinden tamamladım ve 1 Ocak 2015 ile 4 Haziran 2015 tarihleri arasında 25 farklı şirket tarafından yapılan ve sonuçları kamuoyuna açıklanmış 78 anketin hata paylarını ölçtüm. Diğer analizlerin aksine, anket dönemini çok daha kısa tuttum çünkü seçim tarihinden geriye doğru gittikçe anketlerin seçmen davranışını tahmin etme yeteneğinden uzaklaştığını düşünüyorum.
Buna göre, seçim sonuçlarına en yakın olan çalışma AKAM’ın (Avrasya Kamuoyu Araştırma Merkezi) 11-17 Nisan tarihleri arasında yaptığı anket. AKP’nin yüzde 40.7, CHP’nin 25.5, MHP’nin 18 ve HDP’nin 11.4 olarak tahmin edildiği anketin hata payı +/- yüzde 2’nin altında. Şirketin yayımladığı toplam dört anketin hata payı da ortalama +/- yüzde 3’ün altında. Bu oldukça iyi bir başarı. Basında AKAM’ın bu başarısı sadece iki internet sitesinde yer almış (1 ve 2).
A&G ile Samer hata payı +/- yüzde 2.5’in altında olan birer anket yayımlamışlar; fakat bir anketle başarılarını ölçmek diğer şirketlere karşı adil olmaz. Üç anket yayımlayan Andy-Ar Nisan’da +/- yüzde 3’ün altında, Mayıs’ta ise +/- yüzde 2.5’in altında hata payıyla sonuçları öngörmüş. Bu da oldukça istikrarlı bir başarı.
Karşılaştırmak için: MAK’ın 8 civarındaki hata payları Mayıs’a doğru “normalleşmiş”, KamuAR’ın hata payı ortalaması 6.5, ANAR’ınki 7, ORC’nin hata payı ortalaması ise +/- yüzde 8’in üstünde. Bu dört şirketin yayımladığı 17 anketin hiçbirinde HDP barajı geçememiş. Şirket sahiplerinin hayalinde başkanlık sistemi olabilir, ama kamuya açıklanan rakamlar koalisyon ihtimalini göstermek zorundaydı.
Cumhurbaşkanlığı seçimleri öncesinde yayımlanan anketlerin sonucu etkileyip etkilemediği çokça tartışılmıştı. Fakat o günden bu yana araştırma şirketlerinin denetlenmesi adına pek ilerleme kaydedemedik. Türkiye Araştırmacılar Derneği’yle (TÜAD) bile verilerini ve yöntemlerini paylaşmayan bu şirketleri kamu önünde sorumluluk almaya çağırmalıyız. Çünkü kamuya açıklanan anket sonuçları kamu denetimine de açık olmalı.
Akademisyen Aslı Tunç, anket şirketlerinin başka ülkelerdeki karnesini değerlendirirken bize dair çıkarımlarda da bulunmuş, “Türkiye’de saygın araştırma şirketlerinin yanı sıra, bir aday/parti lehine veya aleyhine seçmeni etkilemek ve yönlendirmek için bilimsellikten uzak araştırma dizayn eden şirketlerin de olduğunu biliyoruz. Ülkemizde ciddi araştırma yapanlarla falcılığa soyunan “anketçiler” birbirine karışıyor” demişti.
Bu yazı, kimin araştırma yaptığını, kiminse toplum mühendisliğine (dilerseniz, algı yönetimine) soyunduğunu anlamak için küçük bir çaba.
Veri setinde anket sonuçlarına puan verir gibi hata paylarının listelenmiş olması ise bir tesadüf değil, hazırlık. New York Times için seçim tahminleri yapan istatistikçi Nate Silver (FiveThirtyEight.com), Altındağ ve Azizoğlu’nun analizine benzer şekilde anketleri derlerken anket şirketlerinin geçmiş performansını da hesaba katıyor.
Biz de sıradaki seçime hazırlanırken anketleri hatalarıyla değerlendirebilir, üç vakte kalmadan da falcılarla araştırmacıları birbirinden ayırabiliriz.