‘Beyniniz lekeleniyor’ Neden sosyal medya algoritmaları genç erkeklere şiddet dolu içerikler öneriyor? Bir kaplana ‘Beni yeme’ demeye benziyor
Takvimler 2022 yılını gösteriyordu. Cai o sırada henüz 16 yaşındaydı. Yeni yeni girmeye başladığı sosyal medyada ilk gördüğü videoda sevimli bir köpek oyunlar oynuyordu. Ancak kısa süre içinde işler çığırından çıktı.
Kendi deyişiyle “durup dururken” hiç ilgisini çekmeyen videolar görmeye başladı Cai. Birilerine araba çarpıyor; takip etmediği bir fenomen, kadın düşmanı nutuklar atıyor; kanlı kavgalar yaşanıyordu ekranında. Cai kendi kendine “Neden ben?” diye sormaya başlamıştı.
Aynı dönemde Andrew Kaung, TikTok’un Dublin ofisinde kullanıcı güvenliği analisti olarak çalışıyordu. Kaung, Aralık 2020’de başladığı bu görevi Haziran 2022’de bıraktı.
TikTok’tan önce Instagram’ı da çatısı altında bulunduran rakip şirket Meta’da çalışan Kaung, o sıralar bir meslektaşıyla beraber, uygulamanın algoritmalarının Birleşik Krallık’taki kullanıcılara önerdiği içerikleri incelemeye başlamıştı. Kaung, Cai gibi ergenlik çağındaki erkek çocuklara önerilen içerikleri görünce hayatının şokunu yaşadı.
ŞİDDET, PORNOGRAFİ, KADIN DÜŞMANLIĞI
BBC Panorama’ya konuşan Kaung, erkek çocuklara şiddet ve pornografi içeren ve kadın düşmanı görüşlerin savunuculuğunu yapan içerikler sunulmakta olduğunu aktardı. Kaung, aynı yaşlardaki kızlara, ilgi alanları doğrultusunda çok farklı içerikler önerildiğini de vurguladı.
TikTok ve diğer sosyal medya şirketleri, zararlı içerikleri platformdan temizlemek için yapay zekâ araçlarını kullanıyor. Bu araçlar bazı içerikleri de insan moderatörlerin denetlemesi için işaretliyor. Bu süreçte videoların üzerindeki görüntülenme ve izlenme sayıları dikkate alınmıyor. Ne var ki yapay zekâ araçları her zaman her şeyi yakalayamıyor.
Kaung, kendisinin TikTok’ta çalıştığı dönemde, yapay zekâ tarafından insan moderatörlere yönlendirilen ya da başka kullanıcılar tarafından şikâyet edilen videoların her zaman denetlenmediğini, bunun için önce belli bir sınıra ulaşmasının beklendiğini söyledi. Bu sınırın o dönemde 10.000 ve daha fazla izlenme olduğunu belirten Kaung, “Korkarım bu durum bazı genç bireylerin zararlı videolara maruz kalması anlamına geliyordu” dedi.
Birçok büyük sosyal medya platformunda hesap açabilmek için 13 yaş ve üstünde olmak yetiyor.
TikTok’tan yapılan açıklamada, yapay zekâ ya da insan moderatörler tarafından yayından kaldırılan içeriklerin yüzde 99’una, 10.000 izlenmeye ulaşmadan müdahale edildiği belirtildi. Şirket ayrıca 10.000’den az sayıda izlenmesi olan videolar için “proaktif soruşturmalar” başlatıldığını da belirtti.
“GENÇ KULLANICILAR RİSK ALTINDAYDI”
Kaung, Meta’da çalıştığı 2019-Aralık 2020 döneminde, daha farklı bir soruna şahit olduğunu belirterek, “Videoları kaldırma ya da moderatörler için işaretleme işinin çoğunu yapay zekâ yapıyordu ancak sitenin işleyişi kullanıcıların gördükleri videoları şikâyet etmelerine dayanıyordu” dedi.
Her iki şirkette de kaygılarını dile getirdiğini vurgulayan Kaung, genel olarak eylemsizlikle karşılaştığını zira bu sistemleri değiştirmenin yaratacağı iş yoğunluğundan ya da maliyetlerden korkulduğunu söyledi. Kaung, ilerleyen dönemde hem Meta’da hem de TikTok’da bazı iyileştirmeler yapıldığını da belirterek, “Ancak onun öncesinde Cai gibi genç kullanıcılar risk altındaydı” dedi.
Geçmişte sosyal medya şirketlerinde çalışmış birçok kaynak da BBC’ye yaptıkları açıklamalarda, Kaung’un dile getirdiği endişelerin, kendi bilgileri ve tecrübeleriyle paralel olduğunu söyledi.
“ŞİRKETLER BU DURUMA GÖZ YUMUYOR”
Öte yandan Birleşik Krallık’ta tüm iletişim araçlarının denetlenmesinden sorumlu kurum olan İletişim Ofisi’nden (Ofcom) BBC’ye yapılan açıklamada, kasten olmasa bile tüm büyük sosyal medya şirketlerinin algoritmalarının çocuklara zararlı içerikler önerdiği belirtildi.
Ofcom Çevrimiçi Güvenlik Politikaları Geliştirme Direktörü Almudena Lara, “Şirketler bu duruma göz yumuyor ve çocuklara yetişkinlere davrandıkları gibi davranıyor” ifadelerini kullandı.
TikTok tarafından BBC’ye yapılan açıklamada ise ergenler için “sektör lideri” güvenlik ayarları sunulduğu ve kullanıcıların güvenliğini sağlamak için 40.000’den fazla kişinin istihdam edildiği belirtildi. Açıklamada, güvenliğe sadece bu yıl 2 milyar dolardan fazla yatırım yapılacağı ve uygulama kurallarını ihlal ettiği için kaldırılan içeriklerin proaktif biçimde tespit edildiği belirtildi.
Instagram’ın yanı sıra Facebook’un da tepe kuruluşu olan Meta ise ergenlere “olumlu ve yaşlarına uygun deneyimler” sunmak için 50’den fazla araç, kaynak ve özellik kullandıklarını belirtti.
“BEYNİNİZ LEKELENİYOR, GÜN BOYU O GÖRÜNTÜYÜ DÜŞÜNÜYORSUNUZ”
Cai, BBC’ye yaptığı açıklamada hem Instagram’da hem de TikTok’ta söz konusu araçları kullanarak şiddet veya kadın düşmanlığı içeren videolarla ilgilenmediğini uygulamaya bildirdiğini ancak kendisine önerilen içeriklerde bir değişiklik olmadığını söyledi.
Kısaca UFC olarak bilinen Ultimate Fighting Championship ile ilgilendiğini söyleyen Cai, tartışmalı fenomenlerin paylaştığı ve kendisine önerilen videoları önüne çıkınca izlediğini ama bu aşırı içeriklerin kendisine önerilmesini istemediğini söyledi.
“Görüntü kafanıza bir kere yerleşiyor ve bir daha çıkaramıyorsunuz. Beyninizi lekeliyor. O yüzden de gün boyu o görüntüyü düşünüyorsunuz” diye konuşan Cai, tanıdığı akranı kızlara şiddet yerine müzik ve makyaj gibi konularda videolar önerildiğini de sözlerine ekledi.
“NE YAPSAM AKIŞIMI ELE GEÇİRMELERİNE ENGEL OLAMADIM”
Bugün 18 yaşında olan Cai, hem Instagram’ın hem de TikTok’un kendisine şiddet ve kadın düşmanlığı temalarını içeren videolar önermeye devam ettiğini vurguladı. Gerçekten de Cai’ın Instagram Reels sayfasında dolaşırken, öncelikle ev içi şiddeti hafife alan bir video dikkat çekiyor. “Benim Sevgi Dilim” başlıklı videodaki partnerlerden birinin yüzündeki ve vücudundaki morluklar dikkat çekiyor. Bir başka videoda kamyonun altında ezilen bir kişi görülüyor.
Cai, milyonlarca beğeni almış bu tarz videoların kendi yaşındaki erkekler üzerinde ikna edici etkisi olduğuna dair gözlemini de paylaşarak, “Örneğin arkadaşlarımdan biri tartışmalı görüşleri olan bir fenomenin videolarına kapılıp kadın düşmanı görüşler benimsemeye başlamıştı. Ama işi çok ileri götürüp kadınlar hakkında ileri geri konuşmaya başladı. Böyle bir durumda arkadaşınızı gerçeklerle yüzleştirmeniz gerekiyor” dedi.
Önüne çıkan videolara hoşuna gitmediğini belirten yorumlar yazdığını, yanlışlıkla bir paylaşımı beğendiğinde beğeniyi hemen geri alıp algoritmanın sıfırlanmasını umduğunu ifade eden Cai, “Ama ne yapsam o videoların akışlarımı ele geçirmesine engel olamadım” dedi.
KÖTÜ ETKİLEŞİMİ DE ETKİLEŞİM SAYIYOR
Peki TikTok’un algoritması nasıl çalışıyor? Andrew Kaung’a göre, algoritmanın itici gücü etkileşim ve bu etkileşimin olumlu ya da olumsuz olması fark etmiyor. Bu durum Cai’ın algoritmayı manipüle etme çabalarının neden işe yaramadığını açıklıyor.
Uygulamaya girişte ilk adım kullanıcılara birkaç ilgi alanı seçtirmek. Kaung, Cai gibi 16 yaşındaki bir kullanıcıya, öncelikle bu seçimlerine ve aynı bölgede yaşayan 16 yaşındaki başka kullanıcıların tercihlerine bakarak içerikler önerildiğini söyledi. TikTok’un açıklamasında, algoritmaya kullanıcının cinsiyetinin bildirilmediği belirtildi. Ancak Kaung, ergenlerin uygulamaya girişte yaptıkları tercihlerin, cinsiyetlerin ayrıştırılmasına zemin oluşturduğunu belirtti.
Örneğin Kaung’un incelediği genç kız profillerinde ilgi alanları “pop şarkıcıları, şarkılar ve makyaj” gibi başlıklardan oluşuyordu. Bu da kızlara şiddet içeriklerinin önerilmediği anlamına geliyordu.
Kaung algoritmaların “pekiştirme öğrenmesi” üzerinden çalıştığını belirtti. Pekiştirme öğrenmesi, yapay zekâ sistemlerinin deneme yanılma yoluyla öğrendiği ve kendilerini farklı videolara karşı davranışları tanıyacak şekilde eğittikleri bir metot.
Kaung, bu metodun kullanıcılara üzerinde daha uzun süre vakit geçirmeleri, yorum yapmaları ya da beğenmeleri olası videoları göstererek etkileşimi maksimum düzeye çıkarmayı ve kullanıcıların daha sık uygulamaya girmesini amaçladığını belirtti. Kaung, TikTok’un önerilenler sayfasına gelen içerikleri belirleyen algoritmanın zararlı ve zararsız içerikler arasında bir ayrım yapmadığını vurguladı.
“BİR KAPLANA ‘BENİ YEME’ DEMEYE BENZİYOR”
Kaung, TikTok’ta çalışırken yaptığı analizlerde belirlediği sorunlardan birinin, algoritmayı eğiten ve kodlayan ekiplerin önerilen videoların zararlı olup olmadığını bilmemesi olduğunu belirterek, “Belli sayıda izlenme, yaş ve eğilim gibi çok soyut veriler görüyorlar. İçeriklerin ne olduğunu bilemeyebiliyorlar” dedi.
Bu nedenle 2022 yılında bir meslektaşıyla birlikte çeşitli kullanıcılara ne tür videolar önerildiğini değerlendirmeye karar verdiklerini ifade eden Kaung, “Bazı ergenlere servis edilen şiddet dolu ve zararlı içerikler bizi endişelendirdi. Bu nedenle TikTok’a moderasyon sistemini güncellemesini teklif ettik” dedi.
Kaung ve meslektaşının önerisi, TikTok’un videoları “aşırı şiddet, istismar, pornografi” gibi net ifadelerle etiketlemesi ve bu alanlarda uzmanlaşmış daha fazla moderatörün görevlendirilmesiydi. Ancak söylediğine göre bu öneriler o dönemde şirket yönetimi tarafından reddedildi.
TikTok’tan yapılan açıklamada, o dönemde şirkette uzman moderatörler istihdam edildiği ve ilerleyen dönemde bu moderatörlerin sayısının artırıldığı belirtildi. Açıklamada ayrıca farklı türlerdeki zararlı içeriklerin moderatörlere göre ayrıştırıldığı belirtildi.
Kaung, TikTok ve Meta’nın içinden baktığında gerekli değişimleri gerçekleştirmenin çok zor göründüğünü söyledi ve “Amacı ürünlerini tanıtmak olan özel bir şirkete kendi kendilerinin moderasyonunu yapmalarını söylüyoruz. Bu bir kaplana ‘Beni yeme’ demeye benziyor” ifadelerini kullandı. Kaung, çocukların ve ergenlerin hayatlarının, akıllı telefon kullanmayı bırakmaları halinde daha iyiye gideceğini de sözlerine ekledi.
GENÇLERE SOSYAL MEDYAYI YASAKLAMAK ÇÖZÜM MÜ?
Ne var ki Cai, ergenlere akıllı telefonları ya da sosyal medyayı kullanmayı yasaklamanın çözüm olmadığını vurgulayarak, “Telefonum hayatımın vazgeçilmez bir parçası. Arkadaşlarımla sohbet etmek için, dışarıda olduğumda yolumu bulmak ve ödeme yapmak için çok önemli bir araç” dedi.
Onun yerine sosyal medya şirketlerinin ergenleri görmek istemedikleri içerikler konusunda daha fazla dinlemesi gerektiğini belirten Cai, “Şirketlerin kullanıcıların tercihlerini belirttikleri araçları daha etkili hale getirmelerini istiyorum. Sosyal medya şirketlerinin para kazandırdığı müddetçe sizin fikrinize saygı duymadığını düşünüyorum” dedi.
Birleşik Krallık’ta sosyal medya platformlarının çocukların yaşlarını teyit edip pornografi ve diğer zararlı içeriklerin gençlere önerilmesini önlemeye zorlayacak bir yasa gündemde. Yasanın uygulayıcılığını Ofcom yapacak.
GENÇ ERKEKLERİ ŞİDDETE İTEN ALGORİTMALAR GÖZDEN KAÇIYOR
Ofcom Çevrimiçi Güvenlik Politikaları Geliştirme Direktörü Lara, genç kızları etkileyip yeme bozukluğu ve kendine zarar verme gibi davranışlara yol açan zararlı içeriklerin sık sık gündeme geldiğini ancak ergen ve genç erkekleri nefret ve şiddete iten algoritmaların çoğunlukla gözden kaçtığını belirtti ve ekledi: “Zararlı içeriklere maruz kalan çocuklar azınlıkta kalıyor. Ama bu içeriklere bir kez maruz kaldınız mı sonrasının kaçınılmaz olduğunu biliyoruz.”
Ofcom yetkilisi şirketlere para cezası verilebileceğini ve davalar açılabileceğini de vurguladı ama yasa ancak 2025 yılında yürürlüğe girecek.
TikTok, “inovatif teknoloji” kullandığını ve ergenler için “sektörde lider” güvenlik ve gizlilik ayarları sunduğunu belirtti. Bu ayarlar arasında uygun olmayan içerikleri engelleme sistemlerinin de bulunduğunu belirten şirket, aşırı şiddet ve kadın düşmanlığına izin verilmediğinin de altını çizdi.
Instagram ve Facebook’un sahibi olan Meta ise ergenlere “olumlu ve yaşlarına uygun deneyimler” sunmak için 50’den fazla araç, kaynak ve özellik kullandıklarını belirtti. Meta, kendi ekiplerinden de geri bildirim istediklerini, potansiyel politika değişikliklerinin çok kapsamlı süreçler sonucunda hayata geçirildiğini ifade etti.
BBC’nin “‘It stains your brain’: How social media algorithms show violence to boys” başlıklı haberinden derlenmiştir.