3.1 Yorumlanabilirliğin Önemi

Bir model iyi performans gösteriyorsa, neden ona güvenip aldığı kararların nedenini görmezden gelmiyoruz? "Problem şu ki, sınıflandırmanın doğruluğu gibi tek bir ölçüm aracı, gerçek dünyadaki çoğu problemi tümüyle açıklayamamakta." (Doshi-Velez ve Kim 2017 ⁶)

Yorumlanabilirliğin neden önemli olduğunu daha derinden inceleyelim. Bir tahmin yapmak üzere model oluştururken, bir değiş-tokuş yapmanız gerekir: Sadece neyin tahmin edildiğini mi anlamaya çalışıyorsunuz? Örneğin bir müşterinin vazgeçme olasılığını veya bir ilacın hastaya ne kadar iyi geleceğini tahmin etmek gibi. Yoksa, bir ihtimal modelin yorumlanabilir olması adına performanstan ödün vermek ve tahminlerin neden öyle yapıldıklarını öğrenmek mi istiyorsunuz? Bazı durumlarda kararların nasıl alındığı umrunuzda olmaz, modelin test verisindeki performansının iyi olması yeterlidir. Ama diğer durumlarda, "nedenleri" bilmek problem hakkında daha fazla şey öğrenmenize yardımcı olabilir. Bazı modeller düşük riskli ortamlarda çalıştırıldıklarından açıklanmaya ihtiyaç duymaz, yani böyle bir modelin yapacağı herhangi bir hatanın ciddi sonuçları yoktur (bir film tavsiye sisteminde olduğu gibi), ya da kullanılan metotun üstünde önceden genişçe bir çalışma yapılmış ve metot iyice değerlendirilmiştir (görsel karakter tanıma). Yorumlanabilirliğe olan ihtiyaç, problemlerin tanımlanmasındaki eksiklikten doğar (Doshi-Velez ve Kim 2017), yani belli problemler ve görevler için tahminler ("Ne?" sorusunun cevabı) tek başına yeterli değildir. Model aynı zamanda tahminleri nasıl yaptığını ("Nasıl?" sorusunu) da açıklamalıdır, çünkü doğru tahminler elinizdeki problemin yalnızca bir kısmını çözer. Aşağıdaki sebepler yorumlanabilirliğe ve açıklamalara olan talebi güçlendirir (Doshi-Velez ve Kim 2017, Miller 2017).

İnsan merakı ve öğrenmek: İnsanlarda, çevrede beklenmedik durumlar oluştuğunda güncellenen zihinsel bir model vardır. Bu güncelleme beklenmedik duruma bir açıklama getirilerek olur. Örneğin, bir insan hasta olduğunda "Neden hasta hissediyorum?" diye sorar. O kırmızı üzümleri her yediğinde hasta olduğunu öğrenir. Zihnindeki modeli günceller ve üzümlerin hastalığa sebep olduklarına, dolayısıyla onlardan uzak durulması gerektiğine karar verir. Araştırmalar sırasında iç mekanizmaları anlaşılmayan modeller kullanıldığında, eğer model açıklamadan tahminlerini sunuyorsa, bilimsel bulgular tümüyle gizli kalır. Yapılan tahminlerin niye yapıldığını, belli davranışların neden sergilendiğini öğrenmek ve merakı doyurmak için yorumlanabilirlik ve açıklamalar hayati önem taşır. Tabii ki insanlar olan her şeyin açıklamasına ihtiyaç duymaz. Çoğu insan için bilgisayarların nasıl çalıştığını anlamamak bir problem oluşturmaz. Beklenmedik olaylar bizi merakta bırakır, örneğin: Bilgisayarım niye durduk yere kapanıyor?

Dünyanın anlamını bulmak, öğrenmekle yakından ilişkilidir. Bildiklerimizdeki çelişkileri veya tutarsızlıkları çözüp uyumlu hale getirmeyi isteriz. Bir insan "Beni hiç ısırmayan köpeğim şimdi ne oldu da beni ısırdı?" diye sorabilir. Köpeğin geçmişteki davranışının bilgisiyle yeni tecrübe arasında bir çelişki vardır. Veterinerin açıklaması köpek sahibinin çelişik bilgilerini uzlaştırır: "Köpek strese girmiş." Bir makinenin kararları insan hayatını ne kadar etkilerse makinenin ortaya bir açıklama koyması o kadar önem kazanır. Makine öğrenmesi modeli bir kredi başvurusunu reddettiğinde bu başvuranlar için beklenmedik bir durum olabilir. Birbiriyle çelişen beklenti ve gerçekliği uzlaştırmak için bir açıklamaya ihtiyaç duyarlar. Açıklamaların durumu tümüyle açıklamaları gerekmez, ama ana sebebi göstermeleri gerekir. Bir diğer örnek ise algoritmik ürün tavsiyesidir. Şahsen ben belli ürünlerin ve filmlerin algoritmik olarak neden önerildiklerini merak etmişimdir. Genelde sebep barizdir: Reklamcılık beni internette takip eder ve bir çamaşır yıkama makinesi aldığımda, çamaşır yıkama makinesi reklamlarının beni takip etmeye başlayacağını bilirim. Sepetimde bir şapka varsa bana bir eldiven önermek gayet mantıklıdır. Algoritma bir filmi önerir çünkü beğendiğim filmleri beğenmiş kullanıcılar bu bana tavsiye edilen filmi de beğenmiştir. İnternet şirketleri zamanla artan bir şekilde yaptıkları tavsiyelere açıklamalar ekliyorlar. Buna iyi bir örnek sık satın alınmış ürün kombinasyonlarına dayanan ürün tavsiyeleri:

ŞEKİL 3.1: Sıklıkla birlikte satın alınan ürünler tavsiye oluşturulurken değerlendirilir.

Birçok bilimsel alanda niceliksel metotlardan niteliksel metotlara (sosyoloji, psikoloji) ve makine öğrenmesine (biyoloji gen bilimi) doğru bir değişim var. Bilimin amacı bilgi elde etmektir ama çoğu problem büyük veri setleriyle ve kara kutu modellerle çözülür. Veri yerine modelin kendisi bilginin kaynağı haline gelir. Yorumlanabilirlik model tarafından yakalanan bu ek bilgiyi ortaya çıkarmayı mümkün kılar.

Makine öğrenmesi modelleri güvenlik önlemleri ve test gerektiren gerçek görevleri üstlenir. Kendi kendine sürüş sistemine sahip bir arabanın derin öğrenmeyle bisikletçileri tespit ettiğini hayal edin. Sistemin yaptığı soyutlamanın hatasız olduğundan %100 emin olmak istersiniz, çünkü bisikletçilerin üstüne sürmek oldukça kötüdür. Bir açıklama öğrenilmiş en önemli özelliğin bisikletin tekerleklerini tanımak olduğunu ortaya çıkarabilir, ve bu açıklama yanlarında tekerlekleri kısmen kapatan çantalar olan bisikletler gibi uç durumlar hakkında düşünebilmeyi sağlar.

Her durumda modeller eğitim verisindeki ön yargıları içermek zorundadır. Bu durum modellerinizi, yeterince temsil edilmemiş gruplara karşı ayrımcılık yapan ırkçı şeylere dönüştürebilir. Yorumlanabilirlik modellerdeki ön yargıları ortadan kaldırmaya yarayan kullanışlı bir araçtır. Kredi başvurularını otomatik olarak kabul etmek veya reddetmek üzere eğittiğiniz model geçmişte haklarından mahrum bırakılmış azınlıkları ayrıştırabilir. Amacınız zamanı geldiğinde parayı geri ödeyecek kişilere kredi vermektir. Bu durumda problemin tanımlanmasının eksikliği, yalnızca kredi temerrütlerini en aza indirmek istemeniz değil, aynı zamanda belirli demografik özellikler temelinde ayrımcılık yapmamak zorunda olmanız gerçeğinde yatmaktadır. Bu, problem tanımınızın bir parçası olan (düşük riskli ve uyumlu bir şekilde kredi verme) ek bir kısıtlamadır ve modelin optimize edildiği kayıp fonksiyonunun kapsamında değildir.

Makinelerin ve algoritmaların hayatımıza entegre edilmesi, toplum tarafından kabul edilebilirliği arttırmak için yorumlanabilirliğe ihtiyaç duyar. İnsanlar nesnelere inançlar, arzular, niyetler vb. atfeder. Meşhur bir deneyde, Heider ve Simmel (1994)⁷ katılımcılara bir çemberin kapıyı açıp odaya (bir üçgen) girdiği bir video gösterdiler. Katılımcılar şekillerin hareketlerini sanki insanlardan bahsediyormuş gibi niyetler, duygular hatta kişilik özellikleri atfederek açıkladılar. Robotlar buna iyi bir örnek, benim Doge adını verdiğim elektrikli süpürgem gibi. Doge sıkıştığında şöyle düşünüyorum: "Doge temizliğe devam etmek istiyor, fakat benden yardım istiyor çünkü sıkıştı." Sonra, Doge temizliği bitirip odada şarj istasyonunu ararken "Doge yeniden şarj olmayı istiyor ve istasyonunu arıyor." diye düşünüyorum. Aynı zamanda kişilik özellikleri de atfediyorum: "Doge biraz aptal, ama sevimli bir şekilde." Bunlar Doge'yi izlerken, özellikle temizliği sırasında bir bitkiyi devirdiğinde aklıma gelen düşünceler. Tahminlerini açıklayan bir makine ya da algoritma daha kabullenilebilir olacaktır. Açıklamalarla ilgili bölümde açıklamanın sosyal bir süreç olduğundan bahsettim.

Açıklamalar sosyal etkileşimleri kontrol etmeye yarar. Bir şeyi herkesçe kabul edilmiş bir şekilde anlamlandırarak açıklayan kimse açıklamayı yaptığı kişinin hareketlerini, duygularını ve inançlarını etkiler. Bir makinenin bizle etkileşime geçmesi için duygularımızı ve inançlarımızı şekillendirmesi gerekebilir. Makinelerin bizi "ikna etmeleri" gerekir ki hedeflerine ulaşabilsinler. Davranışlarını belli bir seviyede açıklamasa elektrikli süpürgemi tam anlamıyla kabul etmezdim. Elektrikli süpürge örneğin bir kazanın (banyo halısına takılmak gibi) ortak bir açıklamasını hiçbir yorum yapmadan çalışmayı durdurmak yerine sıkıştığını anlatarak yapar. İlginç bir şekilde, açıklamayı yapan makinenin amacıyla (güven oluşturmak) açıklamayı dinleyenin amacı (tahmini veya davranışı anlamak) arasında bir uyuşmazlık olabilir. Doge'nin sıkışmasının tam bir açıklaması neredeyse bitmiş bir pil, çalışmayan bir tekerlek ve robotu engel olmasına rağmen sürekli aynı yanlış yere götüren bir bug olabilir. Bu üç neden (ve birkaç tanesi daha) robotun sıkışmasına sebep olmasına rağmen robot sadece yolda bir engel olduğunu açıklıyor, ki bu onun davranışına güvenmem ve kazanın ortak bir açıklamasını yapmam için yeterli. Bu arada, Doge tekrar banyoda sıkıştı. O temizliğe başlamadan önce halıları kaldırmalıyım.

FIGURE 3.2: Elektrikli süpürgemiz Doge sıkıştı. Kazayı düz zemin gerekliliğiyle açıklıyor.

Makine öğrenmesi modellerini tamir etmenin ve denetlemenin tek yolu onları yorumlayabilmektir. Film tavsiyesi gibi düşük riskli durumlarda bile yorumlayabilme kapasitesi, ürünün dağıtımı sonrasında olduğu gibi araştırma ve üretme sürecinde de büyük önem taşır. Model hazırlanıp üründe kullanıldıktan sonra işler ters gidebilir. Modelin hatalı tahminlerinin yorumlanması sorunun nedenini anlamamızı sağlar. Çözüme giden yolu bu belirler. Eskimo köpeklerini ve kurtları sınıflandırırken bazı Eskimo köpeklerini kurt olarak sınıflandıran bir model hayal edin. Makine öğrenmesinde yorumlama metotlarını kullanarak hatalı sınıflandırmanın resimlerdeki karlar olduğunu görebilirsiniz. Sınıflandırma modeli resimdeki karları resmi "kurt" olarak sınıflandırmada bir nitelik olarak kullanmıştır, bu eğitim verisi içerisinde sınıflandırma yaparken anlamlı olsa da gerçek dünyada her zaman doğru değildir.

Eğer modeliniz kararlarını açıklayabiliyorsa, aşağıdaki özelliklerini kolayca test edebilirsiniz (Doshi-Velez ve Kim 2017):

• Adillik: Tahminlerin ön yargısız olması ve dolaylı veya direkt olarak azınlıkları ayırmaması. Modeliniz, eğer kararlarını açıklayabiliyorsa, kredi başvurusunu reddettiği kişiye neden kredi vermediğini açıklayabilir, ve böylece bir insan kararın demografik (örneğin ırksal) ön yargıya dayanıp dayanmadığını kontrol edebilir.
• Gizlilik: Verideki hassas bilgilerin güvende olması.
• Dayanıklılık: Girdideki küçük değişikliklerin çıktıda büyük değişikliklere sebep olmaması.
• Nedensellik: Sadece nedensel ilişkilerin seçilmesi.
• Güvenilirlik: Kararlarını açıklayan bir sisteme güvenmek bir kara kutuya güvenmekten çok daha kolaydır.

Yorumlamaya ihtiyacımız olmayan durumlar:

Aşağıdaki senaryolar yorumlanabilirliğe ihtiyacımız olmayan hatta onu istemeyeceğimiz durumları örnekliyor.

Eğer modelin kayda değer bir etkisi yoksa yorumlanmasına ihtiyaç yoktur. Mike adında birisinin, Facebook verisini kullanarak arkadaşlarının bir sonraki tatillerde nereye gideceklerini tahmin etmek üzere bir yan proje üzerinde çalıştığını hayal edin. Mike'ın tek istediği arkadaşlarını üstünde çalışılmış tahminlerle şaşırtmak. Modelin yanlış çalışması küçük bir utanç dışında hiçbir probleme sebep olmaz, ya da Mike'ın modelini açıklayamaması dert değildir. Böyle bir durumda yorumlanabilirliğin yokluğu kabul edilebilirdir. Eğer Mike bu model etrafında bir iş kurmaya başlarsa durum değişir. Modelin yanlış çalışması para kaybettirebilir ya da ırksal ön yargıdan ötürü model bazı insanlar için kötü çalışabilir. Modelin etki alanı finansal ya da sosyal anlamda büyüdüğü an yorumlanabilirlik önemli hale gelir.

Eğer eldeki problem iyice araştırılmışsa yorumlanabilirliğe ihtiyaç yoktur. Bazı durumlarda problem iyice araştırıldığından modelle ilgili yeterli pratik tecrübe birikmiş ve modelde karşılaşılabilecek problemler zaman içinde çözülmüştür. Buna iyi bir örnek mektup görüntülerini işleyip adresleri veren görsel karakter tanıma modelidir. Bu sistemle yıllarca tecrübe biriktirilmiştir ve çalışabildikleri gayet ortadadır. Eldeki problemle ilgili ek içgörülere artık pek gerek yoktur.

Yorumlanabilirlik, kişilerin veya programların sistemi manipüle etmesine olanak sağlayabilir. Sistemi kandıran kullanıcı problemi, modelin üreticisinin ve kullanıcının hedefleri arasındaki uyumsuzluktan dolayı ortaya çıkar. Kredi puanı sistemi bu probleme açık çünkü modelin sahibi bankanın hedefi krediyi ödeyecek kişiye vermekken, kullanıcının hedefi banka ona kredi vermek istemese de alabilmek. Bu amaçlar arasındaki uyumsuzluk kullanıcıları sisteme oyun oynayarak kredi başvurularının kabulü olasılığını arttırmaya teşvik ediyor. Eğer başvuran kişi ikiden fazla kredi kartına sahip olmanın kredi puanını negatif etkilediğini biliyorsa, üçüncü kartını iptal eder ve krediyi aldıktan sonra tekrar üçüncü bir kart çıkartır. Sistemin gözünde puanı artsa da krediyi ödeme olasılığı değişmemiştir. Sistem ancak, eğer girdiler, nedensel bir nitelik için vekilse ama sonucun direkt bir nedeni değilse manipüle edilebilir. Eğer mümkünse vekil niteliklerden kaçınılmalıdır çünkü modelleri manipülasyona açık hale getirirler. Buna örnek olarak Google'ın grip salgınlarını tahmin etmek üzere geliştirdği Google Flu Trends gösterilebilir. Sistem Google aramalarının grip salgınlarıyla korelasyonuna odaklandı ve model kötü performans gösterdi. Arama dağılımı değişti ve sistem birçok salgını tahmin edemedi. Çünkü Google aramaları grip salgınlarının sebebi değildi. Kullanıcıların "yüksek ateş" gibi semptomları aratmaları ve grip salgınları arasındaki ilişki sadece korelasyondan ibaret. İdeal anlamda modeller manipüle edilmemek adına sadece nedensel nitelikler kullanırlar.

---

6. Doshi-Velez, Finale, and Been Kim. “Towards a rigorous science of interpretable machine learning,” no. Ml: 1–13. http://arxiv.org/abs/1702.08608 (2017).↩︎

7. Heider, Fritz, and Marianne Simmel. “An experimental study of apparent behavior.” The American Journal of Psychology 57 (2). JSTOR: 243–59. (1944).↩︎