3.5 Açıklamaların Özellikleri

Makine öğrenmesi modellerinin yaptıkları tahminleri açıklamak istiyoruz, ve bunun için açıklama üreten algoritmalar olan açıklama yöntemlerine başvuruyoruz. Bir açıklamanın yaptığı şey genellikle bir verinin nitelik girdilerini, modelin o veri için yaptığı tahminle insanların anlayacağı bir şekilde eşleştirmektir. Diğer tür açıklamalar bir veri kümesinden meydana gelir (örneğin en yakın k-komşu modelleri). Örneğin, kanser riskini bir support vector machine modeliyle tahmin edebilir ve tahminleri, karar ağaçları şeklinde açıklamalar oluşturan yerel vekil metodu ile açıklayabiliriz. Veya support vector machine yerine lineer bir model kullanabiliriz, ki bu durumda açıklama yöntemi algoritmayla beraber gelir (lineer modeldeki ağırlıkların yorumlanması).

Şimdi, açıklamaların ve açıklama yöntemlerinin özelliklerine daha yakından bakacağız (Robnik-Sikonja ve Bohanec, 2018⁹). Bu özellikler bir açıklamanın veya açıklama yönteminin ne kadar iyi olduğuna karar verirken dikkate alınır. Her birinin nasıl ölçüleceğine dair kesin bir yol bulunmadığından önümüzdeki zorluklardan biri de bunların nasıl hesaplanabileceğini formülize etmek.

Açıklama Metotlarının Özellikleri

Kendini açıklayabilme gücü metodun ortaya koyabildiği açıklamaların "dili" ya da yapısıdır. Bir açıklama metodu NEDEN-SONUÇ kuralları, karar ağaçları, ağırlıklandırılmış toplam, doğal bir dil ya da başka bir şey oluşturabilir.
Yarı saydamlık açıklama yönteminin ne kadar modelin içine bakmayı (parametrelere bakmak gibi) gerektirdiğinin ölçüsüdür. Örneğin, lineer regression gibi içsel yorumlanabilir modellere uygulanan açıklama metotları (modele özel metotlar) fazlasıyla yarı saydamlık gösterirler. Girdilerde değişiklik yapıp çıktıyı inceleyen metotlar sıfır yarı saydamlığa sahiptir. Uygun yarı saydamlık seviyesi duruma göre değişir. Yüksek yarı saydamlığın avantajı, metodun açıklama üretmek için daha fazla bilgiyi kullanabilmesidir. Düşük yarı saydamlığın avantajı ise metodun farklı modellere uyarlanabilmesidir (portatiflik).
Portatiflik metodun uygulanabildiği model türlerinin sayısıdır. Düşük yarı saydamlığa sahip metotlar yüksek portatifliğe sahiptir, çünkü modellere kara kutularmış gibi davranırlar. Vekil modeller en yüksek portatifliğe sahip metotlar olabilir. Tek tür modele uygulanabilen (örneğin sadece recurrent sinir ağlarına) metotlar düşük portatifliğe sahiptir.
Algoritmik karmaşıklık, açıklamayı üreten algoritmanın hesaplamalı karmaşıklığının ölçüsüdür. Bu özellik, açıklamaları üretirken hesaplama süresinin önemli olduğu durumlarda dikkate alınmalıdır.

Tekil Tahminlerin Özellikleri

Doğruluk: Açıklama yeni verileri ne kadar doğru tahmin ediyor? Özellikle açıklamalar tahminlerde model yerine kullanıldığında, doğruluğun yüksek olması önemlidir. Eğer modelin doğruluğu düşükse ve amaç modelin ne yaptığını açıklamaksa, açıklamanın düşük doğruluğa sahip olmasında sorun yoktur. Bu durumda sadece uygunluk önemlidir.
Uygunluk: Açıklama modelin tahminlerini ne kadar iyi tahmin ediyor? Yüksek uygunluk bir açıklamanın en önemli özelliklerinden biridir çünkü düşük uygunluğa sahip bir açıklama modeli açıklamada işe yaramaz. Doğruluk ve uygunluk yakından ilişkilidir. Eğer model yüksek doğruluğa ve açıklama yüksek uygunluğa sahipse, bu açıklamanın da yüksek doğruluğa sahip olduğu anlamına gelir. Bazı açıklamalar sadece yerel uygunluğa sahiptir, yani açıklama sadece verinin belli bir alt kümesi için (örneğin yerel vekil modelleri) veya sadece tek bir veri için (örneğin Shapley Değerleri) modelin tahminlerini iyi tahmin eder.
Tutarlılık: Açıklama aynı görev için eğitilen ve benzer tahminler üreten modeller arasında ne kadar ayrım yapıyor? Örneğin, bir görev için support vector machine ve lineer regression eğittiğimi ve çok benzer sonuçlar verdiklerini varsayalım. Seçtiğim bir metot ile her biri için açıklamalar üretiyorum ve ne kadar farklı olduklarını inceliyorum. Eğer açıklamalar yeterince benziyorsa, açıklamalar tutarlıdır. Bu özelliği biraz aldatıcı buluyorum çünkü iki model farklı nitelikler kullanıp benzer tahminler üretebilirler (bu duruma “Rashomon Effect” de denir.) Böyle bir durumda yüksek tutarlılık istenmez çünkü açıklamaların birbirlerinden farklı olmaları gerekir. Yüksek tutarlılık, eğer modeller gerçekten benzer ilişkilere dayanıyorsa istenilen bir durumdur.
Kararlılık: Benzer veriler için yapılan açıklamalar birbirine ne kadar benziyor? Tutarlılık modeller arası açıklamaların karşılaştırılmasıyken, kararlılık bir modelde benzer veriler için yapılan açıklamaların karşılaştırılmasıdır. Yüksek kararlılık bir verinin niteliklerindeki küçük değişikliklerin açıklamayı büyük oranda değiştirmemesidir (bu küçük değişiklikler yapılan tahmini de büyük oranda değiştirmiyorsa). Kararlı olmayan bir açıklama metodu metottaki yüksek varyansın sonucu olabilir. Başka bir deyişle, bu tür metodlar açıklanacak verinin niteliklerindeki küçük değişikliklerden kuvvetle etkilenirler. Kararsızlık metodun deterministik olmayan kısımlarından da kaynaklanıyor olabilir, yerel vekil metodunun kullandığı veri örnekleme adımı gibi. Yüksek kararlılık her zaman istenen bir özelliktir.
Anlaşılabilirlik: İnsanlar bu açıklamaları ne kadar iyi anlıyor? Bu herhangi bir özellik gibi dursa da önemi çok bariz bir kavram. Tanımlaması ve ölçmesi çok zor ama elde edilmesi oldukça mühim. Çoğunluk anlaşılabilirliğin kitleye bağlı olduğunda hemfikir. Ölçme yöntemleri arasında açıklamanın büyüklüğünü ölçmek (lineer modelde sıfırdan farklı ağırlığa sahip nitelik sayısı, karar kurallarının sayısı vs.) veya insanların açıklamalara dayanarak modelin davranışlarını ne kadar iyi tahmin ettiğini test etmek yer alıyor. Açıklamada kullanılan niteliklerin anlaşılabilirliği de dikkate alınmalıdır. Dönüştürülüp daha karmaşık hale gelmiş nitelikler orijinal niteliklerden daha az anlaşılabilir olabilir.
Kesinlik: Açıklama modelin kesinliğini yansıtıyor mu? Birçok makine öğrenmesi modeli, kendi tahminlerinin doğruluğuna olan güvenleri hakkında bir şey söylemeksizin tahminlerini sunar. Eğer model bir hastanın kanser olma olasılığını %4 olarak tahmin ediyorsa, model bu tahminden başka nitelik değerlerine sahip ve kanser olma olasılığını yine %4 olarak tahmin etmiş başka bir hasta için yapılan tahminden olduğu kadar emin midir? Modelin kesinliğini içeren bir açıklama oldukça kullanışlı olacaktır.
Önem Derecesi: Açıklama niteliklerin veya açıklamanın kısımlarının önemini ne kadar iyi yansıtıyor? Örneğin, eğer tekil bir tahmin için açıklama olarak bir karar kuralı üretilmişse, kuralın hangi koşullarının en yüksek öneme sahip olduğu belli midir?
Yenilik: Açıklama, açıklanacak verinin, eğitim verisinin dağılımından uzak "yeni" bir bölgeden gelip gelmediğini ne kadar iyi anlatıyor? Bu gibi durumlarda model doğru olmayabilir ve açıklama kullanışsız olabilir. Yenilik kavramı kesinlik kavramıyla ilişkilidir. Yenilik arttıkça, modelin veri eksikliğinden ötürü düşk kesinliğe sahip olma ihtimali artar.
Temsil Edebilirlik: Açıklama ne kadarlık bir kısmı kapsıyor? Açıklamalar modelin tümünü (örneğin bir lineer regression modelindeki ağırlıkları yorumlamak) veya sadece tekil bir tahmini (örneğin Shapley Değerleri) kapsayabilir.

Robnik-Sikonja, Marko, and Marko Bohanec. “Perturbation-based explanations of prediction models.” Human and Machine Learning. Springer, Cham. 159-175. (2018).↩︎