2.1 Hikaye Vakti

Bazı kısa hikayelerle başlayacağız. Her biri, yorumlanabilir makine öğrenmesine olan ihtiyacı (kuşkusuz) abartılı bir şekilde işaret ediyor. Eğer aceleniz varsa hikayeleri atlayabilirsiniz. Eğer eğlenmek ve (de)motive olmak istiyorsanız, okumaya devam edin!

Bu format Jack Clark'ın Import AI Newsletter'ındaki Teknoloji Masalları'ndan ilham alınarak oluşturuldu. Eğer bu gibi hikayelerle ve yapay zekayla ilgileniyorsanız newsletter'a kaydolmanızı öneririm.

Yıldırım Aynı Yere İki Kez Düşmez

2030: İsviçre'de Bir Tıbbi Laboratuvar

“Daha kötü bir şekilde de ölebilirdi!” diye özetledi Tom, trajedinin içerisinde olumlu bir şey ararcasına. Pompayı IV kutbundan çıkarttı.
“Yanlış sebeplerden dolayı öldü,” diyerek ekledi Lena.
“Ve yanlış morfin pompalanmasıyla! Sadece bize daha fazla iş çıkarttı!” Tom pompanın arka plakasını sökerken söylendi. Tüm vidaları söktükten sonra plakayı alıp bir kenara koydu. Tanı portuna bir kablo bağladı.
“İş sahibi olmaktan şikayet etmiyorsun, değil mi?” Lena alaycı bir gülümsemeyle cevap verdi.
“Tabi ki hayır! Asla!” sarkastik bir tonla haykırdı.

Pompanın bilgisayarını açtı.
Lena kablonun diğer ucunu kendi tabletine taktı. “Tamamdır, tanılar oluşturuluyor.” diye bildirdi. “Neyin ters gittiğini çok merak ediyorum.”
“Bizim John Doe'yu Nirvana'ya fırlattığı ortada. Morfin seviyesinin yüksek konsantrasyonda olması... Yani, bu ilk kez oluyor değil mi? Normalde kırık bir pompa bu tatlı şeyden çok az ya da hiç sızdırır. Ama asla, sen de biliyorsun, o kadar çılgınca sızdırmaz.” Tom açıkladı.
“Biliyorum, beni ikna etmene gerek yok... Aa, şuna baksana.” Lena tabletini gösterdi. “Şuradaki piki görüyor musun? Ağrı kesici karışımının gücü. Bak! Bu çizgi referans seviyesini gösteriyor. Zavallı adam kan dolaşımında onu 17 kez tekrar ve tekrar öldürebilecek ağrı kesiciler varmış. Pompa enjekte etmiş hepsini. Ve şurada ...” ekranı kaydırdı, “hastanın öldüğü anı görebiliyorsun.”
“Ee, ne olduğu hakkında bir fikrin var mı patron?” Tom danışmanına sordu. “Hmm... Sensörler sağlam duruyor. Kalp hızı, oksijen seviyeleri, glikoz,... Veri beklendiği gibi toplanmış. Kandaki oksijen verisinde birkaç kayıp değer var, ama sıra dışı değil. Şuraya bak. Sensörler hastanın azalan kalp hızını ve morfin türevi ve diğer ağrı önleyici etkenlerden dolayı fazlasıyla düşen kortizol seviyesini de tespit etmiş.” tanı raporunu incelemeye devam etti.
Tom ekrana büyülenmiş bir şekilde baktı. Gerçek bir makine hatasını ilk kez inceleyişiydi.

“Tamam, yapbozun ilk parçası burada. Sistem hastanenin iletişim kanalını uyaramamış. Uyarı tetiklenmiş, fakat protokol seviyesinde reddedilmiş. Bizim hatamız ya da hastanenin hatası olabilir. Kayıtları IT ekibine gönder.” dedi Lena Tom'a.
Tom gözleri hala ekrana kilitlenmişken kafasını salladı.
Lena devam etti: “Garip. Uyarının aynı zamanda pompayı kapatması gerekirdi. Ama öyle görünüyor ki bunu başaramamış. Bir bug'dan dolayı olmalı. Kalite ekibinin kaçırdığı bir şey. Çok kötü bir şey. Belki de bir protokol hatasıyla ilgilidir.”
“Yani pompanın acil durum sistemi bir şekilde bozuldu, ama niye pompa çılgına dönüp John Doe'ya bu kadar fazla ağrı kesici enjekte etti?” Tom merak etti.
“Güzel soru. Haklısın. Protokol acil durum hatası bir yana, pompa o kadar ilaç kullanmamalıydı. Algoritma çok önceden düşük kortizol seviyesini ve diğer hata sinyallerini görüp kendiliğinden durmalıydı.” Lena açıkladı.
"Belki de kötü şans yüzündendir, milyonda bir ihtimal gibi, yıldırım tarafından çarpılmak gibi?" Tom ona sordu.
"Hayır, Tom. Eğer gönderdiğim dökümanı okusaydın, pompanın önce hayvan, sonra insan deneylerinde eğitilip sensör girdisine göre mükemmel seviyede ağrı kesici enjekte etmeyi öğrendiğini bilirdin. Pompanın algoritması opak ve karmaşık olabilir, ama rastgele değil. Bu demek oluyor ki aynı koşullarda pompa yine aynı şekilde çalışırdı; hastamız yine ölürdü. Bir kombinasyon ya da sensör girdilerinin istenmeyen şekilde bir etkileşimi pompanın hatalı davranışını tetiklemiş olmalı. Bu yüzden daha da derine inmeli ve ne yaşandığını öğrenmeliyiz." Lena açıkladı.

"Anlıyorum..." diyerek cevapladı Tom, düşüncede kaybolmuş bir şekilde. "Bu hasta zaten kanser gibi bir şey yüzünden yakın zamanda ölmeyecek miydi?"
Lena analiz raporunu okurken kafasını salladı.
Tom kalktı ve cama doğru yürüdü. Dışarı baktı, gözleri uzaktaki bir noktaya sabitlenmişti. "Belki de makine ona bir iyilik yaptı, anlarsın ya, onun acısına son vermek için. Daha fazla acı çekmesin diye. Belki de makine doğru şeyi yaptı. Bir yıldırım gibi davrandı, iyi bir yıldırım gibi ama. Piyango gibi, ama rastgele değil. Bir sebebe dayaranak. Ben pompa olsaydım, aynısını yapardım."
Lena sonunda kafasını kaldırıp ona baktı.
Tom dışarıdaki bir yere bakmaya devam etti.
İkisi de bir süreliğine sessiz kaldı.
Lena kafasını indirdi ve analize devam etti. "Hayır, Tom. Olan sadece bir hata... Lanet bir hata."

Güven Kaybı

2050: Singapur'da Bir Metro İstasyonu

Bishan durağına doğru koştu. Zihninde çoktan iş yerine varmıştı. Yeni sinirsel mimarinin testleri şimdiye bitmiş olmalıydı. Devletin vergi kaçıranları tespit ettiği "Bireyler için Vergi Sempatisi Tahmin Sistemi"nin yeniden tasarlanmasına öncülük ediyordu. Takımı şık bir mühendislik ortaya koymuştu. Eğer başarılı olursa, sistem sadece vergi ofisine hizmet etmekle kalmayacak, teröre karşı alarm sistemine ve ticari sicile de entegre edilecekti. Bir gün devlet, sistemin tahminlerini Sivil Güven Puanı'na bile entegre edebilirdi. Sivil Güven Puanı bir insanın ne kadar güvenilir olduğunu ölçüyordu. Bu değer borç alıp alamayacağınızı veya yeni pasaport için ne kadar beklemeniz gerektiğini, yani hayatınızın her alanını etkiler. Yürüyen merdivenlerden çıkarken böyle bir entegrasyonun nasıl olabileceğini merak etti.

Her zaman yaptığı gibi, hızını hiç kesmeden elini RFID okuyucusuna okuttu. Zihni meşguldu, ama gerçeklik ile duyusal beklentileri arasındaki uyumsuzluk beyninde alarm zilleri çaldı.

Çok geçti.

Önce burnunu metronun açılmayan kapısına çarptı ve poposunun üstüne yere düştü. Kapının açılması gerekiyordu... Fakat açılmadı. Şaşkın bir halde kalktı ve kapının yanındaki ekrana baktı. "Lütfen daha sonra tekrar deneyin." diye önerdi ekrandaki dost canlısı gülümseme. Bir başkası, elini okutup onu umursamayarak yanından geçti, kapı açıldı ve içeri girdi, kapı tekrar kapandı. Burnunu sildi. Acımıştı, ama en azından kanamıyordu. Tekrar kapıyı açmayı denedi fakat başarılı olamadı. Çok garipti. Belki de toplu taşıma hesabında yeterince para yoktu. Hesabındaki bakiyeyi kontrol etmek için akıllı saatine baktı.

"Giriş reddedildi. Lütfen Vatandaş Danışma Bürosu'na başvurun." diyerek saat onu bilgilendirdi.

Mide bulantısı hissi midesine bir yumruk gibi vurdu. Teorisini doğrulamak için bir FPS oyunu olan "Sniper Guild"ı açtı. Uygulama teorisini doğrulayacak şekilde otomatik olarak kapandı. Baş dönmesiyle tekrar yere oturdu.

Tüm bunların tek bir açıklaması olabilirdi. Sivil Güven Puan'ı düşmüştü. Önemli ölçüde. Küçük bir düşüş minör sıkıntılara sebep olurdu, birinci sınıf uçamamak ya da resmi belgeler için daha uzun süre beklemek gibi. Düşük güven puanı nadirdi ve topluma karşı bir tehdit oluşturduğunuz anlamına geliyordu. Bu tür insanlarla başa çıkmanın bir yolu da onları metrolar gibi kamu alanlarından uzak tutmaktı. Devlet düşük güven puanına sahip vatandaşların finansal işlemlerini kısıtlardı. Aynı zamanda sosyal medyadaki tüm davranışlarınızı izlemeye başlarlar ve şiddet içerikli oyunlar gibi bazı içeriklere erişiminizi engellerlerdi. Güven puanınız düştükçe onu arttırmak katlanarak zorlaşıyordu. Çok düşük puana sahip insanlar genelde durumlarını toparlayamazlardı.

Puanının niye düştüğü hakkında hiçbir fikri yoktu. Puan makine öğrenmesiyle belirleniyordu. Sivil Güvenlik Puanı toplumu çalıştıran iyi yağlanmış bir makine gibi çalışırdı. Performansı sürekli yakından takip edilirdi. Yüzyılın başından bu yana makine öğrenmesi daha iyi bir hale gelmişti. O kadar verimli hale gelmişti ki Güven Puanı Sistemi'nin aldığı kararlar artık tartışılmazdı. Bu hata yapmayan bir sistemdi.

Çaresizce güldü. Hata yapmayan bir sistem. Keşke. Nadiren hata yapardı, ama yapardı. Özel durumlardan birisiyle karşılaşıyor olmalıydı; sistemin bir hatası; bir dışlanmış. Kimsenin sistemi sorgulamaya cesareti yoktu. Sorgulanamayacak derecede devlet ve toplumla iç içeydi. Geriye kalan birkaç demokratik ülkede anti-demokratik eylemler yasaktı, zararlı oldukları için değil, sistemi bozacakları için. Aynı mantık bugün daha yaygın olan algokrasilerde de geçerliydi. Mevcut sistemi korumak adına algoritmayı eleştirmek yasaktı.

Algoritmaya güven sosyal güvenin yapısını belirliyordu. Herkesin iyiliği için, nadir olarak yanlış hesaplanan güven puanları üstü kapalı bir biçimde kabul ediliyordu. Yüzlerce diğer tahmin sistemi ve veri tabanı puanın oluşturulmasına katkı sağlıyordu, ve bu puanını neyin düşürdüğünü belirsizlikte bırakıyordu. Büyük karanlık bir deliğin onu yuttuğunu hissediyordu. Korkuyla boşluğa baktı.

Yaptığı vergi sempatisi sistemi çoktan Sivil Güvenlik Puanı Sistemi'ne entegre edilmişti, ama o bunu hiç öğrenemedi.

Fermi'nin Ataçları

Yıl 612 MİS (Mars'ın İskanından Sonra): Mars'ta Bir Müze

"Tarih çok sıkıcı." Xola arkadaşına fısıldadı. Xola, mavi saçlı bir kız, tembelce sol eliyle odada uğuldayan bir projektör drone'unu yakalamaya çalışıyordu. "Tarih önemlidir." dedi öğretmen üzgün bir ses tonuyla, kızlara bakarak. Xola kızardı. Öğretmeninin onu tesadüfen duyacağını beklemiyordu.

"Az önce ne öğrendin Xola?" diye sordu öğretmeni. "Antik uygarlıkların Dünyan gezegenindeki tüm kaynakları tükettiğini ve öldüğünü mü öğrendim?" diye dikkatlice sordu. "Hayır. Hava çok ısındı, ve insanlar yüzünden değil bilgisayarlar ve makineler yüzünden. Ayrıca adı Dünya gezegeni, Dünyan değil. diye ekledi Lin adındaki bir diğer kız. Xola kafasını sallayarak kabul etti. Gururlu bir şekilde, öğretmen gülümsedi ve kafasını salladı. "İkiniz de haklısınız. Peki nedenini biliyor musuz?" "İnsanlar aç gözlü olduğu ve ileri görüşlü olmadıkları için mi?" diye sordu Xola. "İnsanlar makineleri durduramadı!" Linda aniden çıkıştı.

"Yine ikiniz de haklısınız." dedi öğretmen, "Ama aslında olan çok daha karmaşık. O dönemde insanların hiçbiri olanların farkında değildi." Bazıları şiddetli değişiklikleri gördü, ama olanları geri alamazlardı. Döneme ait en ünlü eser anonim bir yazara ait bu şiir. Bu, anı en iyi yakalamış şey. Dikkatli dinleyin!"

Öğretmen şiiri başlattı. Bir düzine drone öğrencilerin önünde pozisyon alıp videoyu direkt gözlerine yansıttı. Videoda sadece ağaç kütüklerinin kaldığı ormanın ortasnda kostümlü bir adam vardı. Konuşmaya başladı:

Makineler hesaplar ve tahminler yaparlar.

Biz de bunun bir parçası olarak ilerleriz.

Eğitildiğimiz üzere ideali kovalarız.

İdeal tek boyutlu, yerel ve kısıtsızdır.

Silikon ve et, üstsel büyümeyi kovalar.

Büyümek bizim zihniyetimiz.

Tüm ödüller toplandığında,

ve yan etkiler umursanmadığında;

ve doğa geride kaldığında,

Başımız belada olacak,

Sonuçta, üstsel büyüme bir balon.

Kaynakların faciası ortaya çıkıyor,

Bozuluyorlar,

Gözlerimizin önünde,

Soğuk hesaplamalar ve buz gibi bir açgözlülük,

Dünyayı ateşe atıyor.

Her şey ölüyor,

Bizse şikayet ediyoruz.

Kör atlar gibi varoluşumuzun yarışında yarışıyoruz,

Medeniyetin Büyük Filtre'sine doğru,

Ve böylece yılmadan ilerliyoruz.

Biz de makinenin bir parçası olduğumuzdan.

Entropiyi kucaklayarak.

"Kara bir anı," dedi öğretmen, odadaki sessizliği bozmak için. "Kütüphanenize yüklenecek. Ödeviniz haftaya kadar şiiri ezberlemek." Xola iç çekti. Küçük drone'lardan birini yakalamayı başarmıştı. Drone, CPU ve motorlar yüzünden çok ısınmıştı. Drone'un eline verdiği ısı Xola'nın hoşuna gitti.