Bir yapay zekâ algoritması prostat biyopsisini değerlendiriyor ve sonuç veriyor:
Adenokarsinom olasılığı: %97
İlk bakışta etkileyici.
Ancak patolog açısından asıl soru bundan sonra başlıyor:
“Neden?”
Model düzensiz glandları mı gördü?
Nükleer özellikleri mi kullandı?
Perinöral invazyon benzeri bir yapıya mı odaklandı?
Yoksa lam üzerindeki bir boya artefaktını, scanner farklılığını veya aslında tanıyla ilgisiz başka bir özelliği mi öğrendi?
Bu problem yapay zekâ literatüründe black box problem olarak tanımlanıyor.
Açıklanabilir Yapay Zekâ — Explainable Artificial Intelligence (XAI) — tam olarak bu noktada önem kazanıyor.
XAI nedir?
XAI, bir AI modelinin yalnızca sonuç üretmesi yerine, bu sonucu oluştururken hangi verilerin veya özelliklerin önemli olduğunu patolog tarafından değerlendirilebilir hale getirmeyi amaçlayan yöntemlerin genel adıdır.
Basit biçimde:
Geleneksel model
WSI → AI → “Kanser”
XAI yaklaşımı
WSI → AI → “Kanser” + kararın hangi alanlara ve özelliklere dayandığını gösteren açıklama
Bu fark klinik tıpta çok önemlidir.
Çünkü patolog yalnız doğru cevabı değil, savunulabilir bir cevabı ister.
Patolojide neden XAI'ya özellikle ihtiyaç var?
Histopatolojik tanı yüksek sorumluluk içeren bir karardır.
Bir algoritmanın yanlış sınıflandırdığı:
- benign prostat glandı,
- mikrometastaz,
- melanom hücresi,
- lenfoma,
- HER2 skoru
doğrudan tedaviyi değiştirebilir.
Bu nedenle klinik kullanıma giren AI sistemlerinin yalnız yüksek AUC değerine sahip olması yeterli değildir.
Patolog mümkün olduğunca şu soruların cevabını görebilmelidir:
- Model nereye baktı?
- Hangi özellikleri önemli kabul etti?
- Bu özellikler patolojik olarak anlamlı mı?
- Modelin güvenmediği alanlar hangileri?
- Sonuç klinik ve morfolojik bağlamla uyumlu mu?
XAI'nın temel amacı bu incelemeyi mümkün hale getirmektir.
XAI yöntemleri nelerdir?
Patolojide kullanılan açıklama yöntemlerini üç ana grupta düşünmek yararlı olabilir.
1. Görsel açıklama yöntemleri
Patolog açısından en doğal XAI biçimidir.
Model WSI üzerinde kararını etkileyen bölgeleri işaretler.
Bunlar:
- heatmap,
- saliency map,
- attention map,
- activation map,
- Grad-CAM,
- layer-wise relevance propagation
gibi yöntemlerle oluşturulabilir.
Örneğin prostat biyopsisinde AI adenokarsinom düşündüyse, WSI üzerinde kırmızı alanlarla:
- düzensiz küçük glandları,
- infiltratif glandüler alanları,
- nükleer atipinin belirgin olduğu bölgeleri
işaretleyebilir.
Patolog böylece modelin gerçekten tümöre mi baktığını kontrol edebilir.
Bu özellik son derece önemlidir.
Çünkü algoritmanın doğru sonuca yanlış nedenle ulaşması mümkündür.
2. Doğal olarak yorumlanabilir modeller
Bazı makine öğrenmesi modelleri baştan itibaren daha yorumlanabilir biçimde tasarlanabilir.
Örneğin:
- karar ağaçları,
- kural tabanlı sistemler,
- explainable boosting machine modelleri
çıktının hangi değişkenlerle ilişkili olduğunu daha doğrudan gösterebilir.
Bu sistemlerin avantajı açıklamanın sonradan eklenen bir “görselleştirme katmanı” olmamasıdır.
Modelin kendi karar yapısı daha anlaşılırdır.
Ancak çok kompleks WSI problemlerinde bu modeller her zaman büyük derin öğrenme sistemleri kadar güçlü olmayabilir.
3. Model-agnostic açıklamalar
Bazı XAI yöntemleri modelin mimarisinden bağımsız çalışabilir.
En bilinen örneklerden biri:
SHAP — Shapley Additive Explanations
yaklaşımıdır.
LIME benzeri yöntemler de aynı genel aile içinde düşünülebilir.
Bu sistemler:
“Bu sonuca hangi değişken ne kadar katkıda bulundu?”
sorusunu yanıtlamaya çalışır.
Örneğin multimodal bir tümör modelinde:
- histolojik özellikler,
- yaş,
- evre,
- mutasyon durumu,
- immün infiltrasyon
gibi değişkenlerin tahmine katkısı ayrı ayrı gösterilebilir.
Heatmap gördüğümüzde gerçekten modeli açıklamış oluyor muyuz?
Hayır.
Bu, XAI konusunda en önemli noktalardan biridir.
Bir heatmap'in patolog açısından mantıklı görünmesi:
modelin gerçekten o nedenle karar verdiğini kanıtlamaz.
Örneğin sistem tümör alanını doğru biçimde kırmızı gösterebilir.
Fakat gerçek karar mekanizmasının bir kısmı:
- boyanma tonu,
- scanner kaynaklı özellik,
- doku kenarı,
- görüntü sıkıştırma artefaktı
gibi ilgisiz bir değişkene dayanıyor olabilir.
Bu nedenle XAI yalnızca:
“Güzel bir görsel açıklama üretti.”
şeklinde değerlendirilmemelidir.
Explainability, understandability ve reliability aynı şey değildir
XAI literatüründeki en önemli ayrımlardan biri budur.
Explainability
Modelin tahminini hangi girdilere bağladığını gösterebilmesidir.
Örneğin:
“Bu üç bölge karar üzerinde en yüksek etkiye sahip.”
Understandability
Bu açıklamanın patolog tarafından anlamlandırılabilmesidir.
Örneğin:
“Model düzensiz infiltratif glandları ve nükleer pleomorfizmi önemli buldu.”
ilk ifadeden daha klinik olarak anlaşılırdır.
Causal reliability
En zor soru budur:
Model gerçekten gösterdiği nedenle mi karar verdi?
Bir açıklamanın mantıklı görünmesi, karar mekanizmasını doğru yansıttığı anlamına gelmeyebilir.
Klinik XAI açısından üç koşulun birlikte sağlanması gerekir:
açıklanabilir + anlaşılabilir + güvenilir
LLM'ler XAI'nın yeni arayüzü olabilir
Büyük dil modellerinin XAI açısından ilginç bir rolü vardır.
Geleneksel XAI sistemleri bir heatmap gösterebilir.
LLM ise bunu dile çevirebilir.
Örneğin sistem şöyle bir çıktı oluşturabilir:
“Modelin adenokarsinom tahminini en fazla etkileyen alanlarda küçük ve düzensiz glandüler yapılar, nükleer irileşme ve stromaya infiltratif yerleşim bulunmaktadır.”
Bu patolog açısından çok daha kullanıcı dostudur.
Gelecekte WSI üzerinde işaretli alan + kısa morfolojik açıklama birlikte gösterilebilir.
Ancak burada kritik bir risk vardır:
LLM açıklamayı uydurabilir.
Yani model doğru veya yanlış bir karar vermiş olabilir; LLM ise bu karara sonradan son derece ikna edici bir patolojik gerekçe yazabilir.
Bu nedenle:
LLM tarafından oluşturulan gerekçe, AI modelinin gerçek karar mekanizmasının kanıtı değildir.
LLM açıklamanın okunabilirliğini artırabilir.
Ama açıklamanın doğruluğunu garanti etmez.
XAI patolog için nasıl görünmeli?
Klinikte yararlı bir XAI arayüzünün yalnızca renkli bir heatmap göstermesi yeterli değildir.
İdeal bir sistem patolog için birkaç bilgi katmanını birlikte sunmalıdır.
1. Tahmin
Adenokarsinom olasılığı: yüksek
2. ROI
Modelin kararını en fazla etkileyen alanlar.
3. Morfolojik gerekçe
Düzensiz glandüler yapılanma
Nükleer pleomorfizm
İnfiltratif büyüme
4. Güven bilgisi
Modelin emin olmadığı alanların belirtilmesi.
5. Alternatifler
Modelin düşündüğü ikinci ve üçüncü olasılıkların gösterilmesi.
6. Patolog kontrolü
Patolog AI sonucunu kabul edebilmeli, reddedebilmeli veya yeniden analiz isteyebilmelidir.
Bu yaklaşım AI'yı “otorite” olmaktan çıkarıp gerçek anlamda karar destek sistemi haline getirir.
XAI'nın en büyük yararı her zaman güven oluşturmak değildir
XAI sıklıkla AI'ya duyulan güveni artıran bir teknoloji olarak tanıtılır.
Ancak klinikte daha önemli işlevi bunun tersi olabilir:
Patoloğun AI'ya ne zaman güvenmemesi gerektiğini göstermesi.
Örneğin AI metastaz olarak değerlendirdiği bir alanda heatmap'in:
- pigment,
- katlantı,
- nekroz,
- ezilme artefaktı
üzerinde yoğunlaştığı görülürse patolog modelin çıktısını hızla reddedebilir.
Dolayısıyla iyi bir XAI sistemi yalnız AI'yı ikna edici hale getirmemelidir.
AI'nın hatalarını görünür hale getirmelidir.
Automation bias: XAI'nın paradoksu
XAI'nın kendisi de yeni bir risk oluşturabilir.
Algoritma:
“Bu bölge malign çünkü düzensiz glandlar ve nükleer pleomorfizm var.”
şeklinde son derece ikna edici bir açıklama verirse patolog AI çıktısına gereğinden fazla güvenebilir.
Bu durum automation bias açısından önemlidir.
Kötü bir açıklama kadar, inandırıcı fakat yanlış bir açıklama da tehlikelidir.
Bu nedenle XAI sistemlerinin değerlendirilmesinde yalnız:
- açıklama kalitesi
değil,
- açıklamanın model kararına sadakati,
- dış validasyon,
- gerçek klinik performans
da değerlendirilmelidir.
XAI klinik uygulamaya girmeden önce ne göstermeli?
Bir patoloji AI sisteminin açıklanabilir olması tek başına klinik validasyon değildir.
Klinik kullanım için en azından şu konular değerlendirilmelidir:
- farklı merkezlerde dış validasyon,
- farklı scanner'larda performans,
- farklı boyama protokollerine dayanıklılık,
- nadir morfolojik varyantlarda performans,
- false-negative analizleri,
- açıklamanın model kararına uygunluğu,
- patolog-AI etkileşiminin gerçek iş akışında değerlendirilmesi,
- prospektif klinik çalışmalar.
Başka bir ifadeyle:
XAI doğruluk testinin yerine geçmez.
XAI, doğrulanmış bir modelin daha güvenli biçimde incelenmesini sağlayan ek bir katmandır.
Patoloji neden XAI geliştirmesi için ideal alan?
Patoloji AI'dan yalnız bir sınıflandırma sonucu istemiyor.
Patologlar doğal olarak:
“Nerede gördün?”
“Neye dayanarak söyledin?”
“Ayırıcı tanın ne?”
“Hangi bulgu kararını değiştirdi?”
sorularını soruyor.
Bu gereksinimler aslında AI araştırmasını da şekillendiriyor.
Bu nedenle computational pathology yalnız AI'nın uygulandığı alanlardan biri değildir.
Aynı zamanda daha açıklanabilir ve daha güvenilir AI sistemlerinin geliştirilmesini zorlayan alanlardan biridir.
Sonuç
Patolojide yapay zekânın klinik geleceğini yalnız doğruluk oranları belirlemeyecek.
Bir model:
%99 AUC
gösterebilir.
Ancak patolog:
“Bu karara neden ulaştığını göremiyorum.”
diyorsa klinik uygulamadaki değeri sınırlı kalabilir.
XAI bu nedenle patoloji AI'sının yan özelliği değil, gelecekte klinik uygulamaya geçişin temel bileşenlerinden biri olabilir.
Ancak XAI konusunda da temel prensip unutulmamalıdır:
Açıklama, kanıt değildir.
İyi bir sistem yalnız sonuç vermemeli;
nerede baktığını, hangi özellikleri kullandığını, ne kadar emin olduğunu ve hangi koşullarda yanılabileceğini de mümkün olduğunca patolog için görünür hale getirmelidir.
Patolojide güvenilir AI'nın hedefi algoritmayı patologdan daha ikna edici hale getirmek değil, algoritmanın kararını patolog tarafından denetlenebilir hale getirmektir.
Kaynak
Tham JA, Xie F, Chen B, et al. An update of artificial intelligence in pathology: Current applications, challenges, and future directions. Intelligent Systems with Applications. 2026;32:200736. doi:10.1016/j.iswa.2026.200736