Dijital patolojide yapay zekâ çoğu zaman “bu tümör nedir?” sorusuna yanıt veren sınıflandırıcı modeller üzerinden tartışılıyor. HERE (H&E Retrieval Engine) ise farklı bir yaklaşım kullanıyor:
Bir H&E görüntüsünü veriyorsunuz; sistem büyük patoloji arşivleri içinde morfolojik olarak buna benzeyen alanları buluyor.
Bu yönüyle HERE'yi bir “AI tanı sistemi”nden çok, patolog için geliştirilmiş görsel benzerlik arama motoru olarak düşünmek daha doğru.
Google Images'ın histopatolojiye uyarlanmış, fakat görüntüyü yalnızca renk ve genel görünüm açısından değil, yapay zekâ tarafından çıkarılan histomorfolojik özellikler üzerinden karşılaştıran bir versiyonu gibi düşünülebilir.
HERE neyin içinde arama yapıyor?
HERE'nin güncel altyapısı yaklaşık 21,2 TB H&E whole-slide image verisini indeksliyor.
Başlıca kaynaklar:
- NCI Laboratory of Pathology
- TCGA
- CPTAC
- spatial transcriptomics ile eşleştirilmiş bazı H&E veri setleri
Bu devasa görüntü koleksiyonu doğrudan piksel piksel taranmıyor. H&E alanları önce bir yapay zekâ modeliyle sayısal özellik vektörlerine dönüştürülüyor ve daha sonra hızlı benzerlik araması yapılabilecek bir indeks oluşturuluyor.
Çalışmada kullanılan indeks yaklaşık 12,1 GB büyüklüğünde.
Dolayısıyla terabaytlarca WSI verisi içindeki benzer alanlar saniyeler düzeyinde aranabiliyor.
Patolog HERE'yi nasıl kullanabilir?
En önemli kullanım Image-to-Image Search.
Pratik yaklaşım şu şekilde:
- İncelediğiniz olgunun H&E kesitinden karakteristik bir alan seçin.
- Bu alanı görüntü olarak HERE'ye yükleyin.
- Sistem görüntüyü yapay zekâ ile encode eder.
- NCI, TCGA ve CPTAC arşivlerindeki histolojik alanlarla karşılaştırır.
- Morfolojik olarak en yakın görüntü alanlarını sıralar.
- Eşleşmenin bulunduğu whole-slide image üzerindeki lokalizasyonu gösterir.
- Varsa olguya ait klinik ve moleküler bilgileri görüntüler.
Varsayılan olarak sistem en benzer 50 görüntü alanını gösterebilir.
Buradaki kritik nokta şudur:
HERE tanı adı aramıyor. Morfoloji arıyor.
Bu nedenle arama kutusuna “clear cell RCC” yazmak yerine, clear cell RCC'ye benzeyen bir H&E alanını göstermek HERE'nin doğal kullanım biçimidir.
En iyi sorgu görüntüsü nasıl seçilmeli?
HERE kullanırken alınacak sonucun kalitesi büyük ölçüde sorgu olarak verdiğimiz H&E alanına bağlıdır.
Patolog açısından en yararlı yaklaşım, lezyonun morfolojik olarak karakteristik bölümünü seçmektir.
Örneğin:
- berrak hücreli alan
- papiller mimari
- kribriform yapı
- trabeküler büyüme
- nested patern
- iğsi hücreli alan
- rozet benzeri yapı
- mikrokistik patern
- belirgin stromal özellik
- karakteristik vasküler yapı
gibi tanısal ipucu taşıyan bölgeler tercih edilmelidir.
Buna karşılık mümkün olduğunca şu alanlardan kaçınılmalıdır:
- geniş nekroz
- kanama
- koter artefaktı
- ezilme artefaktı
- çok fazla normal doku
- yalnız inflamasyon içeren alan
- boş lam alanı
- aşırı düşük büyütmeli ve heterojen görüntüler
Çünkü bu durumda retrieval motoru tümörün esas morfolojisi yerine sorgu görüntüsündeki baskın fakat nonspesifik özelliği eşleştirebilir.
Büyütme önemli
HERE encoder'ı H&E görüntülerini patch düzeyinde değerlendiriyor. Çalışmada temel patch'ler yaklaşık 256 × 256 piksel ve 20× çözünürlük üzerinden işleniyor.
Ancak kullanıcı sorgusu tek patch olmak zorunda değil. Daha geniş bir ROI verildiğinde sistem birden fazla patch'i değerlendirerek alanı temsil eden ortak bir özellik vektörü oluşturabiliyor.
Araştırmacıların özellikle önerdiği noktalardan biri:
Önce görüntüyü orijinal çözünürlüğünde aratın.
Sonuçlar zayıfsa sistemdeki adaptive search yaklaşımıyla çözünürlüğü azaltarak tekrar arama yapılabilir.
Patolog açısından ben bunu biraz daha pratik hale getirirdim:
Aynı lezyondan 2-3 ayrı sorgu yapmak çoğu zaman tek sorgudan daha değerlidir.
Örneğin:
- orta büyütmede mimariyi gösteren alan
- daha yüksek büyütmede sitolojiyi gösteren alan
- varsa karakteristik stromayı gösteren alan
ayrı ayrı denenebilir.
Böylece modelin yalnızca tek bir histolojik özelliğe saplanması önlenebilir.
Örnek: tanısı zor bir renal tümör
Elimizde şu morfoloji olduğunu düşünelim:
- eozinofilik hücreler
- solid/nested büyüme
- fokal papiller alan
- belirgin kapiller ağ yok
- nükleoller orta derecede belirgin
- klasik clear cell RCC görünümü değil
Bu durumda doğrudan geniş bir alanı yüklemek yerine üç sorgu yapılabilir:
Sorgu 1: tümör mimarisini gösteren orta büyütmeli alan
Sorgu 2: karakteristik sitolojinin bulunduğu yüksek büyütmeli alan
Sorgu 3: alışılmadık papiller/nested geçiş alanı
Üç sorguda tekrar tekrar benzer tümör grupları geliyorsa bu sonuç ayırıcı tanının oluşturulmasında oldukça yararlı olabilir.
Ancak:
Retrieval sonucu tanı değildir.
Benzer morfoloji farklı biyolojik tümörlerde görülebilir.
Bu nedenle bulunan olgular IHK, moleküler bulgular ve klinik-radyolojik bağlam ile birlikte değerlendirilmelidir.
Sonuç ekranında neye bakılmalı?
HERE yalnızca benzer küçük resimler göstermiyor.
Sonuçlarda:
- benzer patch
- patch'in WSI üzerindeki lokalizasyonu
- ilişkili whole-slide image
- mevcutsa klinik bilgiler
- bazı moleküler bilgiler
incelenebiliyor.
Ayrıca sistem her eşleşme için benzerliğin rastlantısal arka plan eşleşmelerinden ne kadar farklı olduğunu değerlendiren:
- empirical z-score
- p-value
hesaplamaları da yapıyor.
Dolayısıyla ilk birkaç görüntünün yalnızca görsel olarak “benziyor gibi” görünmesine değil, istatistiksel benzerlik göstergelerine de bakmak yararlı olabilir.
HERE'nin patolog açısından en güçlü kullanım alanı: ayırıcı tanı üretmek
HERE'yi özellikle şu durumlarda değerli görüyorum:
1. Morfolojisi tanıdık ama adı gelmeyen tümör
Patologların günlük pratiğinde oldukça sık görülür:
“Bu görüntüyü daha önce gördüm ama hangi tümördeydi?”
HERE tam olarak bu probleme uygundur.
2. Nadir tümörler
Nadir bir tümörde klasik textbook görüntüsü bulmak kolay olmayabilir.
Ancak sorgu görüntüsü büyük histopatoloji veri tabanlarında aranarak morfolojik komşuları bulunabilir.
Bu özellikle:
- nadir renal tümörler
- yumuşak doku tümörleri
- nöroendokrin morfolojiler
- alışılmadık metastazlar
- az diferansiye tümörler
gibi durumlarda ayırıcı tanı üretmek açısından yararlı olabilir.
3. Metastatik tümörde primer araştırmak
Örneğin lenf nodunda veya kemikte metastatik bir tümör görüldüğünü düşünelim.
Morfoloji belirli bir organa özgü görünmüyorsa karakteristik tümör alanı HERE'ye verilerek hangi organ/tümör gruplarının sonuçlarda zenginleştiğine bakılabilir.
Bu doğrudan primer lokalizasyon testi değildir.
Ancak uygun IHK panelini planlamak için hipotez oluşturabilir.
4. İmmünohistokimya panelini daraltmak
Burada HERE'nin belki de en pratik klinik katkılarından biri ortaya çıkıyor.
Örneğin morfoloji başlangıçta 10 farklı tümörü düşündürüyorsa ve retrieval sonuçlarının büyük bölümü 2-3 tümör grubunda toplanıyorsa:
IHK paneli daha hedefli tasarlanabilir.
Yani HERE'nin amacı:
“Bu tanıdır.”
demekten çok,
“Önce bunlara bak.”
demek olabilir.
5. Eğitim
HERE özellikle asistan eğitiminde çok güçlü bir araç olabilir.
Bir eğitim vakasının karakteristik alanını yükleyip benzer morfolojilerin farklı organ ve tümörlerde nasıl ortaya çıktığı incelenebilir.
Örneğin yalnızca:
- papiller
- kribriform
- nested
- trabeküler
- spindle
- clear cell
- oncocytic
morfolojilerin farklı tümörlerdeki karşılıklarını görmek bile iyi bir dijital histoloji egzersizi oluşturabilir.
HERE'nin ilginç ikinci tarafı: H&E ile moleküler veriyi birbirine bağlamak
HERE yalnızca Image-to-Image Search yapmıyor.
Sistemin deneysel olarak daha ilginç taraflarından biri H&E ile spatial transcriptomics verilerini ilişkilendirmesi.
Spatial transcriptomics ile eşleştirilmiş H&E alanlarında sistem:
H&E → gen ekspresyonu
ve ters yönde:
gen → H&E morfolojisi
ilişkilerini araştırabiliyor.
Örneğin belirli bir H&E morfolojisine benzeyen spatial transcriptomics alanları bulunarak bu bölgelerde hangi gen veya yolakların yüksek ekspresyon gösterdiğine bakılabiliyor.
Çalışmada hipoksi morfolojisine benzeyen görüntüler üzerinden yapılan analizde VEGFA ve SLC2A1/GLUT1 gibi hipoksi ile ilişkili genlerin öne çıkması buna güzel bir örnek.
Bu özellik şu anda günlük tanısal patolojiden daha çok araştırma alanında önemli.
Ancak uzun vadede:
morfoloji → moleküler hipotez
ilişkisinin kurulması açısından oldukça dikkat çekici.
HERE hangi yapay zekâyı kullanıyor?
HERE'nin temel görüntü encoder'ı CONCH üzerine kurulmuş.
Araştırmacılar farklı foundation model/encoder seçeneklerini karşılaştırmış:
- CONCH
- UNI
- Prov-GigaPath
- PLIP
- HIPT
- KimiaNet
- RetCCL
- CLIP
- DenseNet
- MobileNetV3
ve performans/hesaplama maliyeti dengesi nedeniyle CONCH'u backbone olarak seçmişler.
HERE bu backbone üzerine ek öğrenme katmanları ekleyerek görüntüyü yaklaşık 256 boyutlu bir vektörle temsil ediyor.
Bu vektör patolog için görünür bir şey değil.
Ancak basitleştirerek:
Her histolojik alanın yapay zekâ tarafından oluşturulmuş bir “morfolojik parmak izi” bulunuyor.
HERE esas olarak bu parmak izlerini karşılaştırıyor.
HERE101 nedir?
Araştırmacılar retrieval sistemini değerlendirmek için HERE101 isimli bir benchmark oluşturmuş.
101 diagnostik H&E görüntüsünden oluşan bu koleksiyon farklı morfolojik özellikleri kapsıyor.
Değerlendirilen özellikler arasında:
- normal/tümör ayrımı
- sitoplazmik özellikler
- organ/lokalizasyon
- glandüler yapı
- papiller yapı
- kribriform yapı
- trabeküler yapı
- demetler
- nested yapı
- hücre şekilleri
- hücre tipleri
bulunuyor.
Kör patolog değerlendirmelerinde HERE'nin karşılaştırılan mevcut retrieval yöntemlerinden daha başarılı olduğu bildirilmiş.
Önemli sınırlamalar
HERE çok etkileyici olsa da yanlış kullanım kolaydır.
Benzerlik = tanı değildir.
Model bir alanı başka bir tümöre çok benzer bulabilir; çünkü iki tümör gerçekten ortak morfolojik özellik taşıyor olabilir.
Bu nedenle retrieval sonuçları:
- WHO sınıflaması
- klinik bilgi
- lokalizasyon
- IHK
- moleküler testler
yerine geçmez.
Dataset bias unutulmamalı
HERE'nin bulabileceği şeyler kendi indeksindeki görüntülerle sınırlıdır.
Dolayısıyla:
Veri tabanında yeterince temsil edilmeyen bir tümör, retrieval sonuçlarında da yeterince temsil edilmeyebilir.
Özellikle çok nadir tümörlerde negatif arama sonucu tümörü dışlamaz.
Moleküler tahminleri tanısal test olarak kullanmamak gerekir
HERE encoder'ı moleküler özelliklerle ilişkili morfolojik sinyalleri öğrenebiliyor.
Ancak görüntüden tahmin edilen mutasyon veya pathway bilgisi:
- NGS
- PCR
- FISH
- IHC
yerine kullanılabilecek doğrulanmış bir klinik moleküler test değildir.
Bunları araştırma veya hipotez oluşturma aracı olarak değerlendirmek daha doğru olacaktır.
Hasta gizliliği
H&E görüntüsü sisteme yüklenirken görüntünün:
- hasta adı
- protokol numarası
- barkod
- hastane bilgisi
- diğer kimlik belirleyici veriler
içermemesi gerekir.
Tanısal bir görüntünün internete gönderildiği her sistemde olduğu gibi de-identification temel prensip olmalıdır.
Ben patolog olarak nasıl kullanırdım?
HERE'yi günlük tanı algoritminde yaklaşık şu noktaya yerleştirirdim:
H&E inceleme
↓
morfolojik tanımlama
↓
ilk ayırıcı tanı
↓
HERE ile benzer görüntü araması
↓
yeni olası tanıların kontrolü
↓
WHO / Pathology Outlines / literatür kontrolü
↓
hedeflenmiş IHK paneli
↓
gerekiyorsa moleküler test
↓
nihai tanı
Yani HERE patologun yerine geçen bir sistem değil.
Tam tersine, patologun yaptığı en temel işlemlerden birini bilgisayar ölçeğine taşıyor:
“Buna benzeyen başka hangi tümörleri gördüm?”
İnsan hafızasında yüzlerce veya binlerce vaka bulunabilir.
HERE ise aynı soruyu milyonlarca histolojik bölge üzerinden sorabiliyor.
Bence dijital patolojide retrieval sistemlerinin en önemli tarafı tam olarak burada.
AI'nın tanıyı bizim yerimize vermesinden ziyade, patoloğun morfolojik hafızasını genişletmesi çok daha gerçekçi ve bugün kullanılabilir bir uygulama olabilir.
Pratik kullanım özeti
HERE kullanırken:
- Tümörün karakteristik H&E alanını seçin.
- Gereksiz normal doku ve artefaktları görüntüden çıkarın.
- Önce orijinal çözünürlükte arama yapın.
- Sonuç zayıfsa farklı büyütme/ROI ile tekrar deneyin.
- Mimari ve sitolojik özellikleri ayrı sorgularla değerlendirmeyi düşünün.
- İlk birkaç görüntü yerine sonuçların genel dağılımına bakın.
- Aynı tümör grubunun tekrar tekrar gelip gelmediğini değerlendirin.
- Sonuçları yeni bir ayırıcı tanı üretme aracı olarak kullanın.
- IHK ve moleküler doğrulamadan vazgeçmeyin.
- Retrieval sonucunu hiçbir zaman tek başına tanı olarak kabul etmeyin.
Son söz
Patolojide yıllardır kullandığımız önemli bir zihinsel yöntem vardır:
“Bu olgu daha önce gördüğüm hangi olguya benziyor?”
HERE bu yaklaşımı dijital ortama taşıyor.
Bence HERE gibi sistemlerin yakın gelecekte en yararlı kullanım alanı otomatik tanı vermek değil; patoloğa daha önce görmediği veya hatırlamadığı morfolojik benzerlikleri göstermek olacaktır.
Bu nedenle özellikle zor ve nadir tümörlerde HERE'yi ikinci bir “morfolojik arama motoru” olarak kullanmak oldukça ilginç görünüyor.
Kaynaklar
-
Zhong Z, Huang J, Li X, et al. Web engine for tumor pathology image retrievals on massive scales. bioRxiv / PubMed PMID: 41473324.
-
National Cancer Institute, Cancer Data Science Lab. HERE — H&E Retrieval Engine.
-
data2intelligence/HERE_website. HERE web uygulamasının açık kaynak kodu ve kurulum dokümantasyonu.
-
data2intelligence/HERE_training. HERE encoder eğitim ve model geliştirme kodları.
-
data2intelligence/HERE101. Histopatolojik görüntü retrieval sistemlerinin değerlendirilmesi için geliştirilen HERE101 benchmark veri seti.
Etiketler: #Patoloji #DijitalPatoloji #YapayZeka #ComputationalPathology #H&E #HERE #ImageRetrieval #WholeSlideImaging #FoundationModels #SpatialTranscriptomics