Derin öğrenme yöntemi ile panoramik radyografiden diş eksikliklerinin tespiti: Bir yapay zekâ pilot çalışması
Özer Çelik(0000-0002-4409-3101)α, Alper Odabaş(0000-0002-4361-3056)α, İbrahim Şevki Bayrakdar(0000-0001-5036-9867)β, Elif Bilgir(0000-0001-9521-4682)β, Fatma Akkoca(0000-0002-4522-656X)β
Selcuk Dent J, ODMFR 2019 Kongre Kitapçığı Özel Sayısı
Başvuru Tarihi: 10 Ocak 2019
Yayına Kabul Tarihi: 07 Şubat 2019
α Eskişehir Osmangazi Üniversitesi, Fen Fakültesi, Matematik-Bilgisayar Anabilim Dalı, Eskişehir
β Eskişehir Osmangazi Üniversitesi, Diş Hekimliği Fakültesi, Ağız, Diş Ve Çene Radyolojisi Anabilim Dalı, Eskişehir
ÖZET
Derin öğrenme yöntemi ile panoramik radyografiden diş eksikliklerinin tespiti: Bir yapay zekâ pilot çalışması
Amaç: Bu çalışmanın amacı, panoramik radyografide diş eksikliklerinin değerlendirilmesi için tasarlanmış tanı amaçlı bilgisayar yazılımının işlevini geliştirmek ve değerlendirmektir.
Gereç ve Yöntemler: Veri seti eksik diş tespiti için 99 tam diş ve 54 eksik diş olmak üzere 153 görüntüden oluşmaktadır. Tüm görüntüler Ağız, Diş ve Çene Radyolojisi uzmanları tarafından tekrar kontrol edilmiş ve doğrulanmıştır. Veri setindeki tüm görüntüler eğitim öncesinde 971 X 474 piksel olarak yeniden boyutlandırılmıştır. Açık kaynak kodlu python programlama dili ve OpenCV, NumPy, Pandas, ile Matplotlib kütüphaneleri etkin olarak kullanılarak bir rastgele dizilim oluşturulmuştur. Önceden eğitilmiş bir Google Net Inception v3 CNN ağı ön işleme için kullanılmış ve veri setleri transfer öğrenimi kullanılarak eğitilmiştir.
Bulgular: Eğitim de kullanılan görüntülerin modeli tahminlendirmesi ile çıkan başarı oranı % 94.7’dir. Eğitimde kullanılmayan test için ayrılan görüntülerin tahminlemesindeki başarı oranı % 75’dir.
Sonuç: Derin öğrenme tekniklerinde veri seti arttıkça başarı oranları da artmaktadır. Daha fazla görüntüyle oluşacak veri setininin eğitim modellerinde başarı oranları yükselecektir. Gelecek çalışmalar daha büyük veri setleriyle yapılmalıdır.
GİRİŞ
Diş hekimliği hizmetleri genel itibariyle ağız içi hastalıkların tanı, tedavi ve önlenmesini kapsayan, sağlık sektöründeki en hızlı büyüyen sektörlerden biridir.
Diş eksiklikleri bireylerde maloklüzyon, fonksiyon kaybı ve estetik problemlere sebep verdiği için teşhisi büyük önem taşımaktadır. Diş hekimliğinde diş eksikliklerinin tespit edilmesinde intraoral veya ekstraoral radyografilerden yararlanılır. Panoramik radyografi, dişlere ve çenelere genel bir bakış açısı sunan ve diş eksikliklerinin teşhisi için gerekli bilgileri sağlayan ekstraoral radyografidir. Bu radyografilerin yorumlanması zordur ve klinik deneyim gerektirir. Bununla birlikte deneyimli diş hekimleri dahi radyolojik muayenede diş kayıplarını veya eksikliklerini gözden kaçırabilmektedir.1, 2
Makine öğrenimi, bilgisayarların açıkça programlanmadığı, ancak mevcut verilerin ilişkilerini analiz ederek görevlerini yerine getirebildiği yapay zeka dalıdır. Derin öğrenme ise bir veya daha fazla gizli katman içeren yapay sinir ağları ve benzeri makine öğrenme algoritmalarını kapsayan çalışma alanıdır. 3
Son zamanlarda, diş hekimliğinde dijital görüntüleme sistemindeki ilerlemeler radyografilerden diş çürüğü, periodontal hastalık ve diş eksikliği tespiti için derin öğrenmeye dayalı yazılım tasarımları geliştirme imkanı sunmuştur. 4
Bu çalışmanın amacı, panoramik radyografide diş eksikliklerinin değerlendirilmesi için tasarlanmış tanı amaçlı bilgisayar yazılımının işlevini geliştirmek ve değerlendirmektir.
GEREÇ VE YÖNTEM
Bu çalışma, 2018 yılı içerisinde Eskişehir Osmangazi Üniversitesi, Diş Hekimliği Fakültesi hastanesine gelen hastalardan elde edilen görüntülerin sınıflandırılmasından oluşturduğunuz veri seti ile gerçekleştirilmiştir. Veri seti düzenlemeden önce belirli bir anlam düzeyinin üzerinde yer alan gürültü, belirsizlik, bozulma ve gölgeler değerlendirmeye alınmamıştır. Veri seti eksik diş tespiti için 99 tam diş ve 54 eksik diş olmak üzere 153 görüntüden oluşmaktadır. Tüm görüntüler uzman diş hekimleri tarafından tekrar kontrol edilmiş ve doğrulanmıştır. Resim 1’de
eksik ve tam diş görüntüleri yer almaktadır.
Resim 1..a: Bütün dişlerin mevcut olduğu hastasının panoramik radyografisi b: Eksik dişlerin varlığında hastanın panoramik radyografisi
Ön işleme ve görüntü büyütme:
Veri setindeki tüm görüntüler eğitim öncesinde 971 X 474 piksel olarak yeniden boyutlandırılmıştır. Açık kaynak kodlu python programlama dili ve OpenCV, NumPy, Pandas, ile Matplotlib kütüphaneleri etkin olarak kullanılarak bir rastgele dizilim oluşturulmuştur. Eğitime katılan görsellerin tekrardan test için kullanımını engellemek için veri seti eğitim ve test olarak iki parçaya ayrılmıştır. Eksik diş tespiti için eğitim ve doğrulama veri seti 76 ve test veri seti 32 görüntüden oluşmaktadır.
Önceden eğitilmiş bir Google Net Inception v3 CNN ağı ön işleme için kullanılmış ve veri setleri transfer öğrenimi kullanılarak eğitilmiştir. 2014 ImageNet Büyük Ölçekli Görsel Tanıma Yarışmasında mükemmel performans gösteren Inception v3 mimarisi, başlangıçta 1000 nesne kategorisinden oluşan yaklaşık 1.28 milyon resmi öğrenmiştir. Bu yöntem 22 derin katmandan oluşur ve aynı katmanda farklı boyutlarda konvolüsyonel filtreler uygulayarak farklı ölçek özellikleri elde etmek mümkündür. Resim 2’de yer aldığı gibi yardımcı bir sınıflandırıcı, tamamen birbirine bağlı katmanlar ve softmax fonksiyonlarını içeren toplam 9 başlangıç modülü içermektedir. 5
Resim 2. InceptionV3 modelinin şematik diyagramı (sıkıştırılmış görünüm) 10
Eğitim ve doğrulama veri seti optimal CNN algoritması ağırlık faktörlerini tahmin etmek ve oluşturmak için kullanılmıştır. Bu çalışmada tüm CNN'ler Python'daki TensorFlow kütüphanesinin InceptionV3 mimarisi kullanılarak 2000 eğitim adım sayısı verilerek gerçekleştirilmiştir.
BULGULAR
Eğitim de kullanılan görüntülerin modeli tahminlendirmesi ile çıkan başarı oranı %94,7 dir. Tüm veri seti ve dengeli veri seti ile sonuçların farkı Tablo 1’de yer almaktadır. Eğitimde kullanılmayan test için ayrılan görüntülerin tahminlemesindeki başarı oranı %75’dir. Tahminleme sonuçları Tablo 2’de yer almaktadır. Eğitim ve Test tahminleme sonuçlarını incelendiğinde kısıtlı sayıda veri seti ile alınan başarı oranının %75 olduğu görülmektedir.
Tablo 1. Eğitim veri setinin modele tahminlendirme sonuçları
Tüm Veri Seti ile Eğitim Modeli | Dengeli Veri Seti İle Eğitim Modeli | |||
Vaka Sayısı | Vaka Oranı | Vaka Sayısı | Vaka Oranı | |
1 (evet) | 70 | % 95.7 | 38 | %92.1 |
0 (hayır) | 38 | % 97.3 | 38 | % 97.3 |
Tablo 2. Test veri setinin modele tahminlendirme sonuçları
Tüm Veri Seti ile Eğitim Modeli | Dengeli Veri Seti İle Eğitim Modeli | |||
Vaka Sayısı | Vaka Oranı | Vaka Sayısı | Vaka Oranı | |
1 (evet) | 29 | % 89.6 | 16 | % 81.25 |
0 (hayır) | 16 | % 56.25 | 16 | % 68.75 |
TARTIŞMA
Makine öğrenmesi ve derin öğrenme, bir araca gözlemler baz alınarak nasıl karar vereceğini öğrenmesini sağlama yeteneği olarak tanımlanır. Biyomedikal bağlamda ise bu aracın etkisi, diş hekimlerine karar vermelerine yardımcı olmak için ek bilgiler sağlamasıdır. Derin öğrenmenin diğer avantajı ise çoklu seviyelerde temsil edilebilecek görüntüler ile yüksek boyutlu veri kümelerine sahip olmasıdır. 6, 7
Günümüzde, çeşitli çalışmalar, X-ışınları, bilgisayarlı tomografi (BT), manyetik rezonans görüntüleme (MRG) ve pozitron emisyon tomografi taramaları gibi tıbbi görüntülerin yorumlanmasında yapay zekâ yaklaşımlarının potansiyel doğruluğunu değerlendirmiştir ve sonuçlar umut vericidir. 6, 8
Diş hekimliğinde ise çürük mevcudiyeti ve periodontal hastalık açısından riskli dişlerin tespitinde derin öğrenme tekniği ile geliştirilen yazılımlar literatürde mevcuttur.
Valizadeh ve ark.2 dijital radyografilerde posterior dişlerdeki mine ve dentin seviyesinde aproksimal çürüklerin tespiti ve derinliğinin kabul edilebilir ölçümünü gerçekleştiren bir yazılım geliştirmişlerdir. 2
Ben Ali ve ark.3 da dijital radyografilerde çürük teşhisi ve sınıflandırılması ile ilgili geliştirdikleri yazılımı çalışmalarında sunmuşlardır.4 Srivastava ve ark.4 ise bitewing radyografilerde diş çürüğü tespitinde diş hekimlerinin performansını artıran bir Bilgisayar Destekli Tanı sistemini çalışmalarında göstermişlerdir.1 Lee ve ark.5 derin konvolüsyonel bir nöral ağ algoritmasına dayalı bilgisayar destekli algılama sistemi ile periodontal hastalık açısından riskli dişlerin teşhis ve tahmini değerlendiren bir çalışma sunmuşlardır.9
Diş eksikliklerinin değerlendirilmesi için tasarlanmış tanı amaçlı bilgisayar yazılımı ile ilgili literatürde çalışma mevcut değildir.
SONUÇ
Derin öğrenme tekniklerinde veri seti arttıkça başarı oranları da artmaktadır. Daha fazla tam ve eksik dişli görüntülerle oluşacak veri setinin eğitim modellerinde başarı oranları yükselecektir. Gelecek çalışmalar daha büyük veri setleriyle yapılmalıdır.
KAYNAKLAR
- Srivastava MM, Kumar P, Pradhan L, Varadarajan S. Detection of Tooth caries in Bitewing Radiographs using Deep Learning. arXiv preprint arXiv:171107312. 2017.
- Valizadeh S, Goodini M, Ehsani S, Mohseni H, Azimi F, Bakhshandeh H. Designing of a computer software for detection of approximal caries in posterior teeth. Iranian Journal of Radiology. 2015;12(4).
- Wang S, Summers RM. Machine learning and radiology. Medical image analysis. 2012;16(5):933-51.
- Ali RB, Ejbali R, Zaied M, editors. Detection and classification of dental caries in x-ray images using deep neural networks. Int Conf on Software Engineering Advances (ICSEA); 2016.
- Mahdianpari M, Salehi B, Rezaee M, Mohammadimanesh F, Zhang Y. Very deep convolutional neural networks for complex land cover mapping using multispectral remote sensing imagery. Remote Sensing. 2018;10(7):1119.
- Lakhani P, Sundaram B. Deep learning at chest radiography: automated classification of pulmonary tuberculosis by using convolutional neural networks. Radiology. 2017;284(2):574-82.
- El-Damanhoury HM, Fakhruddin KS, Awad MA. Effectiveness of teaching International Caries Detection and Assessment System II and its e-learning program to freshman dental students on occlusal caries detection. European journal of dentistry. 2014;8(4):493.
- Lehman CD, Wellman RD, Buist DS, Kerlikowske K, Tosteson AN, Miglioretti DL. Diagnostic accuracy of digital screening mammography with and without computer-aided detection. JAMA internal medicine. 2015;175(11):1828-37.
- Lee J-H, Kim D-h, Jeong S-N, Choi S-H. Diagnosis and prediction of periodontally compromised teeth using a deep learning-based convolutional neural network algorithm. Journal of periodontal & implant science. 2018;48(2):114-23.
- Szegedy C, Vanhoucke V, Ioffe S, Shlens J, Wojna Z, editors. Rethinking the inception architecture for computer vision. Proceedings of the IEEE conference on computer vision and pattern recognition; 2016.
Yorumlar
Bu sayfalarda yer alan okur yorumları kişilerin kendi görüşleridir. Yazılanlardan site sorumlu tutulamaz.Kişisel Verilerin İşlenmesine İlişkin Aydınlatma
1. Amaç ve Kapsam
Bu aydınlatma kişisel verilerinizin işlenmesi konusunda 6698 sayılı Kişisel Verilerin Korunması Kanunu (buradan sonra “KVKK” olarak anılacaktır) 10. maddesi uyarınca, Sanal Yazılım Bilgisayar Sanayi ve Tic. Ltd. Şti. (buradan sonra “SANAL” olarak anılacaktır) olarak, kişisel veri işleme faaliyetleri hakkında sizleri aydınlatmak amacıyla hazırlanmıştır. SANAL, kişisel verilerinizi “Kişisel Verilerin İşlenmesi ve Korunması” sayfasındaki bağlantılı bilgilendirmelerde ayrıntılı olarak açıkladığı şekilde işler. Bunlara ek olarak SANAL’ın internet sitesini ziyaret etmeniz durumunda kullanılan çerez ve işlenen kişisel veriler hakkında ayrıntılı bilgiler “Çerez Politikası”nda yer alır.
2. Veri Sorumlusunun Bilgileri
Firma Tam İsmi: Sanal Yazılım Bilgisayar Sanayi ve Ticaret Limited Şirketi
Vergi Dairesi: Konak
Vergi No: 743 005 5424
MERSİS No: 0-7430-0554-2400015
Ticaret Sicil No: 77672
Adres: Akdeniz Mh. 1353 Sk. Taner İş Merkezi No:1/204 Konak/İZMİR
Telefon: +90 (506) 188 20 19
E-posta: iletisim@sanal.mobi
3. Aydınlatmada Yer Alan “Kişisel Veri” Nedir?
Kişisel Veri: Kimliği belirli ya da belirlenebilir gerçek kişiye ilişkin her türlü bilgidir.
Özel Nitelikli Kişisel Veri: Öğrenilmesi halinde kişi hakkında ayrımcılık yapılmasına veya mağduriyete neden olabilecek nitelikteki verilerdir. Kanunda özel nitelikli kişisel veriler, sınırlı sayma yoluyla belirlenmiştir. Bunlar; kişinin ırkı, etnik kökeni, siyasi düşüncesi, felsefi inancı, dini, mezhebi veya diğer inançları, kılık ve kıyafeti, dernek, vakıf ya da sendika üyeliği, sağlığı, cinsel hayatı, ceza mahkûmiyeti ve güvenlik tedbirleriyle ilgili verileri ile biyometrik ve genetik verileridir. Özel nitelikli kişisel verilerin kıyas yoluyla genişletilmesi mümkün değildir.
SANAL, KANUNDA ÖNGÖRÜLEN HALLER DIŞINDA ÖZEL NİTELİKLİ KİŞİSEL VERİLERİNİZİ TALEP ETMEZ VE İŞLEMEZ!
4. Kişisel Verileriniz Hangi Amaçlarla İşlenebilir?
Toplanan kişisel verileriniz, KVKK tarafından öngörülen temel ilkelere uygun olarak ve KVKK’nın 5. ve 6. maddelerinde belirtilen kişisel veri işleme şartları ve amaçları dahilinde, SANAL tarafından aşağıda yer alan amaçlar doğrultusunda işlenebilir:
Kişisel verilerinizin SANAL tarafından işlenme amaçları konusunda ayrıntılı bilgiler, “Kişisel Verilerin İşlenmesi ve Korunması” sayfasındaki bağlantılı bilgilendirmelerde yer alır. Kişisel verileriniz SANAL birimleri tarafından sözlü, yazılı ya da elektronik olarak toplanabilir; SANAL ile ilişkiniz devam ettiği sürece güncellenir ve işlenmesi zorunlu olan veriler, Veri Sorumlusu sıfatıyla SANAL tarafından; hukuki sorumluluğun yerine getirebilmesi için KVKK’nın 5. ve 6.maddelerinde belirtilen kişisel veri işleme şartları ve amaçları dahilinde; işlenir/işlenebilir.
5. Kişisel Verilerinizin Aktarılması
SANAL tarafından işlenen kişisel verileriniz, SANAL’ın yasal yükümlülüklerini yerine getirmesi amacıyla yetkili mercilerle paylaşılabilir. Toplanan kişisel verileriniz; yukarıda belirtilen sebepler, amaçlar ve KVKK’da yer alan düzenlemeler çerçevesinde; SANAL tarafından dâhili olarak kullanılacağı gibi, kanunen yetkili kamu kurum ve kuruluşları ve kanunen yetkili özel hukuk gerçek ve tüzel kişilerine; faaliyetlerimizi yürütebilmek amacıyla işbirliği yaptığımız kurum ve kuruluşlarla; verilerin saklanması için hizmetlerinden faydalandığımız, fiziksel sunucu (server) ve/veya bulut hizmeti aldığımız yurt içi/yurt dışı kişi ve kurumlarla, ticari elektronik iletilerin gönderilmesi konusunda hizmet aldığımız yurt içi/yurt dışı firmalarla ya da yurtiçi/yurtdışı diğer iş ortaklarımızla, kanunen yetkili kamu kurumları ve özel kişilere yurtiçi ve yurtdışında KVKK’nın 8. ve 9. maddelerinde belirtilen kişisel veri işleme şartları ve amaçları çerçevesinde paylaşılabilir.
6. Kişisel Verinizin Toplanma Yöntemleri ve Hukuki Sebepleri
Kişisel verileriniz, otomatik ya da otomatik olmayan yöntemlerle; e-posta, mobil uygulamalar, SMS veya diğer iletişim yollarıyla ya da iş ilişkilerimiz sırasında, ticari sözleşmelerin imzalanması aşamasında ve/veya ticari ilişki süreci içerisinde ve/veya SANAL’a ait internet sitesini ziyaret ettiğiniz sırada sistemlerimizin sizi otomatik olarak tanımasına yarayan ve çerez (cookies) olarak adlandırılan (sabit sürücünüze yerleşen küçük dosyalar) teknik iletişim dosyaları ve benzeri vasıtalarla sözlü, yazılı ya da elektronik olarak toplanır. Kişisel verileriniz, SANAL tarafından verilen eğitim, seminer, kurs, konferans vb. hizmetlerden yaralandığınız müddetçe, SANAL tarafından düzenlenen organizasyonlara katıldığınızda, SANAL’a iş başvurusu yaptığınızda, SANAL’ın iletişim kanallarına ulaştığınızda, SANAL’ın ürün/hizmetlerinin incelemek üzere başvuru yaptığınızda, SANAL’dan ürün/hizmet aldığınızda veya sattığınızda, SANAL’ın web sitesini veya sosyal medya hesaplarını ziyaret ettiğinizde de toplanabilir, güncellenebilir ve işlenebilir.
Bu kapsamdaki kişisel verileriniz, SANAL tarafından işbu aydınlatma formunun 4.maddesinde sayılan amaçların gerçekleştirilmesi için ilgili mevzuatlar ve KVKK’nın 5’inci maddesinde belirtilen;
hukuki sebeplerine dayanılarak işlenir. Yukarıdaki amaçlar kapsamına girmeyen haller için kişisel verileriniz, ayrıntıları “Açık Rıza Metni”nde belirtilen açık rızanız alınarak işlenebilir.
7. Veri Sahibi İlgili Kişilerin Hakları
KVKK’nın 11. maddesi uyarınca, ilgili kişi olarak, yazılı veya Kişisel Verileri Koruma Kurulu’nun belirlediği diğer yöntemlerle1 SANAL’a başvurarak:
haklarına sahipsiniz. Yukarıda belirtilen haklarınızı kullanmak için, kimliğinizi tespit etmeye yarayan gerekli bilgiler ile KVKK’nın 11. maddesinde belirtilen haklardan kullanmak istediğiniz hakkınıza yönelik açıklamalarınızı içeren talebinizi SANAL’ın internet sitesinde (sanal.mobi) yer alan “İlgili Kişi Başvuru Formu”nu tam ve eksiksiz bir şekilde doldurarak, formun ıslak imzalı bir nüshasını “Akdeniz Mh. 1353 Sk. Taner İş Merkezi No:1/204 Konak/İZMİR” adresine, bizzat elden iletebilir, noter kanalıyla, e-posta ile veya KVKK’da belirtilen diğer yöntemler ile gönderebilirsiniz. Başvurunuzda yer alan talepleriniz, talebin niteliğine göre en kısa sürede ve en geç otuz (30) gün içinde SANAL tarafından ücretsiz olarak sonuçlandırılır. Ancak, işlemin SANAL için ayrıca bir maliyet gerektirmesi hâlinde, Kişisel Verileri Koruma Kurulu tarafından belirlenen tarifedeki ücret alınır.2
1*10.03.2018 tarih ve 30356 sayılı “Veri Sorumlusuna Başvuru Usul ve Esasları Hakkında Tebliğ” uyarınca; veri sahipleri, Kanun’un 11. maddesinde belirtilen hakları kapsamında taleplerini, yazılı olarak veya kayıtlı elektronik posta (KEP) adresi, güvenli elektronik imza, mobil imza ya da veri sahipleri tarafından SANAL’a daha önce bildirilen SANAL’ın sisteminde kayıtlı bulunan elektronik posta adresini kullanmak suretiyle veya başvuru amacına yönelik geliştirilmiş bir yazılım ya da uygulama vasıtasıyla SANAL’a iletir.
2*10.03.2018 tarih ve 30356 sayılı Resmi Gazete’de yayınlanan “Veri Sorumlusuna Başvuru Usul ve Esasları Hakkında Tebliğ” uyarınca, veri sahiplerinin başvurusuna yazılı olarak cevap verilecekse, on sayfaya kadar ücret alınmaz. On sayfanın üzerindeki her sayfa için 1 Türk Lirası işlem ücreti alınabilir. Başvuruya cevabın CD, flash bellek gibi bir kayıt ortamında verilmesi halinde firma tarafından talep edilebilecek ücret kayıt ortamının maliyetini geçemez.
Veri Sorumlusu
Sanal Yazılım Bilgisayar Sanayi ve Tic. Ltd. Şti.
Açık Rıza Beyanı
İşbu bilgilendirme yazısını okuduğumu ve 6698 sayılı Kişisel Verilerin Korunması Kanunu gereğince, Sanal Yazılım Bilgisayar Sanayi ve Tic. Ltd. Şti.’ne tarafımca elektronik ortamda verdiğim, kimliğimi belirleyen veya belirlemeye yarayanlar da dahil olmak üzere aşağıdaki listede ayrıntıları bulunan kişisel verilerimin; Sanal Yazılım Bilgisayar Sanayi ve Tic. Ltd. Şti. tarafından işlenmesine, kaydedilmesine ve ilgili mevzuatlar kapsamında; Sanal Yazılım Bilgisayar Sanayi ve Tic. Ltd. Şti.’nin hizmet sunma gerekliliklerinin karşılanması için diğer kişi ve kuruluşlar ile de paylaşılmasına açık rıza gösterdiğimi kabul ederim.