Google DSC tarafından düzenlenen Solution Challenge Hack for Prosperity Hackathon için oluşturulan RescueAI projesi.
Amacımız, Google teknolojilerini kullanarak geliştirdiğimiz RescueAI çözümleri ile Birleşmiş Milletilerin yayınladığı Sürdürülebilir Kalkınma Amaçları'na katkı sağlamaktır. Bu proje, Sürdürülebilir Şehirler ve Topluluklar (Hedef 11) başlığı altında yer alan Doğal Afetlerin Olumsuz Etkilerinin Azaltılması (Hedef 11.5) konusu ile ilgilidir.
Hackathon'un bu aşamasında RescueAI için belirlenen ana hedef, yaşanan bir doğal afet sonrasında arama-kurtarma, acil müdahale süreçlerini sunduğumuz Yapay Zeka, Görüntü İşleme ve Mobil Uygulama çözümleri ile daha efektif hale getirmektir.
- Tensorflow
- Flutter
- Google Cloud
- Google Maps Platform API's
- Google Earth Engine Apps
Yapay zeka ve görüntü işleme yöntemleri sayesinde anlık uydu görüntüleri veya gönderilen bir drone ile afet bölgesi üzerinde otonom bir şekilde hasar tespiti, durum bilgisi veya öneriler sunulması istenmiştir.
Şu anki aşamada ise Google Earth Engine Apps üzerinden alınan görüntü verileri ile Tensorflow derin öğrenme methotları kullanılarak evlerin hasarlı olup olmadıkları tespit edilmeye çalışılmıştır. Belirtilen duruma örnek case olarak işlemek üzere Karayipler'deki bir ada ülkesi olan Sint-Maarten'de yaşanan doğal afet seçilmiştir. Bu ada ülkesi 6 Eylül 2017'de Kategori 5 seviyesinde olan Irma Kasırgası tarafından önemli ölçüde hasar aldı ve yüzlerce ev yıkıldı. Google Earth Engine Apps'ten alınan aşağıdaki görüntülerde kasırga öncesi ve sonrası incelenen bölgenin afet durumu belirtilmiştir.
Doğal Afet Öncesi
Doğal Afet Sonrası
Örnek case modeli için bu bölge üzerinde afet sonrası hasar almış 50 farklı ev rastgele seçilmiştir. Aşağıdak örnekte olduğu gibi toplamda 100 adet olan seçilen evlerin afetten önce ve sonraki görüntüleri test_images klasöründe toplanmış ve modeli test etmeye hazır hale getirilmiştir.
Hackathon süresinin kısıtlı olması ve profesyonel bir derin öğrenme modeli oluşturulmak istendiği için Fine Tuning uygulamaları tercih edilmiştir. Literatür taraması esnasında karşılaşılan bilimsel çalışmadan alınan eğitilmiş derin öğrenme modeli ile Tensorflow üzerinden Transfer Learning ile süreç hızlandırılmıştır.
Structural Building Damage Detection with Deep Learning: Assessment of a State-of-the-Art CNN in Operational Conditions başlıklı belirlenen bilimsel çalışma ile ilgili ayrıntılı bilgiye buradan ulaşabilirsiniz. RescueAI yapay zeka modeli için bu çalışmada içerisinde bulunan İnsansız Hava Aracı tarafından çekilen görüntüler ile eğitilmiş toplam 2,336,725 parametre bulunan model tercih edilmiştir.
Projenin ilerleyen süreçlerinde ise Google Cloud AutoML kullanılması düşünülmüştür. Böylelikle Tensorflow üzerinde kullanılacak derin öğrenme modellerinin daha rahat bir şekilde kullanılması mümkün hale gelecektir.
Belirtilen çalışma üzerinde modelin test doğruluğu %90.8 olmasına karşın bu projede seçilen rastgele 100 görüntünün testinin doğruluk oranı %81'dir. Aradaki farkın sebepleri ise harita üzerinden alınan görüntülerin kalitesi ve konumlandırma yöntemlerinin farklı olmasıyla ilgilidir. Aşağıda RescueAI'ın ilk model denemesindeki test sonuçları ile ilgili Confusion Matrix görülmektedir. F1 Score sonucu 0.8257 ile şu an için yeterli düzeydedir.
Confusion Matrix
Confusion Matrix Sonuçları
Aşağıda görüldüğü gibi derin öğrenme modeli için hazırlanan test görüntüleri içerisinden alınan rastgele sonuçlara göz atacak olursak, 100 görüntü içerisinden seçilen 11 görüntünün "Normal" veya "Hasarlı" olup olamdığı durumların tahmini belirtilmektedir. PC, Predicted Class yani tahmin edilen sınıfı ve AC, Actual Class yani gerçek sınıfı temsil etmektedir. Örneğe bakıldığında 11 görüntüden yalnızca 1 hatalı tespit durumu söz konusudur.
Test Sonuçları
Flutter ile Geliştirilen Mobil Uugulama sayesinde afet bölgesindeki ekipler harita üzerinden anlık olarak durum takibi yapabilmesi amaçlanmıştır. Bununla birlikte bölge üzerinde afet bilgisi, destek noktaları, insansız hava aracı bilgisi, ekipler için haberleşme ağı, yardım talebi ve durum bildirme gibi ana fonksiyonları bulunan kullanıcı dostu basit bir RescueAI uygulaması tasarlanmıştır. Yan fonksiyonları ve eklenecek yapay zeka çözümleri ile geliştirilmeye oldukça müsaittir. RescueAI markası üzerinde temellendirilen uygulamanın giriş görüntüsü, arayüzü ve harita sayfası aşağıdaki mock up'ta belirtilmiştir.
Uygulamada kullanılan harita, Google servislerinden biri olan Google Cloud üzerinden alınmış ve Google Maps Platform tarafından sunulan API'lar kullanılarak oluşturulmuştur.
RescueAI MockUp