Semantic segmentation ile mesafe tahmini

Giriş

Tek bir resim üzerinden mesafe tahmininin yapılması bu çalışmada esas alınmıştır. Ana çalışma fikri resim üzerindeki nesnelerin ayrıştırılarak tanımlanması ve sonrasında her bir nesne için tahmini bir mesafe ölçümü yapılmıştır. Resim üzerindeki nesneler Z axis ‘ine göre kategorize edilmiştir. Gerçek bir derinlik ölçümü bu çalışma kapsamında tahmin edilmese bile nesnelerin birbirine bağımlı olarak derinlik ölçüm sonuçları yayınlanmıştır. Bu çalışma tek bir kamera kullanılarak yapılmıştır, derinlik tahmininin bir diğer yolu da birden fazla kamera kullanılarak derinlik tahmininin yapılmasıdır.

Nesnelerin tanımlanması resmin parçalanması ile bulunabilir. Literatürde resim segmentasyonu yöntemleri bulunmaktadır. Bu yöntemler, k-means clustering, mean-shift algorithm, region growing ve watershed transform olarak örneklendirilebilir. Pixel değerleri kullanılarak resim üzerindeki objeler sınıflandırılabilir. Bir nesne birden fazla nesneye de bölünebilir. Buna örnek olarak ağacın gövdesi ve yeşil olan yaprakları verilebilir. Bu yüzden kullanılan segmentasyon yöntemleri sonrasında pek çok küçük nesne oluşabilir.

Markov Random Field (MRF) segmentasyon yöntemi nesnelerin K-means clusterin yöntemi ile tespit edilmesinden sonra kullanılabilir. K-means clustering metodu resmi küçük objelere ayırır ve sonrasında kullanılan MRF bu objeleri birleştirmede kullanılır. MRF küçük nesneleri enerji alanlarına göre birleştirmede kullanılır ve daha iyi bir segmentasyon yapmada kullanılır.

Segmentasyon sonrasında objelerin ağırlık merkezlerinin bulunması ve bu nesnelerin kategorize edilmesi gerekmektedir. Ana fikir topraktan başlayarak gökyüzüne doğru nesneleri sınıflandırmaktır. Nesnelerin ağırlık merkezi nesnelerin pozisyonu ile ilgili bilgi vermektedir. Resmin derinlik haritası RGB renkleri kullanılarak oluşturulur. Yakındaki nesne mavi ile belirtilirken, uzaktaki nesneler kırmızı ile ve daha orta seviyedeki nesneler de yeşil tonlarıyla ifade edilmektedir.

Uygulama

Algoritma detayları aşağıda ve figürde verilmiştir.

Algorithm

1. Semantic segmentation kullanılarak nesneler tespit edilir. Önce K-means clustering sonrasında da MRF kullanılarak bu nesneler birbirine bağlanır.

2. Belirlenen nesne üzerinde ufak detaylar kalabilir. Bunlar herhangi bir nesne ile ilişkilendirilememiş detaylardır. Ersion ve dilation operasyonları ile bu detaylar ortadan kaldırılır.

3. Merkez pixel lokasyonu bulunur.

4. Her bir merkez arasındaki mesafe bulunur.

5. Mesafeler focus parametresine göre normalize edilir. Resmin yakınlık ve uzaklığı

6. Her merkez bir sıraya konularak mesafe tahmininde bulunulur. Topraktan başlayarak gökyüzüne doğru.

7. Bu sıraya göre belirlenmiş derinlik renklerine göre resim sınıflandırılır.

 

Örnek resimler aşağıda görülebilir.

 

Resimler