IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS—PART C: APPLICATIONS AND REVIEWS, VOL. 37, NO. 2, MARCH 2007

Bir Düzgün Araç İçi İmge İyileştirme TekniğiA Robust In-Car Digital Image Stabilization Technique

Sheng-Che Hsu, Sheng-Fu Liang, Kang-Wei Fan, and Chin-Teng Lin, Fellow, IEEE

Çeviri: Emrah ÜSTÜN

Click here to download English PDF file. - İngilizce PDF dosyasını indirmek için tıklayın.

Özetçe

Bilgisayarla görüş, akıllı aktarım sisteminde (ITS) sürücülerin görüşlerini artırmak için bir anahtar teknolojidir. Araç içi uygulamalarda, engebeli arazi veya ivme etkilerinden kaynaklı hareket bileşenleri eklenir ve bunlar imgede hareket vektörü tespiti işleminde sorunlar oluşturur. Bu yayında, araç içi kameralarla çekilen görüntülerdeki hareketli nesnelerin oluşturmadığı, kameranın kasıtlı hareketleriyle oluşmayan, yani istenmeyen titreşim etkilerini gidermek için yeni bir düzgün araç içi sayısal görüntü iyileştirme (DIS) tekniği öneriliyor. Hareket kestirimi işleminde, fazla karmaşık olmayan ya da geniş düşük kontrastlı alanlara sahip olan normal imgelerde farklı çekim ortamlarında düzgünlüğü artırmak için hareket vektörlerine karar vermek ve güvenilir hale getirmek için ters üçgen metoduyla birlikte temsili nokta karşılaştırması modülü (RPM - representative point matching) kullanılır ki çoğu araç içi görüntülerde hava gibi geniş düşük kontrastlı alanlar vardır. Arka plan deneme modeli, imgede geniş alan kaplayan hareketli nesnelerin olduğu düzensiz imgeler veya gökyüzü gibi düşük kontrastlı alanlar içeren imgeler için uyarlanmıştır. Sabit bir hareket durumunda olan bir imgede etkin alan kaybı olmadan istenmeyen titreme etkilerini gidermek için hareket dengeleme işleminde, bir hareket dengeleme vektörü (CMV - compensating motion vector ) tespiti yöntemiyle bir iç geri besleme toplayıcı döngüsü önerilir. Önerilen DIS tekniği performans ispatı için değişik, düzensiz koşullarda, yolda kaydedilmiş farklı videolarda uygulanmıştır.

Abstract

Machine vision is a key technology used in an intelligent transportation system (ITS) to augment human drivers’ visual capabilities. For the in-car applications, additional motion components are usually induced by disturbances such as the bumpy ride of the vehicle or the steering effect, and they will affect the image interpretation processes that is required by the motion field (motion vector) detection in the image. In this paper, a novel robust in-car digital image stabilization DIS) technique is proposed to stably remove the unwanted shaking phenomena in the image sequences captured by in-car video cameras without the influence caused by moving object (front vehicles) in the image or intentional motion of the car, etc. In the motion estimation process, the representative point matching (RPM) module combined with the inverse triangle method is used to determine and extract reliable motion vectors in plain images that lack features or contain a large low-contrast area to increase the robustness in different imaging conditions, since most of the images captured by in-car video cameras include large low-contrast sky areas. An adaptive background evaluation model is developed to deal with irregular images that contain large moving objects (front vehicles) or a low-contrast area above the skyline. In the motion compensation processing, a compensating motion vector (CMV) estimation method with an inner feedbackloop integrator is proposed to stably remove the unwanted shaking phenomena in the images without losing the effective area of the images with a constant motion condition. The proposed DIS technique was applied to the on-road captured video sequences with various irregular conditions for performance demonstrations.

Kısaltmalar

Uyarlamalı arka plan tabanlı değerlendirme fonksiyonu (Adaptive background-based evaluation function, in-car digital image stabilizer - ICDIS), akıllı aktarım sistemi ( intelligent transportation system - ITS), ters üçgen metodu, temsili nokta karşılaştırması ( inverse triangle method, representative point matching - RPM), yumuşaklık dizini (smoothness index - SI).

I. GİRİŞ

Bilgisayarla görüş akıllı aktarım sisteminde (ITS) sürücülerin görüşlerini artırmak için bir anahtar teknolojidir. ITS araştırması için dört ana gereksinim; otoyolların kapasiteleri artırılmalı, güvenlik artırılmalı, yakıt tüketimi azaltılmalı, hava kirliliği azaltılmalı. ITS aktarımı ve trafik sorunlarını yönetmek için vekil tabanlı kontrol kavramları [22],[23], gibi bazı akıllı kontrol stratejileri kullanabilir. Bilgisayarla görüş özelliği, yol çizgilerini, tabelaları, araçları, yayaları, trafik durumunu, trafik kazalarını ve hatta uykusuz sürücüleri tespit etmek için ve sürücüye bilgi vermek trafik kazalarını azaltmak için kullanılabilir. Bu uygulamalar ITS araştırmalarında ilk iki gereksinim içinde görülebilir. Bilgisayarla görüşte şu dört tipik uygulama bulunur: 1) sefer asistanı; 2) şehir içi sürüş asistanı; 3) sürücü gözlemleme; 4) trafik ve yol gözlemleme. İmge yakalamaya yerine göre, araç içi veya araç dışı uygulamalar olarak ayrılabilirler. Bahsedilen ilk üç parça araç içi uygulamalara dahildir ve burada uygulamalar için genel endişe güvenilirliktir. Güvenilirlik, görüntü yakalama ve yorumlama işlemiyle ilişkilidir. Örneğin; görüntülerin kontrastları ve çözünürlükleri, imge dizisinin kararlılığı ve imge yorumlamanın güvenilirliği. Daha iyi bir görüntü yakalama işlemi, sonradan uygulanabilir ve güvenilir bir analiz yapılmasını mümkün kılar. Kontrastta ve çözünürlükte artış, donanımsal zorluklara sebep olacaktır. Yüksek yoğunluklu kontrastta dar yol tespit oranını geliştirmek için geniş-dinamik-oran yaklaşımı dizayn edilmiştir. Çoğu imge yorumlama işleminde imgede hareket alanını (hareket vektörü) tespit etmek gerekmektedir. İdeal bir ortamda, hareket alanı yorumu kolaydır. Ancak, pratikte bu kadar kolay olmamaktadır. Engebeli arazi sürüşü veya ivme etkileri imgede hareket bileşenlerine istenmeyen eklemeler yapar. Verimli imge yorumlama işlemi yapabilmek için, bu istenmeyen hareket bileşenleri önceden giderilmiş olmalıdır. Bu yayında, sürücüye asistanlık yapabilmek veya sonraki işlemler için, araç içi kameralarda kararlı imge dizileri elde etmek için bir metot önerilmiştir. Araç içi video kameralarla çekilen sayısal imge dizilerinde genelde engebeli arazi veya ivme etkilerinden dolayı eklenmiş hareket etkileri vardır. İmge dizisinde istenmeyen dalgalanmalar görsel kaliteyi düşürür ve daha sonra uygulanacak işlemlere engel olur. Her ne kadar istenmeyen titreşimler araç hareketi veya kameranın döndürülmesi gibi genel hareketlerden farklıysa da, imge iyileştirme sistemleri arasındaki rekabet, görüntüde hareket eden nesneleri veya aracın hareket etkisini engellemeden istenmeyen titreşimleri gidermekle olur.

Görüntü iyileştirme sistemleri üç ana tipte incelenebilir: elektronik, optik, sayısal iyileştiriciler. Elektronik görüntü iyileştirici, ( electronic image stabilizer - EIS ) görüntüleri iyileştirmek için, kamera hareketini algılamak için “employingmotion” algılayıcıları kullanır. Optik görüntü iyileştirici ( optical image stabilizer – OIS ) iyileştirme için, kameranın içinde titreşimin zıttı yönde hareket eden prizmayı kullanır [2], [3]. EIS ve OIS donanımsal bağımlılık getirdiği için, doğrudan bağlantılı uygulamaların işlemlerinde kısıtlamalar olmaktadır. Sayısal imge iyileştirme (DIS) jiroskop veya akıcı prizma benzeri herhangi bir mekanik aygıt kullanmadan sayısal imge işleme teknikleri kullanarak düzgünleştirilmiş imge dizileri üretmek için istenmeyen hareket etkilerini gidermektir [4].

DIS’in ana avantajları: 1) makine bağımsızdır 2) mekanik bir ihtiyaç olmadığı için küçük donanımlarda da gerçekleştirmeye uygundur [5].

Fig. 1. Hareket dengeleme şeması

DIS sistemi genelde iki üniteden oluşur: hareket kestirim ünitesi ve hareket düzeltme ünitesi. Hareket kestirim ünitesinin amacı, elde edilmiş imge dizilimlerinde üç adımla güvenilir genel kamera hareketini tahmin etmek: 1) yerel hareket vektörlerini ( local motion vectors – LMVs ) değerlendirme 2) kesin olmayan yerel hareket vektör bileşenlerini tespit etmek 3) genel hareket vektörünü belirleme ( global motion vector – GMV ) Hareket kestiriminin devamında, hareket dengeleme ünitesi hareket dengeleme vektörü ( compensating motion vector - CMV ) üretir ve daha yumuşak hareketli imge dizileri elde etmek için mevcut alınan pencereyi CMVlere göre öteler. Figür 1 hareket dengeleme şemasını göstermektedir. Çerçeve (t-1)’deki pencere bir önceki dengelenmiş imgedir. Dengeleme hareket vektörü v DIS tarafından ardışık iki imge arasında GMVlere göre üretilir. Çerçeve (t)‘deki pencere titreme etkisini gidermek için dengeleme vektörü v tarafından seçilmiş penceredir.

DIS uygulamalarında LMVleri bulmak için temsilci nokta karşılaştırması ( representative point matching - RPM) [5], [6], kenar deseni karşılaştırması ( edge pattern matching – EPM ) [7], [8], bit düzlemi karşılaştırması ( bit-plane matching – BPM ) [4], [9], ve diğerleri [10]–[14], gibi çeşitli algoritmalar geliştirilmiştir. DIS’in görüntü iletiminde de bit oranını azalttığı ispatlanmıştır [15]. Bu algoritmaların asıl hedefleri doğruluktan en az kayıpla, blok karşılaştırma yaparak tam aramaya nazaran hesap karmaşıklığını azaltmaktır. Genelde, RPM diğer metotlara göre hesap karmaşıklığını oldukça fazla azaltır. Ancak hareket eden nesneler ve kasıtlı kamera hareketleri gibi düzensiz durumlara duyarlıdır. Bu yüzden, RPM metodu için istenmeyen hareket vektörleri güvenilirlik doğrulaması gereklidir. [6]’da, bulanık mantık temelli yaklaşım, LMVlerden güvenilir hareket vektörlerinin ayıklanmasını önerir. Bu metot, GMVye karar vermek için imgedeki kontrast, hareketli nesne, sahne geçişi gibi bazı bilgilere dayalı olarak iki fark sinyali üretir. Ancak bu iki sinyal, imgelerdeki az özellikli veya imgede geniş alan kaplayan hareketli nesnelerin olması gibi düzensiz durumları geniş bir şekilde kapsayamaz ve ayrıca farklı durumlarda uygun ayrım eşik değeri hesaplaması da zorlaşır. Bazı araştırmacılar hareket vektörünü üretmek için, az sayıda özniteliklerin ( noktalar, çizgiler, hatlar, belirli nesneler ) takibini yapan öznitelik tabanlı teknikler kullanarak LMVleri tahmin ediyorlar. Bu gerçek zamanlı uygulamalar için daha uygulanabilirdir. Fakat zorluk şurada ki, özellikle dış ortam uygulamalarda, imgede kararlı ve kusursuz uygun öznitelik bulunamıyor [16]. Temel yaklaşım için bilgisayarlı görüşte sorunları çözmek için literatürde optik akış tekniğine dayalı birçok metot önerilmekte. Optik akış tahmini, nesne ışıklılığının (veya tanımlanmış pikselin) imge dizileri boyunca aynı olduğu kabul edilerek yapılır. Burada şu zorluk söz konusu, tüketici kameralarının çoğunda nesnelerin ışıklılıklarının gerçek uygulamalarda olamayacak değerler almaması için ortalama ışıklılığı dinamik olarak ayarlayan otomatik objektif kapağı vardır. Bu yayında, pratik uygulamalarda GMVleri belirlemek için karar güvenilir bir LMV çıkarma metodu öneriliyor.

DIS’in hareket iyileştirme kısmında, biriktirmeli hareket vektörü tahmini [7] ve çerçeve pozisyon yumuşatma ( frame position smoothing – FPS ) [17]–[19], en popüler yaklaşımlardır. Biriktirmeli hareket vektör tahmini, kamera hareketinin hareket yörüngesinde gecikmelere sebep olmasından dolayı, iyileştirmeye ve kasıtlı hareketlerin (kamera hareketleri) yok edilmesine ihtiyaç duyar [17]. Uygun kesim frekanslı filtre tasarımıyla gecikme bileşenlerini, uzun kamera hareketinin süzgeçlenerek yumuşatılmasıyla FPS elde edilir. FPS’nin dezavantajı, DIS uygulamalarında imgede etkin bölge korunumu için tanımlanmış bağlantıların, bulunmuş CMV’nin kullanılırlığını garanti etmemesidir.

Bu yayında, yeni bir düzgün araç içi imge iyileştirme tekniği önerilmektedir. Minimum izdüşümü ve ters üçgen metotlarını kullanarak, hareket vektörünün ve kabaca tespit edilen ufuk çizgisinin doğruluğu hesaplanıyor. Ve sonra ufuk çizgisinin altında, geniş alanlı hareketli nesneler ve düşük kontrastlı alanlar içeren düzensiz imgelerde işlenecek GMV üretimi için uygunlaştırılmış arka plan değerlendirme modeli kullanılıyor. Sabit hareketli imgelerde iç geri besleme döngüsündeki fark alıcıyla birlikte biriktirmeli hareket vektörü tahmini, etkin alanı kaybetmeden titreme etkisini gidermek için kullanılır. Geniş düşük kontrastlı alan, hareket eden nesneler veya tekrar eden desenler gibi zayıf özellikli, farklı uygun olmayan durumlardaki video dizileri test için kullandı ve deneysel sonuçlar önerilen algoritmanın farklı durumlar için gayet güzel çalıştığını gösterdi. Bu yayında ayrıca, farklı imge iyileştirme metotlarının nicel olarak değerlendirilmesi için yumuşaklık dizini (SI) önerilmiştir.

Bu yayın şu başlıklarla devam edecek: Bölüm II DIS ve önerilen hareket kestirim metodunun sistem mimarisini tanımlıyor. Bölüm III bir hareket dengeleme ve nicel değerlendirme metodu öneriyor. Bölüm IV deneylerin sonuçlarını sunuyor. Bölüm V bu yayının sonucunu açıklıyor.

II. DIS ve HAREKET KESTİRİMİ SİSTEM MİMARİSİ

Önerilen DIS tekniğinin sistem mimarisi Fig 2’de görünmektedir. İki işlem ünitesi içerir: hareket kestirim ünitesi ve hareket dengeleme ünitesi. Hareket kestirim ünitesi üç tahmin mekanizmasından geçer: LMVler, iyileştirilmiş hareket vektörü ( the refined

Fig. 2. Önerilen sayısal imge iyileştirme tekniği sistem mimarisi

motion vector – RMV ), ve GMV tahmincileri. Hareket iyileştirme ünitesinde, CMV tahmini ve imge iyileştirme vardır. Gelen ardışık iki imge, çerçeve (t-1) ve çerçeve (t) ilk başta Fig 3’te görüldüğü gibi 4 bölgeleye bölünüyor.

Fig. 3. LMV tahmini için imgenin bölünümü.

LMV, RPM algoritmasıyla her bölge için ayrı ayrı tespit edilecek [5], [6]. Ayrıca hareket kestirim ünitesi güvenilir bir tespit fonksiyonuyla düşük kontrastlı alanlar gibi az özelliğe sahip imge koşulları için kötü koşul hareket vektörü üretecek. GMV tahmini, LMV, RMV ve diğer seçilmiş uyarlamalı arka plan değerlendirmesi yoluyla elde edilen hareket vektörlerine göre bir GMV belirler. En sonda, hareket dengeleme ünitesinde GMV ve imge dizilerine bağlı olarak CMV elde edilir. Bu bölümün gerisi önerilen DIS tekniğinin hareket kestirimde detayları barındırıyor. Önerilen hareket dengeleme ünitesi bölüm III’te anlatılacak.

A. HAREKET KESTİRİMİ

LMV, RMV ve GMV tahminlerini bulunduran hareket kestirimi ünitesi Fig 2’dedir. Fig 4’te görüldüğü gibi, LMV ve RMV tahmini GMV tahmini için LMVler ve RMVlerin üretilmesi içindir. LMVler RMV algoritmasıyla ardışık iki imgenin korelasyonuyla elde edilebilir. RMV, düzensiz durum tespitiyle ve önerilen RMV üretim algoritmasıyla, ilişki güvenilirlik indislerini değerlendirerek, LMVden elde edilebilir.

1) RPM ve LMV:

Bölgesel karşılaştırma işlemleri yaparak yerel arama yapmanın, genel karşılaştırma işleminden daha hızlı ve kararlı olduğu deneylerle kanıtlanmıştır [20]. Bu şu anlama geliyor, GMV tespiti için bölünmüş alanlardan elde edilen LMVleri kullanmak genel yaklaşımdan daha iyi ve güvenilirdir. Bölünen alanın boyutuna göre bir kazanım mevcuttur. Bölünmüş alanın boyutunu düşürmek işlemleri rahatlatır ama bu alanın boyutu hareketin ortalama dağılımının etkisini üzerinde taşıyabilecek kadar büyük olmalıdır [20]. Eğer aynı temel bölümleri içeren yatay ve dikey bileşenler elde etmek üzere imgeyi bölmek istiyorsak, imgeyi tane alana bölmeliyiz. Fazla sayıda bölge her bölge için LMV hesabında işlem sayısını artırır. Bu yüzden, RPM metodu için imgeyi Fig 3’te görüldüğü gibi dört bölgeye ayırıyoruz ve önerilen ters üçgen metodu ve

Fig. 4. LMVl ve RMV kestiriminin blok çizimi.

uyarlamalı arka plan değerleme modeliyle farklı durumlarda araç içi DIS uygulamalarını karşılayabilir.

Fig. 5. Farklı temsili nokta sayılarıla yapılan deneylerin işlem yoğunlukları.

Her bölge ayrıca kendi içinde 30 alt bölgeye bölünüyor ( 5 satır x 6 sütun ), ve her alt bölgenin merkez pikseli o alt bölgenin desenini tanımlaması için temsili nokta olarak seçiliyor. Bu yerleşim görüntüleme aygıtlarının genelde kullandığı boyutlar olan 640×480 veya 320×240 piksel oranlarına göre seçilmiştir. Temsili noktanın uzamsal olarak eşit dağılması için, satır ve sutün oranı 0.75’tir, mümkün oldukça bu orana yakın çalışılmalıdır. Fig 5 farklı temsili nokta sayılarıyla yapılan deneylerin işlem yoğunluklarını göstermektedir. Yüksek işlem gücü kullanılırlığı düşürür, buna deneylere bakılarak eşik değer 18 seçilmiştir. Bu sayı bölüm IV’te kullanılan dört adet deneysel video dizisiyle ( video sequences – VS#1-4) testler yaparak bulunmuştur. Eğer 30’dan fazla sayıda temsili nokta kullanılırsa, işlem yoğunluğu eşik değere inecek ve RPM metoduyla hesaplanan neredeyse bütün vektörler güvenilir olacak. Ayrıca, şu durumda, düşük işlem miktarı yüksek güvenilirliği gösterdiğinden, işlem miktarı yeterli miktarda olacaktır. İşlem karmaşıklığını yani işlem sürelerini kısaltmak için, bu yayındaki deneylerde 30 temsilci nokta kullanılmıştır.

Temsili noktaya () güvenerek RPM için korelasyon hesabı şu şekilde yapılıyor;

Burada bir bölgedeki N temsili noktaların sayısı, I(t-1, ), çerçeve (t-1)de () temsili noktasının ışıklılık değeri ve (p,q), (p,q) kaydırmaları için i bölgesindeki çerçeve (t-1) ile ve çerçeve (t)’deki buna bağlı kaydırma noktaları arasındaki korelasyon hesabıdır. ’in i bölgesinde minimum korelasyon olduğu varsayılıyor.

Örneğin;

= ((p,q))

kaydırma vektörü , i bölgesinin LMVlerini temsil eden, bölgenin minimum korelasyon değerlerini üretir.

Örneğin;

2) Düzensiz durum tespiti:

İmge dizilerine bağlı olarak farklı durumlarda korelasyon değerlerinin eğimleri analiz edilir ve korelasyon değerlerinin eğimleri hareket tespitinin güvenilirliğine bağlıdır. Fig 6 ve 7 farklı durumlarda farklı imge dizileri örneklerine bağlı farklı korelasyon eğimlerini gösteriyor. Fig 6(a)’da normal durumda bir imgede tepe noktası açıkça görülmektedir. Fig 6(b)’da eğim bir vadiye benziyor; bu sadece bir boyutta (x yönünde) korelasyon bilgisinin güvenilir olduğunu gösterir ve y (yatay) yönde bilgilerin az olduğunu gösterir. Fig 6(c), tuğla duvar, çitle çevrili bir alan gibi tekrar eden desenler için bir örnektir. Özellikle 1. bölgede tuğlalı kısımda korelasyon değerlerinde birçok tepeciğe neden olduğu görülmektedir. Fig 7(a) hareket eden bir cismi gösteriyor. Motosiklet, imgede sağ taraftan sol tarafa doğru hareket etmekte. 1. bölgede eğimde ikili tepecik var ve ’in değeri 3. bölge gibi hareket içermeyen alanlara göre daha yüksek. Fig 7(b)’de görünen örnekte sağ üst köşede geniş düşük kontrastlı alanlar var. Görülüyor ki 1. bölgede korelasyon eğrisinin tepecik değerine karar vermek zordur.

Hareket vektörünün güvenilirliğine karar vermek için, güvenilirlik için özellik çıkarımı, güvenilirlik indislerini çıkarmak için x ve y yönlerinde minimum iz düşümlerde önerilen ters üçgen metoduyla yapılır. Fig 9 ters üçgen metodunu gösteriyor. İlk adımda, i bölgesi için genel minimum iz düşüm eğri değerini temsil eden _min’i (4) ile buluyoruz.

İkinci adımda, ters üçgende sapmanın yükseklik değerini (4) ile ve ’yi buluyoruz. ve , sırayla ve ’in numaralarıdır (6). ve , (7) ile bulunan ters üçgende iki tepe arasındaki mesafeyi gösterir. x ve y yönlerindeki hesap yoğunluğu (8) tarafından hesaplanır. Yüksek hesap yoğunluğu düşük güvenilirlik seviyesi demektir. Çoklu tepeciklerin ciddi bir düşüş yaşaması ve kestirim güvenilirliğini etkilemesiyle, çıkarım güvenilirliğini artırmak için çoklu tepecikleri (8) ile işleme sokarız. Fig 9’daki örnekte - hatası verecek ikiz tepeler içeren bir eğri bulunmaktadır. Üçüncü adımda, i bölgesindeki eşit değeri TH olarak gösteren ve ’nin güvenilirlik indislerine karar veriyoruz. Düşük işlem yoğunluğu yüksek güvenilirlik anlamına geliyor.

Son adımda, dört bölgede (10)’da gösterildiği gibi x ve y’nin güvenilir hareket bileşen sayılarını topluyoruz;

Adım 1

_min veya _min’den_min’i buluyoruz.

Adım 2

_cost ve _cost hesap yoğunluklarını buluyoruz.

Fig. 6. Farklı durumlarda çeşitli korelasyon eğrileri (I). (a) Normal durum. (b) Düşük özellikli yatay. (c) Tekrar eden desenler (tuğla).

Fig. 7. Farklı koşullardaki imge dizileri için farklı korelasyon eğrileri. (II). (a) Hareketli nesne (motosiklet) (b) Geniş düşük kontrastlı bölge (gökyüzü).

Adım 3

Güvenilirlik indisleri için şik değer TH’yi hesapla.

1) Dört bölgede ve hesapla.

3) Kötü koşullar için RMV üretimi:

Minimum izdüşüm ve ters üçgene metoduyla düzensiz hareket vektörleri tespit edilip çıkarılabilir, ancak geniş düşük kontrastlı alanlar gibi az özellik, hareketli nesne veya tekrar eden desen içeren, kötü koşullarda bir imge dizisi dört bölgede az sayıda uygun hareket vektörü içerebilir. (hatta çoğu hareket vektörü kullanılmaz halledir) Bu sebeple, bu uygun bileşenlerin yeniden yapılandırılmasında, RMV formu önemli düzenli hareket vektörleridir. Bu sorunu çözmek için, kötü koşullarda güvenilir bir hareket vektörü çıkarmak için bir ara fonksiyon kullanılır.

RMV tespit hesabı için şu detaylara dikkat edilir;

Num((t)), uygun LMVlerin x bileşen sayısı. (t), farklı bölgelerden x bileşenini uygun LMVlerin, RMV, (t), (t), (t) ve (t)leridir. Med, ara işlem fonksiyonu. GMV(t-1), GMV’nin bir önceki x bileşeni. t çerçeve numarası. γ, zayıflama katsayısı (0< γ<1). şöyle hesaplanabilir;

Daha sonra ’yi bulmak için benzer işlemler uyguluyoruz. Sonuç RMV şu şekilde tanımlanır;

B) GMV kestirimi

GMV kestiriminin amacı, hareket kestirimi işleminden sonra elimizdeki veriden bir hareket vektörü tespit etmektir. Pratik bir araç içi video dizisinde, sürekli hareket eden nesneler, tekrar eden desenler, araçların hareket etkileri, vb. vardır. Her bölgenin LMVsi, GMVyi, hareket eden nesneleri ve hatta hatalı vektörü gösterir. Hatalı vektörün kötü koşullardan, tekrar eden desenlerden veya genel hareketle hareket eden nesnelerin karışmasından kaynaklanması muhtemeldir. Her ne kadar güvenilir GMVler, LMV ve RMVden seçiliyorsa da, en kötü koşulda, LMVler ve RMV hatalı olduğunda, düzeltmeden sonra bu durum orijinal imgelerden bile daha kötü sonuçlara sebep olacaktır. Bu sebepten dolayı, eğer değerlendirme sıfır hareket vektörü ( ZeroMotion Vektor – ZMV ) içeriyorsa, bu durumun gerçekleşmesi engellenebilir. Benzer olarak, sahnedeki sabit harekete sahip bir imge dizisi, ortalama hareket vektörü ( average motion vektor – AMV ) yerine, ZMV veya hatalı hareket vektörü ile düzeltiliyorsa da kötü bir sonuç elde edilecektir. Önerilen DIS tekniğinde, önseçilen hareket vektörleri olarak gösterilen (pre MV), dört LMV, RMV, ZMV ve AMV olmak üzere yedi hareket vektörü, çerçevedeki GMVyi bulmak üzere kullanılır. Genelde, normal imgelerde LMVlerin bir tanesi büyük ihtimal GMV olur; kötü koşullarda RMV büyük ihtimal GMV olur; ZMV, uygun olmayan MVler yüzünden olabilecek kötü bir düzeltmeyi önler ve AMV de aracın sabit hareketini tanımlar. Ayrıca, eğer imge dizisinde geniş yer kaplayan bir hareketli nesne varsa, genel hareket vektörünün tespiti sorunlu olur, çünkü tespit edilmiş hareket vektörü, büyük ihtimalle arka plan ve geniş yer kaplayan hareketli nesne arasında geçiş yapar veya direk sadece nesne tarafından kandırılır. Bu durum, yapay titremeye ve DIS için ters bir etkiye sebep olur.

1) Ufuk çizgisi tespiti:

GMV tespitinin sağlamlığını artırmak için, uyarlamalı arka plan temelli fonksiyon bu sorunu çözmek için önerilmektedir. Önce ufuk çizgisi tespiti yapılacak. Sonra değerlendirme için, tespit edilen ufuk çizgisine bağlı olarak beş bölge seçilecek. Bu bölgeler (X,Y) ufuk çizgisinin altını çevreleyecek şekilde seçilecek. Dış ortam uygulamalarında, özellikle araç için kameralarında, ufuk çizgisi üstünde kalan pikseller düşük kontrastlıdır. Ufuk çizgisi tespiti, bu düşük kontrastlı alanlarda yerleşmiş beş bölgede hatalı sonuç bulunmasını önleyecek. Elde edilen hareket vektörünü değerlendirmek için imgenin sınırlarını çevreleyen bölgeleri seçmek, GMV tespiti için hareket eden nesnelerin istenmeyen etkilerini engelleyebilir. Fig 10 ufuk çizgisi tespitinde uyarlamalı arka plan temelli değerlendirme için seçilmiş alanları gösteriyor.

Önerilen ufuk çizgisi tespiti, RPM korelasyonu değerlendirmesi, minimum iz düşüm ve ters üçgen metodu içerir. Önce, (13) içinde (1) ile, çerçeve (t)’de aynı alt bölge içinde çerçeve (t-1) ve ilgili komşu piksellerle salt farkları hesaplamak verimli olacaktır.

(i,j), Fig 11’deki gibi, bir alt bölgenin satır ve sütuna göre pozisyonunu gösterir. Bu yayında 10 satır ve 12 sütun olmak üzere 120 alt bölge kullanıldı. (X,Y), (i,j) alt bölgesindeki temsili noktaların koordinatlarını gösteriyor. I(t-1,X,Y), çerçeve (t-1)’deki temsili noktanın ışıklılığını gösteriyor. (p,q) alt bölgede öteleme vektörü.

Ufuk çizgisi tespiti için, korelasyon eğrisini şu hesapla bulabiliriz;

M yatay eksendeki toplam alt bölgeyi veriyor (M=12).

l , alt bölgedeki l’inci satırı gösteriyor. Başlangıçta l =1 ve (4)-(8)’de sunulan minimum iz düşümüyle ters üçgen metodu yatay eksende güvenilir indeks elde etmek için C(p,q)’ya uygulanıyor. İlişkili bölge gökyüzü gibi düşük kontrastlı alansa, işlem yoğunluğu nispeten daha yüksek olur. Eğer seviye ön tanımlı eşik değerinden düşükse, değerlendirme işlemini durduruyoruz ve C(p,q)’nin son satırındaki alt gölgelerdeki temsili noktaların yatay pozisyonlarını kaba ufuk çizgisi olarak belirliyoruz.

Aksi takdirde, l = l +1 işlemi yapıp, seviye ön tanımlı eşik değerinden düşük olana kadar C(p,q)’in değerlendirme işlemine devam ediyoruz. Fig 12 bir otoyolda çekilen videodaki ufuk çizgisi tespitini gösteriyor. Ufuk çizgisi, uyarlamalı arka plan tabanlı değerlendirme bloklarını en yüksek kontrastlı alana koymak için kullanılacak. Bu yöntem araç içi imge iyileştirme uygulamalarında GMV tespitinin sağlamlığını artıracaktır.

2) Eşler arası değerlendirme:

GMV tespiti salt fark toplamları ile hesaplanır ( sum of absolute difference – SAD )

I(t-1,X,Y), çerçeve(t-1)’deki (X,Y) noktasının ışıklılığı. B, imgedeki i’inci arka plan bölgesini. X,Y, x ve y yönlerinde ön seçilmiş yedi hareket vektörünün bileşenleri( pre MVc ).

Farklı (pre MVc), her bölge için kendi ’sine sahiptir. Küçük , ön seçili hareket vektörleri arasından beklenen hareket vektörüdür. değerine göre i bölgesi için sonuçlanan (pre MVc), olarak gösterilir, yüksek , yüksek başarılı sonuç demektir. Her pre MVc için sonuç şöyle hesaplanabilir;

Beş bölge eşler arası değerlendirme, imgedeki bazı kısmi yüksek kontrastlı bölgelerin değerlendirmede büyük yer kaplamasını engeller. Bu algoritmada, sonuca karar vermek için her bölgenin önceliği aynıdır. (17)’de , GMV tespiti için indistir. En düşük li pre MVc, aranan GMVdir ve şöyle bulunabilir;

Bu karmaşık değerlendirme alanlarına bakılırsa, değerlendirme fonksiyonu farklı koşullarda ayrıntılı arka plan hareket vektörünü kesin bir şekilde tespit edebiliyor.

3. HAREKET DENGELEME VE DEĞERLENDİRME

A) CMV kestirimi

İmge dizisinde istenmeyen titreşimleri gidermek ve sabit hareketi korumak için hareket dengelemenin ilk adımı CMVleri üretmektir. [7]’de verilen alışılmış verimli CMV kestirimi,

t çerçeve numarasını gösteriyor.

k’daki artış, istenmeyen titreşim etkisindeki düşüşe sebep olur ama CMV değerini yükseltir. Bu, imgenin etkin alanının azaldığını gösteriyor. Halbuki biz imge dizisinin boyut oranını sabit tutmak istiyoruz. Bu sorunu analiz etmek için, bu olguyu göstermek için hareket yörüngelerini hesaplayabiliriz. Hareket yörüngeleri şu şekilde elde edilebilir;

ve , imge dizisinde, çerçeve (t)’de orijinal ve dengelenmiş yörüngelerdir.

Fig 13, sabit hareketli ve titremeli video dizisine uygulanan üç farklı CMV üretim metodu arasındaki performans karşılaştırmasını gösteriyor. Her alt çizim için iki yörünge var; biri (20) tarafından hesaplanan orijinal yörünge, diğeri (21) tarafından hesaplanan dengelenmiş yörünge. Fig 13(a)’daki CMVler (19)’da gösterilen geleneksel metotla üretilmiştir. Görülüyor ki, sabit hareket etkisinden dolayı ile arasında çok büyük bir fark var. CMV büyük olasılıkla pencere öteleme sınırlarını aşıyor, öyle ki dengeleme sırasında kullanılabilir etkin imge alanı azalmış. Fig 13(b)’deki CMVler bir kırpıcı fonksiyonla (19) tarafından şöyle üretiliyor;

l maksimum pencere öteleme sınırlandırması. Bu durumda gecikme ciddi bir oranda azalır. Ancak, seçili pencere etrafındaki sınırlarda titreme etkisi gideriminde performansı da düşürecektir. Bu demektir ki, sabit hareket durumunda istenmeyen titreme giderilemiyor. Bu zorluğu aşmak için, sabit hareket için sürekli durum gecikmesinde iç geri beslemeli fark alıcıyı bir kırpıcı fonksiyonla birlikte kullanabiliriz.

Fig 14 önerilen CMV üretim metodunun blok çizimini gösteriyor. Sabit hareket durumunda CMVnin İç geri besleme döngüsünde sürekli gecikmeyi ortadan kaldıran bir fark alıcı bulunur. Bu, düzgün imgelerde, sabit hareket etkili imge dizisindeki titreşim etkilerinin fark alıcı tarafından giderilmesi anlamına geliyor.

Burada şunu belirtmek gerekir, CMV hesap işlemleri x ve y bileşenleri için ayrı ayrı uygulanmakta. Bu, x ve y yönleri için değişkenlerin farklı değerler alacağı anlamına geliyor. Genelde sabit hareket durumu yatay yönde vardır. Önerilen CMV hesaplama işlemi şöyledir;

•sembolü dizi toplama anlamı içeriyor ve clipper( ), (22)’de tanımlıdır.

Fig 13(c) önerilen metotla dengelenmiş hareket yörüngesini gösteriyor. Fig 13(a) ile (b)’yi karşılaştırırsak, önerilen metot sabit hareket durumunda dengelenmiş hareket yörüngesindeki sürekli gecikmeyi azaltmıştır ve CMVleri uygun oranda tutmuştur.

B) NİCEL DEĞERLENDİRME

İki ardışık çerçevenin momentumlarının salt farkıyla, imgelerdeki titreme etkisi giderilebilir. Farklı DIS algoritmalarını nicel olarak değerlendirmek için SI önerilir;

t, çerçeve numarası. N, toplam çerçeve sayısı. m, imgenin kütle değeri ve Δm(t) salt momentum değerindeki değişimdir. Düşük SI, imge dizisinde daha düşük titreşim etkisi demektir, yumuşak geçişleri tanımlar.

IV DENEYSEL SONUÇLAR

Bu bölümde hareket kestirimi ve hareket yumuşatma değerleriyle, önerilen DIS tekniği ve var olan diğer DIS tekniklerinin performansları karşılaştırılacak. Bunu yapmak için, farklı koşullarda araç içi kameralarla alınmış dört farklı video kullanılacak. Bütün videoların çözünürlüğü 640×480’dir. VS#1, sabit kamera ve titreme etkisi ile çekilen bir bahçe çiti videosudur. VS#2, engebeli alanda kalabalık videosudur. VS#3, titreşim ile otoyolda çekilen bir video. VS#4, bir araç dönerken otoparkta çekilen bir video. Hareket kestirim performansı etkin değer hatası (RSME) üzerinden, tespit edilen ve istenilen hareket vektörleri arasında yapılır. RSME şu şekilde hesaplanıyor;

(,), aranan hareket vektörü. (,), değerlendirilen DIS algoritmaları tarafından üretilen hareket vektörü.

Önerilen metot, RPM yaklaşımı ve bulanık teori (RPM_FUZZY) arasında karşılaştırılıyor [6]. Bu iki metodun hareket kestirimi Tablo I’de özetlenmiştir. VS#1’de yatay yönde bilgi eksikliği var, tek bir hareket bileşeni kullanılabilir durumda [ Fig 6(b) ]. Önerilen metot, düzensiz LMVleri bulmak için minimum iz düşüm yaklaşımı ve ters üçgen metodunu kullanır ve kullanılabilen hareket bileşenlerini RMV formuna sokmak için yeniden sıralar. Bu yaklaşım GMV’yi bulmak için var olan bilgiyi yeterli bir şekilde kullanır. VS#1’e bakarak, bu düşük özellikli imgede RMSE, RPM_FUZZY’ye göre sonucu 5.8348’den 2.5269’a indirmiştir. VS#2-4’e bakılarak, metodumuzdaki RMSEler, RPM_FUZZY’den daha iyidir. Uyarlamalı arka plan değerlendirmesi ile elde edilen GMV, geniş alanlı hareketli nesneleri ve hareket vektörlerinin düzensizliğini ortadan kaldırabilir.

Hareket yumuşatma performansı, bölüm 3’te önerilen SI il değerlendirilebilir. Fig 13(c), önerilen metotla elde edilmiş hareket yörüngesiyle orijinal hareket yörüngesini gösteriyor. Fig 13 (a) ve (b) karşılaştırılsa, önerilen metot, sabit hareket durumunda dengelenmiş hareket yörüngesinin kararlı halini düşürebiliyor ve CMVleri uygun bir oran içinde tutuyor. Tablo II, Fig 13’te gösterilen iç CMV üretim metodunun karşılaştırılmasını gösteriyor. Kırpıcısız CMV üretimi, imgede çok fazla etkin alan kaybına sebep olduğu için pratik kullanım için uygun değildir. CMVlerin en büyüğü pratik dengeleme oranı için uygunlaştırmayı garanti etmez. Fark alıcısız CMV üretimiyle önerilen CMV karşılaştırılırsa SI değeri 5.6482’den 0.9346’ya düşer. Bunun sebebi, iç geri beslemeli fark alıcısının sabit hareketli imge dizilerinde devamlı gecikmelerini başarıyla düşürmesidir.

Ayrıca, gerçek video dizilerinden (GMV takımları #1-4) elde edilen dört farklı GMV takımıyla CMV üretimini değerlendirebiliyoruz. Fig 15, bu dört GMV takımına göre, iki farklı CMV üretim metoduyla, (19) ve kırpıcıyla (23) orijinal ve dengelenmiş hareket yörüngelerinin karşılaştırılmasını gösteriyor. Kırpıcıyla (19)’daki değişen ayarlar ve (23), tablo III’de görülüyor. k, yatay ve dikey yönlerde aynıdır, bu yatay ve dikey yönlerde bazı titreme yok edici etkilerin aynı olduğu anlamına geliyor. β değişkeni, sabit harekette, iç geri beslemeli fark alıcı kazancıdır ve sürekli gecikmeleri eleme hızına karar verir. Rezonans olmaması için kazancın çok fazla olmaması gerekir. Araç içi DIS uygulamalarında sabit hareket yatay yönde dikey yöne göre daha yüksek frekanslı görülür. Bu yüzden daha iyi görsel kalite

elde etmek için yatay yönde β ’yı yüksek bir kazanç yapıyoruz.

Her alt çizimde noktalı çizgiler, kalın çizgiler ve kesikli çizgiler orijinal yörüngeyi, (23) ve kırpıcılı (19) ile elde edilmiş CMV yörüngelerini gösteriyor. GMV takımları #1 ve #2 [Fig 15 (a) ve (b)] sabit hareketli video dizilerinden bulunmuştur. GMV takımı #3

[Fig 15 (c)] VS#3’ten bulunmuştur. GMV takımı #4 [Fig 15 (d)] VS#4’ten bulunmuştur.

Bu sonuçlara bakarak, daha çok sabit hareket içeren GMV takım #1, takım #2 ve takım #4’ten elde edilmiş dengelenmiş yatay hareket yörüngelerinden önerilen CMV üretim metoduyla üretilmiş CMVler orijinal yatay hareket yörüngelerine diğerlerine göre daha yakın. Bu, imge dizilerinde fiziksel oran sınırlarını bozmadan, önerilen metodun sürekli gecikmeyi düşürdüğünü ve titreme etkisini yok etmek için daha çok alan sunduğunu gösteriyor. GMV takım #3 otoyolda çekilmiş bir videodan elde edildi. Metodun fark alıcıyla sonuçları, fark alıcısıza göre sınırları biraz daha aşıyor. İşlem döngüsüne fark alıcısı konmasının asıl amacı budur. Fakat hareket yörüngesindeki sürekli gecikmeyi düşürmek için bundan ödün vermeye değer. Tablo IV, Fig 15’e göre SI karşılaştırmalarını gösteriyor. Orijinal SIlar, sabit hareket ve istenmeyen titreşim bileşenlerinin orijinal SI’ı olarak görülebilir. Genelde, sabit hareketli gerçek videolarda hareket dengelemede önerilen CMV üretim metodu, fark alıcısız olana göre daha iyi hareket yumuşatma performansına sahiptir. Deneysel sonuçlar, nicel değerlendirmelerde ve insan gözü değerlendirmelerinde, önerilen metodun

farklı durumlarla baş edebildiğini göstermiştir. Web sitemizde bazı orijinal ve iyileştirilmiş video dizileri görsel değerlendirme için mevcuttur [21].

V. SONUÇ

Araç içi DIS sistemleri için imgede etkin alan kaybına sebep olmadan yumuşak hareketli hale getirmek için güvenilir GMVler ve uygun CMVler elde etmek iki ana çekişmeli başlıktır. Bu yayında, bu iki konuda bir şeyler üretmek için bir güvenilir araç içi DIS tekniği önerilmiştir. Gökyüzü gibi geniş düşük alanlara sahip, özellik çıkartılamayan imge dizileri için, tespit

edilen ufuk çizgisinde, uyarlamalı arka plan değerlendirme düzeniyle daha güvenilir GMVler üretilebilmektedir. Hareket dengeleme işleminde, önerilen iç geri beslemeli fark alıcılı CMV kestirim metodu, sabit hareketli imge dizilerinde etkin alanı azaltmadan hareket yörüngesindeki sürekli gecikmeleri azaltabilmektedir. Deneysel sonuçlara göre önerilen teknik, nicelik ve nitelik (insan görüşü) olarak önceki tekniklere göre daha yüksek bir performansla çalışmaktadır. Donanımsal ve yazılımsal olarak, çevrimiçi ve çevrimdışı video iyileştirmelerinde çözüm olarak kullanılabilir.

EK BİLGİ

Yayıncılar W.-H Tsai’ye değerli görüşleri ve destekleri için teşekkürü bir borç bilir.

REFERANSLAR

[1] I. Masaki, “Machine-vision systems for intelligent transportation systems,”

IEEE, Intell. Syst., vol. 13, no. 6, pp. 24–31, Nov.–Dec 1998.

[2] M. Oshima et al., “VHS camcorder with electronic image stabilizer,”

IEEE Trans. Consum. Electron., vol. 35, no. 4, pp. 749–758, Nov. 1989.

[3] K. Sato et al., “Control techniques for optical image stabilizing system,”

IEEE Trans. Consum. Electron., vol. 39, no. 3, pp. 461–466, Aug. 1993.

[4] S. J. Ko, S. H. Lee, and K. H. Lee, “Digital image stabilizing algorithms

based on bit-plane matching,” IEEE Trans. Consum. Electron., vol. 44,

no. 3, pp. 617–622, Aug. 1998.

[5] K. Uomori et al., “Automatic image stabilizing system by full-digital signal

processing,” IEEE Trans. Consum. Electron., vol. 36, no. 3, pp. 510–

519, Aug. 1990.

[6] Y. Egusa et al., “An application of fuzzy set theory for an electronic

video camera image stabilizer,” IEEE Trans. Fuzzy Syst., vol. 3, no. 3,

pp. 351–356, Aug. 1995.

[7] J.K. Paik,Y.C. Park, andD.W.Kim, “An adaptive motion decision system

for digital image stabilizer based on edge pattern matching,” IEEE Trans.

Consum. Electron., vol. 38, no. 3, pp. 607–616, Aug. 1992.

[8] J. K. Paik, Y. C. Park, and S. W. Park, “An edge detection approach

to digital image stabilization based on tri-state adaptive linear neurons,”

IEEE Trans. Consum. Electron., vol. 37, no. 3, pp. 521–530, Aug. 1991.

[9] S. W. Jeon et al., “Fast digital image stabilizer based on Gray-coded

bit-plane matching,” IEEE Trans. Consum. Electron., vol. 45, no. 3,

pp. 598–603, Aug. 1999.

[10] F. Vella et al., “Digital image stabilization by adaptive block motion

vectors filtering,” IEEE Trans. Consum. Electron., vol. 48, no. 3, pp. 796–

801, Aug. 2002.

[11] S. Erturk, “Digital image stabilization with sub-image phase correlation

based globalmotion estimation,” IEEE Trans. Consum. Electron., vol. 49,

no. 4, pp. 1320–1325, Nov. 2003.

[12] J. Y. Chang et al., “Digital image translational and rotational motion stabilization

using optical flow technique,” IEEE Trans. Consum. Electron.,

vol. 48, no. 1, pp. 108–115, Feb. 2002.

[13] J. S. Jin, Z. Zhu, and G. Xu, “A stable vision system for moving vehicles,”

IEEE Trans. Intell. Transport. Syst., vol. 1, no. 1, pp. 32–39, Mar. 2000.

[14] G. R. Chen et al., “A novel structure for digital image stabilizer,” in Proc.

2000 IEEE Asia-Pac. Conf. Circuits Syst., Tianjin, China, Dec. 2000,

pp. 101–104.

[15] Engelsberg and G. Schmidt, “A comparative review of digital image

stabilising algorithms for mobile video communications,” IEEE Trans.

Consum. Electron., vol. 45, no. 3, pp. 591–597, Aug. 1999.

[16] M.B. van Leeuwen, “Motion estimation and interpretation for in-car systems”

Ph.D. dissertation, Informatics Inst., Univ.Amsterdam, Amsterdam,

The Netherlands, May 2002.

[17] S. Erturk, “Image sequence stabilisation: Motion vector integration (MVI)

versus frame position smoothing (FPS),” in Proc. 2nd Int. Symp. Image

Signal Process. Anal., 2001, pp. 266–271.

[18] M. K. Gullu and S. Erturk, “Fuzzy image sequence stabilization,” Electron.

Lett., vol. 39, no. 16, pp. 1170–1172, Aug. 7, 2003.

[19] M. K. Gullu, E. Yaman, and S. Erturk, “Image sequence stabilization

using fuzzy adaptive Kalman filtering,” Electron. Lett., vol. 39, no. 5,

pp. 429–431, Mar. 6, 2003.

[20] L. Chen and N. Tokuda, “A general stability analysis on regional and

national voting schemes against noise —-Why is an electoral college

more stable than a direct popular election?,” Artif. Intell., 163, no. 1,

pp. 47–66, 2005.

[21] A robust in-car digital image stabilization technique [Online]. Available

http://falcon3.cn.nctu.edu.tw/˜liang/its_dis/its_dis.htm or http://www.ee.

thit.edu.tw/∼kenhsu/its_dis/its_dis.htm

[22] F.-Y. Wang, “Agent-based control for networked traffic management systems,”

IEEE Intell. Syst., vol. 20, no. 5, pp. 92–96, Sep./Oct. 2005.

[23] , “Agent-based control for fuzzy behavior programming in robotic

excavation,” IEEE Trans. Fuzzy Syst., vol. 12, no. 4, pp. 540–548, Aug.

2004.

[24] S. Erturk, “Translation, rotation and scale stabilisation of image sequences,”

Electron. Lett., vol. 39, no. 17, pp. 1245–1246, Aug. 21, 2003.

[25] M. K. Gullu and S. Erturk, “Membership function adaptive fuzzy filter for

image sequence stabilization,” IEEE Trans. Consum. Electron., vol. 50,

no. 1, pp. 1–7, Feb. 2004.