Kocaeli Üniversitesi Elektronik ve Haberleşme Mühendisliği

07-08 Bahar Dönemi Video İşleme Dersi Projesi

Kamera ile sanal fare uygulaması

030207036 – Emrah ÜSTÜN

Proje Taslağıdır.

Proje Tanımı:

Bu projede herhangi bir donanım kullanılmadan, kamera ile bilgisayar faresini kontrol etmek üzerinde çalışılacaktır.

Bilgisayara bağlı olan bir kameradan görüntüler anlık olarak programa akacak, program insan elinin parmak uçlarını izleyerek sistem faresini kontrol edecektir.

İşlem morfolojik bir işlem olduğundan kameranın markası, modeli veya görüntünün kalitesi, çözünürlüğü önem taşımayacaktır. Görüntüde sadece arka plan ile insan elini ayırabilmek için ışıklılık şiddeti önem taşımaktadır.

Sistemin çalışması:

İnsan eli kamerada şekildeki gibi görünmelidir.

Orta parmak fare işaretçisinin konumunu, işaret parmak sol fare tuşunu, yüzük parmağı sağ fare tuşunu temsil edecektir.

Fare tıklaması yapmak için parmak zemine dokunup bırakılacaktır.

Algoritma taslağı:

İlk başta arka plan resmi (el henüz kamerada görünmezken) alınacak ve daha sonra bütün imgelerden çıkarılacak. Bu sayede yalnızca elin olduğu (diğer boş pikseller sıfıra çekilecektir) alanları tespit edebiliriz.

Daha sonra ihtiyacımız olan 3 parmağı imgeden sökebilmek için 4 farklı birleşik yapı tespit edilene kadar ( yani serçe parmak bulunana kadar ) en alt satırdan itibaren yukarı doğru satır satır arama yapılacak. Serçe parmak tespit edildiğinde onun biraz altından imgeyi kesebiliriz. Böylece elimizde sadece 3 parmağı içeren imge kalacaktır.

Bir sonraki adımda etiketleme metoduyla yukarıdan aşağı tarayarak parmak uçlarını tespit edebiliriz. ( etiket 1: yüzük, etiket 2: orta, etiket 3: işaret parmağı olmak üzere)

Parmak uçları hareket takibi grafiğe dökülürse hızlı hareketler, diğer parmaklardan bağımsız hareketler tespit edilebilir.

Yalnızca fare konumu değiştirmek için yapılacak olan el hareketinde 3 parmak hareketi birbirine yakın olacaktır. Ancak tıklama amacıyla yapılan harekette o parmağın hareketinde diğer parmakların hareketinden bağımsız fazladan bir hareket oluşacaktır. Tıklama izlemesi için bu farklılık takip edilmelidir.

Olumsuz koşullar:

Kötü ışıklılıktan veya parmağın bir şekilde kameranın görüntüleme alanının dışına çıkmasından dolayı parmak ucu bulunamayabilir. Bu durumda parmağın bir önceki hareketi ve bir sonraki hareketine göre tespit edilemeyen hareket için bir tahmin yürütülebilir.

Diğer bir sorun ise yine düşük ışıklılıktan oluşabilecek hatalı konum tespitidir. Bu durumda çok büyük bir hareket algılaması olacaktır. Bu sorunu da AGS ile çözebiliriz.

*** Matlab ile programın algoritması simülasyonlar ile kayıtlı bir video üzerinde çalışılarak oluşturulacak daha sonra gerçek zamanlı uygulama için başka bir dilde arayüz ile kodlanabilecektir.