İnterpolasyon tabanlı yeni bir video stabilizasyon yöntemi

Abstract

Videoların günlük kullanımının artması ile birlikte video iyileştirme yöntemlerine olan ihtiyaç da artmıştır. Video çekimi esnasında özellikle el kameraları, araç kameraları, kask kameraları gibi kameranın sabit olmadığı durumlarda titreme, sallanma gibi istemsiz kamera hareketleri, videolarda bulanıklık ve bozulmalar yaratabilmektedir. Son yıllarda bu olumsuzlukları ortadan kaldırmak veya azaltmak için birçok video stabilizasyon yöntemi önerilmiştir. Ancak, yapılan çalışmalar belirli problemleri çözebilse de henüz istenilen düzeyde bir stabilizasyon başarısı elde edilememektedir. Özellikle kamera hareketi ile nesnelerin kendi hareketlerinin ayırt edilebilmesi zordur, bu da başarımı büyük ölçüde etkilemektedir. Bu tezde video çekiminde ortaya çıkabilecek istemsiz kamera hareketlerini azaltmak için iki farklı video stabilizasyon yaklaşımı öneriyoruz. Birinci yaklaşımda video kare interpolasyon yöntemlerinden yararlanarak optimizasyon tabanlı yeni bir video stabilizasyon yöntemi önerilmektedir. Bu yöntemde, bir video video kare interpolasyonu yöntemi üzerinden giriş stabil olmayan video video karelerini stabil video karelerine dönüştüren çarpıtma (warping) alanlarını optimizasyon yoluyla buluyoruz. Ayrıca, bu optimizasyonu gerçekleştirebilmek için yeni bir kayıp fonksiyonu tanımlıyoruz. Deneysel sonuçlar, önerilen video stabilizasyon yönteminin başarılı sonuçlar ürettiğini göstermektedir. Nicel olarak yöntemimiz, temel interpolasyona dayalı yönteme göre %17,65'e kadar daha başarılı stabilite skorları elde etmektedir. Ancak optimizasyon tabanlı bir yaklaşım kullanıldığı için video işlemede yavaş kalmaktadır. Önerilen ikinci yaklaşımda mevcut interpolasyon tabanlı video stabilizasyon yöntemlerini iyileştirmek için video kareleri tahmin edilen derinlik haritaları üzerinden farklı katmanlara ayrıştırılıp ayrı ayrı stabilize edilmektedir. Bu yöntem özellikle özçekim videolarında rastladığımız ön plan ile arka plan nesneleri arasında derinlik farklarının fazla olduğu videolar için daha başarılı bir çözüm sunmaktadır. Önerilen yaklaşım güncel özçekim video stabilizasyon çalışmalarının kırpma, bozulma ve stabilite skorları ile rekabet edebilecek başarılı bir performans göstermiştir.

With the increasing daily use of videos, the need for video enhancement methods has also increased. During video capture, involuntary camera movements such as shaking and trembling, especially in situations where the camera is not stable, such as handheld cameras, car cameras, and helmet cameras, can create blurring and distortions in videos. In recent years, many video stabilization methods have been proposed to eliminate or reduce these negative effects. However, while these studies can solve certain problems, the desired level of stabilization success has not yet been achieved. Especially, it is difficult to distinguish between camera motion and the movement of objects, which greatly affects performance. In this thesis, we propose two different video stabilization approaches to reduce involuntary camera movements that may occur during video recording. In the first approach, we propose a new optimization-based video stabilization method that utilizes video frame interpolation methods. In this method, we find warping fields that convert input unstable video frames to stable video frames through a video frame interpolation method using an optimization approach. Additionally, we define a new loss function to perform this optimization. Experimental results show that the proposed video stabilization method produces successful results. Quantitatively, our method achieves up to 17.65% better stability scores compared to the basic interpolation-based method. However, since an optimization-based approach is used, it is slower in video processing. In the second proposed approach, to improve existing interpolation-based video stabilization methods, video frames are decomposed into different layers based on estimated depth maps, and each layer is stabilized separately. This method provides a more successful solution, especially for videos with large depth differences between foreground and background objects, as commonly encountered in selfie videos. The proposed approach has shown successful performance that can compete with current selfie video stabilization studies in terms of cropping, distortion and stability