Reyhan GÜRLEYEN, Tayfun AKGÜL

Bölünmüş İzge İşleme ile Video Devinim Büyütme Video Motion Magnification Using Split Spectrum Processing

Video devinim büyütme, insan gözünün algılayamadığıküçük mertebedeki devinimlerin uygun bir yöntemlebüyütülmesi ve bu devinimlerin videoda gözle görülebilir halegetirilmesi işlemidir. Bu algoritmalar, video çerçevelerini hemuzamsal hem de zamansal alanda işleme tabi tutarak minikdevinim ve titreşimlerin büyütülüp videoya geri gömülmesitemeline dayanmaktadır. Örneğin, nabız atımının bilekteoluşturduğu devinim, köprü salınımları ve bina titreşimleri gibialgılanması zor olan devinimlerin yanında ses geriçatımı veoptik gibi çeşitli alanlarda da bu yöntemler kullanılmayabaşlanmıştır. Bu çalışmada video devinim büyütmedekullanılan Euler yönteminin zamansal işleme katmanında,radar ve sesötesi (ultrasound) gibi sinyal işleme alanlarındauygulanan ve sinyal-gürültü oranını arttıran Bölünmüş İzgeİşleme yöntemi kullanılmıştır. Önerilen yöntem ve Eulerdevinim büyütme yöntemi, yapısal benzerlik indeksi üzerindenkarşılaştırılmış ve iyileştirmeler gösterilmiştir

Video Motion Magnification Using Split Spectrum Processing

Video motion magnification is the process of enlarging small-scale movements that cannot be detected by the human eye. To achieve this, first, the video frames are processed in both spatially and temporally via magnifying the subtle movements and vibrations and then, these processed frames are embedded back into the video to create visibility. Various applications in different fields are studied, i.e., magnification of pulse motion on the wrist, oscillations of bridges, vibrations of buildings, and sound recovery of trembling surfaces from video. In this study, a well-known signal processing method, namely, split spectrum processing method which is used to increase the signal-to-noise ratio of returning signals in radar and ultrasound, is successfully employed on the temporal processing layer of popular Euler motion amplification technique for video magnification. Our proposed and classical Euler magnification methods are compared in terms of their structural similarity index and improvements are demonstrated.

PDF

___

[1] C. Liu, A. Torralba, W. T. Freeman, F. Durand, ve E. H. Adelson, “Motion magnification,” ACM Transactions on Graphics (TOG), vol. 24, no.3, pp. 519-526, 2005.
[2] H. Y. Wu, M. Rubinstein, E. Shih, J. Guttag, F. Durand, ve W. Freeman, “Eulerian video magnification for revealing subtle changes in the world,” ACM Transactions on Graphics (TOG), vol. 31, no.4, pp. 1-8, 2012.
[3] L. Terán, C. Ordóñez, S. García-Cortés, ve A. Menéndez, “Detection ve magnification of bridge displacements using video images,” Optics and Measurement International Conference, vol. 10151, pp. 1015109, 2016.
[4] N. Wadhwa, J. G. Chen, J. B. Sellon, D. Wei, M. Rubinstein, R. Ghaffari ve S. H. Kang, “Motion microscopy for visualizing and quantifying small motions,” Proceedings of the National Academy of Sciences, vol. 114, no.44, pp. 11639-11644, 2017.
[5] Y. Zhu, J. Hao, J. Yang, ve E. Dong, ”Subtle vibration sensing and dimension measurement with a bio-inspired optical tactile sensor,” IEEE International Conference on Mechatronics and Automation (ICMA), pp. 1248-1253, 2019.
[6] W. Peng, X. Hong, Y. Xu ve G. Zhao, “A boost in revealing subtle facial expressions: A consolidated eulerian framework,” 14th IEEE International Conference on Automatic Face & Gesture Recognition, pp. 1-5, 2019.
[7] V. Perrot, S. Salles, D. Vray ve H. Liebgott, “Video magnification applied in ultrasound,” IEEE Transactions on Biomedical Engineering, vol.66, no.1, pp. 283-288, 2018.
[8] A. Davis, M. Rubinstein, N. Wadhwa, G. J. Mysore, F. Durand ve W. T. Freeman, “The visual microphone: Passive recovery of sound from video,” ACM Transactions on Graphics, vol.33, no.4, pp.1- 10, 2014.
[9] Y. Zhang, S. L. Pintea ve J. C. Van Gemert, “Video acceleration magnification,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 529-537, 2017.
[10] N. Wadhwa, M. Rubinstein, F. Durand ve W. T. Freeman, “Phase-based video motion processing,” ACM Transactions on Graphics (TOG), vol. 32, no.4, pp. 1-10, 2013.
[11] N. Wadhwa, M. Rubinstein, F. Durand ve W. T. Freeman, “Riesz pyramids for fast phase-based video magnification,” IEEE International Conference on Computational Photography (ICCP), pp. 1-10, 2014.
[12] K. Kamble, N. Jagtap, R. A. Patil ve A. Bhurane, “A review: eulerian video motion magnification,” International Journal of Innovative Research in Computer and Communication Engineering (IJIRCCE), 3, pp. 2384-2390, 2015.
[13] M. Elgharib, M. Hefeeda, F. Durand ve W. T. Freeman, “Video magnification in presence of large motions,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 4119- 4127, 2015.
[14] V. Kaur ve J. Kaur, “Comparison of Image Fusion Techniques: Spatial and Transform Domain based Techniques,” International Journal of Engineering and Computer Science, vol. 4, pp. 12109–12112, 2015.
[15] K. Kalaivani ve Y. A. V. Phamila,, “Analysis of image fusion techniques based on quality assessment metrics,” Indian Journal of Science and Technology, vol. 9, no. 31, 2016.
[16] A. L. Garcia, Numerical methods for physics. Prentice Hall Englewood Cliffs, NJ, 2000.
[17] M. Karaoğuz, N. Bilgutay, T. Akgul ve S. Popovics, “Defect detection in concrete using split spectrum processing,” Proceedings of the IEEE Ultrasonics Symposium, pp.843-846, 1998.
[18] M. Karaoğuz, N. Bilgutay, T. Akgul ve S. Popovics, “Ultrasonic testing of concrete using split spectrum processing,” Materials Evaluation, vol.57, no.11, pp. 1183-1190, 1999.
[19] S. Popovics, N. Bilgutay, M. Karaoğuz ve T. Akgul, “High-frequency ultrasound technique for testing concrete,” ACI Materials Journal, vol.97, no.1, pp. 58-65, 2000.
[20] S. K. Pedram, P. Mudge ve T. H. Gan, “Enhancement of ultrasonic guided wave signals using a splitspectrum processing method,” Applied Sciences, vol.8, no.10, pp. 1815, 2018.
[21] I. S. Wahyuni, “Multi-focus image fusion using local variability,” Université Bourgogne Franche-Comté (Doctoral dissertation), 2018.

ISSN: 1309-5501
Yayın Aralığı: 2
Başlangıç: 2011
Yayıncı: -

Arşiv

Sayıdaki Diğer Makaleler

Bölünmüş İzge İşleme ile Video Devinim Büyütme Video Motion Magnification Using Split Spectrum Processing

Reyhan GÜRLEYEN, Tayfun AKGÜL

Bölünmüş İzge İşleme ile Video Devinim Büyütme

Reyhan GÜRLEYEN, Tayfun AKGÜL

Sınıflandırma Başarımını Ölçme ve Seyreklik İşleme Üzerine

Umut KONUR

Parazitik Elemanlar Kullanılarak Bant Filtreleyici Düzlemsel Anten Tasarımı

Harun ŞİMŞEK, Oğuzhan ERDOĞAN, Cihan DÖĞÜŞGEN ERBAŞ

Baskı Devrelerde Dönüş Yolu Üzerindeki Süreksizliklerden Kaynaklanan Elektromanyetik Girişimin Nümerik Analizi ve Deneysel Doğrulanması

Seyit Ahmet SİS, Ekrem DEMİREL, Mücahid Taha MERSİN, Fatih ÜSTÜNER

Fırçasız Doğru Akım Motorunun Aralıklı Tip-2 Bulanık Mantık Denetleyici Tabanlı Hız Denetimi

Hakan AÇIKGÖZ, Mustafa ŞEKKELİ, Salime BEREKETOĞLU