Derin öğrenme tabanlı geçek zamanlı kimliklendirme sistemi

Abstract

Günümüzde nesne tespiti ve takibi en çok çalışılan alanlardan birisi olmuştur. Bunun sebebi günlük hayatta karşılaşılan güvenlik, savunma, medikal, robotik ve oto pilot araç kullanımlarında kritik öneme sahip olmasıdır. Bu amaçla yapay zekâ ve makine öğrenmesi kullanan birçok karar destek sistemi veya uzman sistem geliştirilmeye çalışılmıştır. Son zamanlarda derin öğrenme ve donanım alanında yaşanan gelişmelere bağlı olarak etkin ve güvenilir birçok nesne tespiti ve takip sistemi geliştirilmiştir. Derin öğrenme algoritmalarının performansını arttırmak ve daha ekonomik sistemler geliştirmek amacıyla nesne tespiti ve takibi alanında çalışmalar hızla devam etmektedir. Yeni algoritmalar tasarlayan bilim adamları, hesaplama yükünü azaltacak ve performansı arttıracak modeller geliştirmek için çalışmalar yürütmektedir. Geliştirilen yeni modeller gerçek zamanlı uygulamalarda kullanılabilecektir. Bu tez çalışmasının amacı derin öğrenme yaklaşımları kullanılarak çevrimiçi nesne takip sistemlerinin başarımını arttırmak ve günlük hayatta kullanılabilecek bir uygulama geliştirmektir. Tez, iki kısımdan oluşmaktadır. İlk olarak, çoklu nesne takibi derin öğrenme modeli FairMOT üzerinde mevcut optimizasyon algoritmalarının karşılaştırılması yapılmıştır. Hiper parametreler arasında yer alan optimizasyon algoritmaları mevcut yaklaşımlar denenerek daha başarılı bir model elde edilmiştir. MOT20 veri seti kullanılarak FairMOT derin öğrenme modeline farklı optimizasyon yöntemleri uygulanmıştır. En iyi sonuç RMSprop optimizasyon algoritması kullanılarak elde edilmiştir. İkinci kısımda ise çoklu kamera sistemlerinde çalışan derin öğrenme tabanlı gerçek zamanlı bir yüz takip sistemi geliştirilmiştir. Yüz tespiti amacıyla SCRFD modeli, yüz tanıma için ise ArcFace modeli kullanılmıştır. Nesne takibi için ise yüz tespiti ve yüz tanıma modellerinden faydalanılarak DeepSORT algoritması kullanılmıştır. Gerçek zamanlı olarak verinin işlenebilmesi için Apache Kafka akış işleme sistemi ve Socket.IO çift yönlü iletişim kütüphanesinden yararlanılmıştır. Yapılan çalışma sonucunda başarılı bir yüz tespit, tanıma ve takip sistemi uygulaması geliştirilmiştir.

Nowadays, object detection and tracking has become one of the most studied areas. The reason for this is that it is of critical importance in the use of security, defense, medical, robotic and autopilot vehicles encountered in daily life. For this purpose, many decision support systems or expert systems using artificial intelligence and machine learning have been tried to be developed. Recently, depending on the developments in the field of deep learning and hardware, many effective and reliable object detection and tracking systems have been developed. In order to increase the performance of deep learning algorithms and to develop more economical systems, studies in the field of object detection and tracking continue rapidly. Scientists who design new algorithms are working to develop models that will reduce the computational cost and increase performance. Developed new models can be used in real-time applications. The aim of this thesis is to increase the performance of online object tracking systems by using deep learning approaches and to develop an application that can be used in daily life. The thesis consists of two parts. First, a comparison of existing optimization algorithms on the multi-object tracking deep learning model FairMOT is made. Optimization algorithms, which are among the hyper-parameters, have been tried and a more successful model has been obtained. Different optimization methods were applied to the FairMOT deep learning model using the MOT20 dataset. The best results were obtained using the RMSprop optimization algorithm. In the second part, a deep learning based real-time face tracking system working on multiple camera systems has been developed. SCRFD model was used for face detection and ArcFace model was used for face detection. For object tracking, the DeepSORT algorithm was used by making use of face detection and face recognition models. Apache Kafka stream processing system and Socket.IO bidirectional communication library were used to process data in real time. As a result of the study, a successful face detection, recognition and tracking system application has been developed.