Derinlik kamerası ile derin öğrenme tabanlı nesne tespiti

Abstract

Dünya nüfusundaki artış, tarımsal üretimin bu artışı karşılaması açısından yeni teknolojilere ihtiyaç oluşturmaktadır. Bu kapsamda tarımsal üretimin hasat kısmında gerekli işçi gücünün bulunması ve verimli hasat işlemleri açısından sıkıntılar yaşanmakta olduğu tüm dünyada aşikâr bir gerçekliktir. Bu konuda otonom hasat robotlarının geliştirilmesi ve aktif olarak sahalarda kullanılması bu sorunun çözümü olarak sunulmaktadır. Dünya genelinde birçok ürün özelinde otonom hasat robotları geliştirme çalışmaları yapılmaktadır. Bu çalışmalar açısından özellikle bilgisayarlı görü çalışmalarında yaşanan gelişmeler, nesne tespiti ve sınıflandırılmasında kullanılan derin öğrenme algoritmalarında alınan başarılı sonuçlar otonom hasat robotlarının tarım sahalarında aktif kullanılmasını mümkün hale getirmiştir. Yazılımsal olarak yaşanan bu gelişmelerin yanı sıra donanımsal olarak bu algoritmaların üzerinde çalışacağı kartların gelişmesi ile otonom hasat robotlarının işlem hızları artmakta ve hasat süreleri azalmaktadır. Otonom hasat robotlarının gelişimi ile tarımsal alanda yaşanan işçi gücü problemi, insan kaynaklı hatalar ve iş kazalarının yaşanması sorunlarına çözüm geliştirilmektedir. Bu tez çalışmasında, kamkat meyvesi otonom hasadında kullanılmak üzere derin öğrenme tabanlı nesne tespiti çalışması yapılmıştır. Bu kapsamda otonom hasat robotlarının görü sisteminde ihtiyaç duyduğu gerçek zamanlı nesne tespitini yapmak için YOLO algoritmasının dört farklı mimarisi ile eğitimler yapılarak en uygun model tespiti gerçekleştirilmiştir. Nesne tespitinden sonra kamkat meyvesinin hasadı için ihtiyaç duyulan toplama noktasının tespiti işlemi gerçekleştirilmiştir. Toplama noktası tespiti ile otonom hasat işleminde problem oluşturacak yaprak ve dal gibi problemlerin önüne geçilmesi hedeflenmektedir. Yapılan test işlemleri sonucunda en başarılı sonuçlar YOLOv7 modelinde %93 genel doğruluk ve 35 FPS (Saniyedeki Kare Sayısı) oranı ile elde edilmiştir.

The increase in the world population creates a need for new technologies in order to meet this increase in agricultural production. In this context, it is an obvious reality all over the world that there are problems in the harvesting part of agricultural production in terms of finding the necessary labor force and efficient harvesting processes. In this regard, the development of autonomous harvesting robots and their active use in the fields are presented as a solution to this problem. There are studies to develop autonomous harvesting robots for many products around the world. In terms of these studies, especially the developments in computer vision studies, the successful results obtained in deep learning algorithms used in object detection and classification have made it possible to actively use autonomous harvesting robots in agricultural fields. In addition to these developments in software, with the development of the cards on which these algorithms will work in hardware, the processing speed of autonomous harvesting robots increases and harvest times are reduced. With the development of autonomous harvesting robots, solutions are being developed to the problems of labor power in the agricultural field, human-induced errors and occupational accidents. In this thesis, a deep learning-based object detection study was carried out to be used in autonomous harvesting of kumquat fruit. In this context, the most suitable model was determined by training with four different architectures of the YOLO algorithm in order to detect real-time objects that autonomous harvesting robots need in the vision system. After the object detection, the collection point needed for the harvest of kumquat fruit was determined. With the collection point detection, it is aimed to prevent problems such as leaves and branches that will cause problems in the autonomous harvesting process. As a result of the test processes, the most successful results were obtained in the YOLOv7 model with 93% overall accuracy and 35 FPS (Frame Per Second).