Robotik sistemler için görüntü işleme yöntemleri kullanılarak zeytin meyvesinin konumunun belirlenmesi

Abstract

Teknolojinin gelişmesiyle birlikte görüntü işleme tekniklerinin ve yapay zekâ kullanımının artması, birçok alanda süreçlerin otomatik olarak gerçekleşmesine olanak sağlamıştır. Son yıllarda tarımsal ilaçlama, sulama gibi işlemlerin yanında ürün hasadı gibi zorlu işler de otomatik olarak gerçekleştirilmeye başlanmıştır. Otomatik hasat sistemlerinde hasadı gerçekleştirecek robotun meyveyi tanıması ve ona yönelebilmesi için meyvenin koordinatlarını tespit edebilmesi gerekmektedir. Meyvelerin doğru bir şekilde tespit edilebilmesi için de sistemin modellenmesi amacıyla kullanılacak veri seti çok önemlidir. Literatürde otomatik meyve hasadı ve meyvelerin otomatik olarak tespit edilebilmesi üzerine pek çok çalışma bulunmaktadır. Ancak, literatürde zeytin meyvesinin gerçek ortamda tespit edilmesi ile ilgili herhangi bir çalışma bulunmamaktadır. Bu tez çalışmasında, 12 MP Optik görüntü sabitleyiciye (OIS) sahip kamera ile 1,3 MP CMOS fotoğraf sensörüne sahip IP kamerası kullanılarak elde edilen zeytin ağacının meyvesine ait görüntülerden bir veri seti oluşturulmuştur. Daha sonra veri setinde bulunan resimlere çeşitli görüntü işleme teknikleri ve meyve etiketleme işlemleri uygulanmıştır. Son olarak CNN, YOLOv3-tiny, YOLOv4-tiny-custom derin öğrenme modelleri kullanılarak zeytin meyvesinin gerçek ortamda tespit edilmesi işlemi gerçekleştirilmiştir. Robot kolun zeytin meyvesine erişebilmesi için mesafenin de doğru olarak ölçülmesi gerekmektedir. Bu nedenle çalışmada ayrıca meyvenin derinlik tespiti için Microsoft Kinect v1 ve stereo kamera düzenekleri kullanılmıştır. Zeytin meyvesini tespit etmek amacıyla kullanılan YOLOv4-tinycustom modeli 0.88 F1 skoru ile en yüksek başarı oranını vermiştir. Derinlik tespitinde %98’lik başarı ile meyve derinliği ölçülmüştür. Çalışmalar gerçek bir hasat robot sisteminin tasarlanması konusunda devam etmektedir.

With the advancement of technology, the increase in image processing techniques and the use of artificial intelligence has made it possible for processes to be automatically carried out in many fields. For example, in the past few years, in addition to agricultural pest control and irrigation processes, challenging processes such as fruit harvesting have also been automated. In automatic harvesting systems, it is necessary for the robot responsible for harvesting to be able to identify and approach the fruit by determining its coordinates. A data set that will be used for modeling the system is a very important requirement for accurately identifying the fruit. There are many studies in the literature on automatic fruit harvesting and the automatic detection of fruit. However, there is no study on the detection of olive fruit, which is densely found on tree branches and almost the same color and size as the leaves, in real environments. In this study, a dataset was created from images of the fruit of an olive tree obtained using 12 MP Optical image stabilizer (OIS) camera and an IP camera with a 1.3 MP CMOS photo sensor. Then various image processing techniques and fruit labeling processes were applied to the images in the dataset. Finally, the process of detecting olive fruit in real environments was carried out using CNN, YOLOv3-tiny, and YOLOv4-tiny-custom deep learning models. It is also necessary to accurately measure the distance between the robot arm and the fruit in order for the robot arm to be able to access the olive fruit. For this reason, in the study, Microsoft Kinect v1 and stereo camera configurations were also used to detect the depth of the fruit. According to the results of the models used to detect olive fruit, the YOLOv4-tiny-custom model achieved the highest success rate with a 0.88 F1 score.