Deep learning-based autonomous harvesting robot design for kumquat fruit

Abstract

Purpose: The main purpose of this study is to provide an autonomous solution supported by artificial intelligence forharvesting processes where the labor problem is felt most in agricultural areas. Theory and Methods: Autonomous harvesting robot system consists of three main modules. In the first module, a 6-axis robot arm and a vacuum gripping that can perform the harvesting process is designed. In the second module, the Yolov7 deep learning algorithm was customized according to the study. Position determination was made with using RGB-D camera. The collection point was determined using image processing algorithms. Then, inverse kinematics calculations were made with the MLP algorithm. In the last module, the system was completed by creating a mobile platform. Results: In the test phase, the data obtained from the natural environment images without any changes were used. Object detection performance with the Yolov7 algorithm has been determined as 93%. For harvest performance, two trees with a total of 120 kumquat fruits were used. Picking performance was determinedas 75% for a full round of fruit detection, picking and placing in the basket. At this point, the leaf and sticky fruit problem mentioned in the literature has been solved by determining the collection point. Conclusion: The developed system includes new approaches for autonomous harvesting robots. Although it gives more successful results than the studies in the literature, it is necessary to fix some position detection errors in mobile motion systems and to be applied in real fields

Otonom robotlar, dünya nüfus artışı karşısında azalan tarımsal üretim alanlarına ve tarımsal işgücü ihtiyacına çözüm olarak ortaya çıkıyor. Dünya genelinde insan hatalarından ve çalışma sürelerinden bağımsız bir yöntem olarak otonom hasat robotları üzerinde çalışmalar yapılmaktadır. Bu çalışmada, mobil bir platform üzerinde 6 eksenli bir robotik kol tasarlanmıştır. Derin öğrenme algoritmaları ile kamkat meyve tespiti yapılmış, özel tasarlanmış bir vakum tutucu ile entegre bir görüntü işleme algoritması oluşturulmuştur. Ayrıca literatürde hasat performansını düşüren yaprak sorunu ele alınmış ve çözüm önerilmiştir. Nesne tespiti sonrası geliştirilen algoritma ile yaprak veya herhangi bir engele takılmadan hasat gerçekleştirilmiştir. Denavit-Hartenberg (D-H) yöntemi kullanılarak elde edilen veri setinin ters kinematik hesaplamaları için yapay sinir tabanlı model oluşturularak robot hareketleri hesaplanmıştır. Nesne tespit başarısı %93 olup, saksılı kamkat ağaçlarında yapılan testler sonucunda %75 hasat başarısı elde edilmiştir.