面向复杂农艺操作的农业机器人手眼协同技术进展

何梁 ,  孙瑜欢 ,  陈立平 ,  冯青春 ,  李亚军 ,  林洁雯 ,  谯懿宸 ,  赵春江

Engineering ›› 2025, Vol. 51 ›› Issue (8) : 263 -279.

PDF (22329KB)
Engineering ›› 2025, Vol. 51 ›› Issue (8) : 263 -279. DOI: 10.1016/j.eng.2025.01.022
研究论文

面向复杂农艺操作的农业机器人手眼协同技术进展

作者信息 +

Advance on Agricultural Robot Hand–Eye Coordination for Agronomic Task: A Review

Author information +
文章历史 +
PDF (22864K)

摘要

针对农业劳动力短缺、生产成本上涨的产业问题，农业机器人是实现农业复杂生产环节机械化高效作业的必要装备支撑。鉴于动植物个体或器官目标形态各异、柔嫩易损的生物特性，手眼协同作业是支撑机器人实施复杂农艺操作的核心技术。本文结合农业作业任务的特殊需求，围绕共性技术原理、作业信息感知及复杂操作执行三个方面，综述农业机器人手眼协同技术研究和应用的前沿进展，总结分析农业机器人自主作业面临的挑战，并展望手眼协同技术的发展趋势。期望通过本文加深对农业机器人的认知，促进农业机器人手眼协同技术的持续创新研究。

Abstract

To address the rising global agricultural labor costs, there is an urgent need for robots to accomplish some complex agronomic tasks and break through the limitations of traditional machinery. Thus, robots are considered an essential support for the future smart agriculture. Given that agronomic targets, such as plants and animals, are living organisms with diverse growth patterns and physical characteristics, effective hand–eye coordination is crucial for robots to interact with these targets proficiently. This paper reviews the developments in hand–eye coordination technology for agricultural robots, focusing on its configuration, principles, and applications in target detection and manipulation, based on a review of research literature and technical specifications of commercial products. Furthermore, the ongoing challenges in hand–eye coordination for robotic operations in complex agronomic tasks are analyzed and summarized, and the potential trends for overcoming these challenges are predicted. Finally, this review aims to deepen understanding of agricultural robots’ capabilities and inspire ongoing innovation to further their agricultural applications.

关键词

农业机器人 / 手眼协同 / 农艺任务 / 目标感知 / 无碰撞操作

Key words

Agricultural robot / Hand–eye coordination / Agronomic task / Target perception / Collision-free operation

引用本文

引用格式 ▾
何梁,孙瑜欢,陈立平,冯青春,李亚军,林洁雯,谯懿宸,赵春江. 面向复杂农艺操作的农业机器人手眼协同技术进展[J]. 工程（英文）, 2025, 51(8): 263-279 DOI:10.1016/j.eng.2025.01.022

登录浏览全文

4963

注册一个新账户 忘记密码

1 引言

人口老龄化和生产成本增长已成为全球农业发展面临的共同挑战[1]，农业生产机械化水平持续提升，是应对全球人口持续增长背景下粮食安全供给的必要途径[2]。近年来，中国的玉米、小麦、水稻、大豆等典型农田作物生产机械化程度显著提升，整个生产环节机械化率达到80%以上[3]。然而，水果和蔬菜等农产品生产的综合机械化率不足30% [4]，尤其是果蔬采收、杂草管理、植株整枝、精准授粉等复杂农艺操作，需要对形态各异的动植物组织进行识别定位和选择性精准操作，依然高度依赖人工操作[5‒7]。目前，果蔬生产人工成本已占总生产成本的42%以上[8]，严重制约产业效益提升。机器人具备自主感知、决策和执行的独特能力，能够实现复杂农艺操作的机械化作业。近年来，随着人工智能与机器人技术的快速发展，挤奶机器人、无人驾驶拖拉机和采摘机器人等农业机器人产品不断涌现，预计2030年农业机器人市场规模将达到359亿台[9]。

对于传统以人为作业主体的农艺任务，操作对象是具有生命形态的动植物组织，其特征表现为丛生交错、形态各异、柔嫩易损，手眼动态协同是实现精确柔顺操作的重要前提。图1展示了典型的复杂农艺操作。如图1（a）所示，挤奶工利用灵活的手指对各乳房依次进行挤奶操作，同时还需密切观察出奶流量，以决定是否需要调整操作力度和频率。图1（b）所示番茄采摘人员在判断成熟果串后，需进一步确定果柄位置，两只手分别抓住果串和操作剪刀。此外，针对柔嫩易碎对象进行操作时，确保操作柔顺性至关重要。如图1（c）和（d）所示，在采摘草莓[10]和拾取鸡蛋时[11]需要避免对柔嫩目标的损伤[12]。

综合以上农艺任务的特点，机器人从事复杂农艺操作主要面临以下挑战：①目标无序分布于广阔空间，机器人需要具备良好的可达性；②目目标生长姿态随机，相互遮挡，需要解决避障感知和避障操作难题；③目标柔嫩易损，需要通过手眼协同复现人工柔顺操作技能。

目前，手眼协同技术已广泛应用于不同作业场景的农业机器人。例如，甜椒收获机器人利用摄像机引导机械手主动搜索并采摘无序分布在高大植物上的成熟果实[13]；由于番茄自然生长姿态容易被枝叶遮挡，通过手眼协同技术与深度强化学习算法相结合，可驱动末端执行器以最佳抓取姿态进行无碰撞采摘[14]。对于葡萄、草莓等易损水果，收获机器人依赖视觉系统精确识别和定位果柄，以引导机器人手臂进行精准无损采摘。手眼协同技术在确保无损收获方面发挥关键作用[15]。尽管构型、功能和作业任务各不相同，手眼协同始终是农业机器人自主作业的核心技术。然而，操作对象信息感知误差大、作业效率低、无损安全性不足，依然是当前农业机器人存在的主要问题。机器人手眼协同技术创新研究是提升农业机器人性能的重要途径。

如图2所示，农业手眼协同技术研究和应用需要多学科的交叉融合。机械工程为农业机器人提供可靠的结构，电子工程建立了软件和硬件之间的信息传导，控制工程确保机器人精准地运动，人工智能模型赋予机器人决策和学习能力，计算机视觉技术使机器人能够准确地感知环境，农业生产管理技术优化农艺条件，促进机器人与农业环境的融合。

本文首先概述了农业机器人的基本概念及其功能；第2节详细介绍了手眼协同系统架构、标定方法及其控制策略等共性技术；第3节综述手眼协同技术在农业机器人目标感知方面的应用；第4节综述了手眼协同在农业机器人目标操作方面的应用；第5节总结分析当前农业机器人手眼协同面临的主要挑战及其发展趋势。

2 农业机器人手眼系统结构与原理

2.1 手眼系统结构

2.1.1 Eye-in-hand结构

在Eye-in-hand结构下，视觉传感器与机器人机械臂末端执行器相连接，随着机械臂的运动从不同姿态捕获目标图像。如图3（a）所示，基于Eye-in-hand结构的西蓝花收获机器人[16]通过机械臂带动视觉传感器以俯视角度观察、搜索和定位西蓝花。一旦目标出现在机器人视野范围内，机械臂驱动末端执行器采摘西蓝花。对于柔嫩的草莓果实，需要对果柄进行剪切操作，以避免果实受到刚性损伤。如图3（b）所示，多臂并联草莓收获机器人[17]视觉传感器安装在末端执行器上，使机器人能够近距离采集、识别、定位及夹持果柄。考虑到农业环境的复杂性，目标被遮挡会阻碍机器人操作。为了解决这个问题，Eye-in-hand结构下的番茄收获机器人[18]能够动态调整摄像机姿态探测目标和障碍物，以减少遮挡和背景干扰。如图3（c）所示，挤奶机器人[19]的末端执行器由四组乳杯和一个摄像机组成。机器人通过调整执行器姿态来绕过相互遮挡的乳房，保证乳杯准确且有序地与乳房附着，实现自动化挤奶。这些案例表明，Eye-in-hand结构能够为相机提供更加灵活的视野，使其能够从不同的角度和位置搜索和识别目标。这种能力通过融合多尺度信息增强了系统的感知灵活性和整体性能[20‒21]。

2.1.2 Eye-to-hand结构

在Eye-to-hand结构下，视觉传感器与机器人基座连接，保持恒定视角以捕捉全局环境信息。由于视觉单元与机械臂基座的相对位置保持不变，机器人通过固定手眼位置关系推算目标的相对位置，从而引导机械臂执行任务。对于特殊作业任务的农业机器人，“手”不仅限于机械臂，还可以包括激光器[22]、除草刀[23]、喷洒系统[24]、风送系统[25]和鸡蛋拾取机构[26]。

如图4（a）所示，激光除草机器人[22]的摄像机和激光器被固定安装在机器人移动平台上，与机器人平台同步前进，获得杂草位置信息驱动30个激光器清除杂草。该机器人手眼系统响应时间仅为50 ms，并以30万株∙h-1的效率清除99%的杂草。此外，如图4（b）和（c）所示选择性化学和机械除草机器人也采用Eye-to-hand结构，喷洒装置[27]或除草刀[28]根据固定的手眼关系进行作业。如图4（d）所示，授粉机器人[25]配备了四个垂直排列的Eye-to-hand手眼协同单元，每个单元包含一个摄像机和一个风送授粉装置。摄像机扫描不同高度的番茄花絮，并由风送装置对花絮进行选择性授粉。鸡蛋收集机器人[26]依赖正前方固定姿态的摄像机探测鸡蛋，并通过拾取机构将鸡蛋逐个收集。如图4（e）所示，番茄收获机器人的侧面[29]恒定视角捕获番茄的图像，为机器人手臂采摘番茄提供位置信息。

Eye-to-hand特点是结构简单、信息感知效率高、视野广阔，适用于处理空间分布规则的目标感知，如生长在果架顶部的猕猴桃果实[30]及花絮[31]、离散分布在地平面上杂草和作物[32‒33]、生长高度相近菠萝和茶树[34‒35]，以及二维（2D）标准化树形上的苹果[36]。

2.1.3 Eye-to-hand和Eye-in-hand组合结构

为了兼顾Eye-to-hand和Eye-in-hand两种手眼结构的优势，在机器人机械臂末端及基座同时安装相机，为机器人提供全局和局部视角[37]，如柑橘[38]、黄瓜[39]和番茄[40]采摘机器人。针对果实离散分布的情况，机器人首先利用全局相机获取目标的空间位置以提前规划采摘顺序，进而通过腕部相机近距离观察、分析目标姿态以实现更加精细、柔顺的操作，如图5所示。然而，全局-局部信息融合的策略也增加了系统结构和控制算法的复杂性，对决策系统提出了重大挑战。

Eye-to-hand与Eye-in-hand的组合结构同样适用于双臂及多臂机器人的协同作业[41]。的多臂并联草莓采摘机器人中，各视觉伺服系统均由单台相机与单个机械臂构成，系统间独立运行并可实现协同工作[42]。图6（a）所示的双臂茄子采摘机器人为双臂协作的典型范例[43]，在遭遇障碍物遮挡时，可由其中一臂完成障碍物清理，另一臂执行采摘作业，从而实现主动避障、类人操作及其他复杂任务。图6（b）所示为三臂协同甜椒采摘机器人[44]，中间机械臂携带相机主动搜寻甜椒并定位果柄，待果柄锁定后，右侧机械臂通过柔性夹爪夹持果实，左侧机械臂完成果柄剪切，进而实现协同采收作业。增加机械臂数量虽可使机器人完成更为复杂的协同作业，但需充分考虑机械臂、作业目标与障碍物之间的空间干涉问题，同时机械结构的复杂化也会显著加重控制系统的计算负担[45‒46]。

2.2 手眼关系标定

手眼关系标定旨在确定视觉传感器与末端执行器之间的相对位姿关系，从而实现作业目标位置在机器人手臂坐标系下的精准映射，引导机械手完成高精度的视觉伺服操作。

2.2.1 离线标定方式

离线标定指在系统非运行状态下，借助专用标定工具建立手眼坐标关系的过程[如图7（a）所示的Eye-in-hand系统标定示意图]。在此过程中，机械臂带动相机在不同位姿i下观测标定板，通过记录每一观测时刻相机与标定板之间的相对位姿T1i以及对应的机械臂末端位姿T2i，进而求解视觉传感器与机械臂末端之间的转换关系X。

T2iT1i=XT2i-1T1i-1

类似地，在图7（b）所示的Eye-to-hand系统中，机械臂通过带动标定板运动，为相机提供多样化的标定板位姿。对于每一观测位姿i，分别计算相机与标定板之间的相对位姿T1i，以及机械臂末端相对于标定板的位姿T2i，进而求解视觉传感器与机械臂之间的转换关系。

X=T1iT2i-1

猕猴桃采摘机器人[47]通过棋盘格标定视觉系统，获取相机的内参与外参，并利用圆点标定板对立体视觉系统进行标定，建立双目视觉的图像匹配关系，进而通过离线标定将立体视觉坐标系与机械臂基坐标系对齐。除棋盘格与圆点标定板外，ArUco标记亦是常用的离线标定工具。例如，采用Eye-in-hand构型的番茄采摘机器人[48]，中，其ArUco标定工具位置固定，其相对于机器人基座的位置矩阵tbT base→tool恒定。相机与末端执行器连接，二者的相对矩阵关系ehT hand→eye恒定且未知。末端执行器相对于基座的变换矩阵h_ibTbase→hand，以及标定工具相对于相机的变换矩阵te_iTeye→tool均可通过测量获得。基于多组位姿观测，可利用最小二乘法拟合求解相机与末端执行器之间的相对关系e_ih_iT。

h_ibTTehTte_i=Ttb

Eye-to-hand结构的桃子包装机器人[49]，对比测试了Tsai-Lenz [50]、Park [51]和Horaud [52]三种标定方法。其中Park是利用全局优化来估计手眼关系、Horaud是利用几何约束来计算手眼关系。除了通过显式数学公式直接计算手眼关系外，人工神经网络也被证明可以计算手眼关系[53‒54]。与求解变换矩阵的传统方法相比，神经网络在非线性函数建模方面表现出色，具有优越的稳定性和准确性。但总体而言，无论采用Eye-in-hand还是Eye-to-hand构型，离线标定仍是目前各领域应用最为广泛的手眼标定方式[49,55‒57]。

离线标定方法同样适用于多相机或多臂协作机器人系统。例如，搭载“全局-腕部”视觉系统的机器人全局相机仅用于目标的初步定位，而腕部相机则通过与机械臂进行离线标定实现精确定位[39,58]。在双臂协同作业场景下，机械臂可分别与其对应的相机独立完成离线标定，以保证各自的作业定位精度，同时为实现双臂之间的协同操作，还需进一步解算两臂之间的空间相对位姿，以避免运动干涉与碰撞[45]。此外，在三臂协作机器人系统中，可采用Aruco标定板标定相机与其中一个机械臂之间的手眼关系[44]，由于三臂基座相对固定，其余两个机械臂的作业坐标系可通过坐标变换与矩阵运算推导得出。

2.2.2 在线标定方式

手眼姿态关系通常被视为在机器人作业过程中保持恒定，因此机器人的操作精度在很大程度上取决于手眼标定的准确性。然而，在实际农业作业等复杂环境中，不可避免的振动、外部冲击及过载等因素可能破坏手眼位姿关系的稳定性[59]。为应对这一挑战，具备自适应性、高效性与自主性的在线标定方法应运而生，能够在机器人运行过程中实现实时标定。例如，手术机器人因需频繁更换末端执行器而要求快速重标定，在线标定可在不中断操作的前提下迅速恢复相机与机械臂之间的位姿关系[60]，弥补了传统离线标定方法灵活性不足的缺限。在深海或太空等极端环境下，温度与压力条件亦不适宜离线标定，在线标定算法使得机器人能够在无人干预的情况下自主完成标定[61]。此外，在缺乏标定工具或运动范围受限的场景中，可通过Kronecker积对手眼关系进行估计，并结合稀疏束调整优化估计结果，从而实现鲁棒且准确的标定[62]。

针对在线标定可能存在标定板被遮挡的情况，Lin等[63]提出了一种融合ArUco标记与棋盘格的标定方法。该方法在标定板受到大面积遮挡时仍能保持解码能力，有效克服了传统棋盘格抗干扰性不足的局限。标定过程中，机械臂带动相机调整姿态以采集足够数量的标定板图像，同时记录机械臂姿态数据，进而完成手眼关系的在线标定。为进一步提升在线标定精度，Zhang等[64]提出了离散视图质量场（DQVF）方法。该方法通过为每一帧AprilTags图像生成评分，评估其在降低标定结果不确定性与增加机器人姿态多样性方面的贡献，从而引导机械臂自主移动至下一最优观测位姿，以采集对标定精度提升最具价值的图像。

在线标定具备自动化[65]和实时性[66]的显著优势，对于农业机器人而言，在线标定有助于补偿因长期使用或碰撞累积所导致的精度下降，其自主性特征亦降低了非专业用户的操作门槛。然而，尽管在线标定展现出广阔的应用前景，当前在农业机器人领域的研究与应用仍较为有限。其主要制约因素在于，在线标定需实时处理大量数据，且对高质量标定数据存在强依赖性，这对系统的计算能力与数据筛选机制构成了重大挑战。

2.2.3 无标定方式

为了避免机器人对手眼标定的依赖，研究者提出了无标定手眼控制方式以解决频繁标定的问题，主要分为两类。第一类方法建立雅可比矩阵描述两个向量之间的局部线性关系[67]。将视觉信息直接转换为控制信号，引导机器人运动至期望的目标位置或姿态[68]。如通过构造与深度无关的复合雅可比矩阵[69]，将视觉参数与机器人物理参数以线性形式统一表示，并结合自适应控制律与自适应估计算法，实现无标定视觉伺服控制。基于无限单应矩阵的方法[70]则将图像特征的运动映射为机器人末端执行器的旋转与平移运动，利用Kronecker积推导线性方程，并采用卡尔曼滤波在线估计比例控制所需的雅可比矩阵，进而在无标定条件下实现精确控制。此类方法通过自适应算法估计雅可比矩阵，虽对数学建模的精度要求较高，但有效简化了标定流程，增强了系统的适应性与鲁棒性。

第二类方法则借助强化学习模型从图像数据中学习运动规律。例如，基于高效的两阶段关键点检测网络[71]，可在实时推理中提取稀疏的图像平面特征，无需手眼标定即可将鲁棒的关键点与图像空间的视觉伺服控制闭环相结合，实现精确的实时抓取。此外，深度确定性策略梯度（DDPG）算法也被用于学习从当前图像特征及相机姿态到最优控制指令的映射[72]，使机器人能够从初始位置高效移动至目标位置。通过在仿真环境中反复试错，DDPG优化策略网络与价值网络，从而掌握调整混合视觉伺服模型中关键参数的能力，实现平滑的机器人运动。此类基于强化学习的手眼伺服控制方法避免了复杂的数学建模与参数标定过程，使系统能够在未知环境中自适应地完成视觉伺服任务，在实际应用中表现出良好的性能。

2.3 伺服控制策略

2.3.1 基于图像的视觉伺服

基于图像的视觉伺服（IBVS）方法直接利用图像特征（如颜色、轮廓、质心或纹理）控制执行器运动，适用于除草、喷药、施肥等连续性、低精度要求的作业场景，使机器人能够在运动过程中实时分析目标并执行操作。如除草机器人[73]在理想状态下以恒定速度前进，实时计算除草刀与相机中心之间的距离，控制系统在预设延时后驱动除草刀进行作业，但该方法对速度反馈传感器具有较强依赖性，需依靠其实现目标与执行器之间的精确对齐[28]。

IBVS通常依赖像素坐标作为信息反馈，因此需借助额外传感器获取目标的具体位置，常用传感器包括光电位置传感器[74]、红外传感器[75]和触觉传感器[76]。如图8所示的番茄收获机器人[40]，通过实时计算番茄中心与视场中心的偏差，结合闭环控制与正运动学引导末端执行器趋近果实。当番茄进入采摘范围后，末端执行器上的光电传感器被触发。Ahlin等基于三维IBVS，通过多视角图像进行深度估计，获取特征点在笛卡儿坐标系中的位置[77]，无需依赖额外的传感器实现目标空间定位并完成IBVS控制。Wang等[78]则利用固定深度相机与安装于夹爪上的普通相机实时采集图像与深度信息，通过多视图融合技术计算图像误差与三维（3D）空间误差，驱动机械臂完成番茄采摘。

IBVS源于对图像特征的直接依赖，其视觉系统对特征识别精度与环境干扰的敏感性显著影响机器人作业性能。因此，该方法更适用于环境结构简单、障碍干扰较少[28,79‒80]且对实时性要求较高[33,81]的应用场景。。

2.3.2 基于位置的视觉伺服

基于位置的视觉伺服（PBVS）通过相机获取目标的空间坐标与姿态信息，并依据手眼关系解算末端执行器的期望位姿[11]，决策系统进而根据机械臂运动学方程引导其运动至目标位置。根据是否引入实时视觉反馈，PBVS可分为开环控制与闭环控制两种模式。

图9（a）展示了猕猴桃授粉机器人的开环控制流程[82‒83]：视觉系统从全局图像中提取目标信息，成功获取花朵位置与方向后，不再依赖视觉反馈，决策系统直接依据正运动学方程驱动机械臂完成授粉操作。该无反馈模式结构简洁、响应迅速且性能稳定，适用于采摘[36]、杂草管理[84]等静态场景下的简单作业。然而，开环控制缺乏信息反馈机制，难以应对目标位姿的动态变化。在实际作业中，风、枝条扰动等因素可能导致目标偏移，或操作对象位于远端难以精确探测，此时开环控制往往无法满足作业需求。

相比之下，决策系统通过实时分析图像信息并动态调整机械臂作业位姿，能够有效克服上述挑战。如图9（b）所示，在枝条交错密集的场景中，修剪机器人对剪切点的定位精度与避障性能要求较高，以避免因碰撞造成经济损失。为此，为确保手眼协同精度，在执行器接近剪切点前，机械臂携带相机近距离观测剪切点，实时计算其坐标并反馈至决策系统，从而不断调整和优化机械臂姿态，保障定位精度[85]。闭环PBVS控制方法对环境变化具有较强鲁棒性，可良好适配选择性采收[35,56,86]、授粉[31]及藤蔓修剪[85]等复杂农艺作业。但闭环控制对计算资源需求较高，且其操作精度高度依赖于目标定位与手眼标定的准确性。

2.3.3 混合视觉伺服

混合视觉伺服（HVSC）是PBVS与IBVS相结合的控制策略，旨在克服机器人视野受限与定位精度不足等问题。例如，软体机器人[87]在基座与机械臂上分别安装相机构成HVSC系统。当目标超出局部相机视野，无法满足IBVS作业条件时，系统通过PBVS利用目标位置信息驱动机械臂调整姿态，直至目标重新进入视野并满足IBVS条件。即使仅使用单相机，亦可实现HVSC。番茄采摘机器人[88]采用Eye-in-hand构型与HVSC策略，首先通过PBVS进行初步定位，随后利用IBVS将末端执行器引导至期望操作位置，最后基于PBVS完成对果柄的精细操作。HVSC还能够缓解传统视觉伺服系统在手眼标定方面的烦琐问题[89]，混合视觉系统通过全局RGB-Depth（RGB-D）相机提供整体图像与深度信息，结合局部相机实现闭环控制，并利用自适应跟踪算法在线估计机器人动力学参数，从而避免复杂的标定流程。

对于农业机器人而言，HVSC一方面借助PBVS拓展视野范围，支持多目标作业次序的预先规划，减少机械臂感知目标所需的时间；另一方面结合IBVS控制策略，使机械臂能够带动相机近距离感知目标，提升感知与操作精度[39]。HVSC在PBVS与IBVS之间实现了操作精度与感知效率的平衡，其不足之处在于增加了伺服系统的复杂性，需实时处理多视角信息源并协调不同控制模式，对计算资源与响应速度提出了更高要求。

2.3.4 端到端伺服控制

端到端控制策略是近年来兴起的控制方法，其核心在于借助深度学习模型将传感器数据直接映射为控制指令。以无人驾驶领域为例，系统以图像或图像序列为输入，通过卷积神经网络直接预测转向角度[90]。这种直接映射方式可获得鲁棒性与可靠性更优的控制信号，因此也常被用于农业机器人视觉导航相关任务[91‒93]。

端到端控制策略不仅能实现机械臂的精准拾取，还可通过模拟人类抓取动作提升操作的灵活性与适应性[94]。在建模过程中，将专家动作作为训练数据输入，利用神经网络学习抓取动作特征，训练后的模型可将立体视觉信息直接映射为机械臂的最优拾取控制指令，无需依赖手眼标定。Yu等[95]提出了一种基于Hyper-Network端到端的控制策略：HPN-NC。该网络由两部分构成：超网络根据期望姿态的关键点信息生成低层控制器的最后一层参数，神经控制器则利用当前姿态与期望姿态之间的关键点误差计算相机速度，引导相机向期望姿态移动。该架构在保留传统视觉伺服精确性与鲁棒性的同时，通过自监督学习增强了系统的灵活性与泛化能力。相较于传统IBVS及其他神经控制器，HPN-NC在成功率、伺服效率、网络规模、推理时间及自适应能力等方面均表现出显著优势。

目前，端到端机械臂伺服控制在农业领域的研究与应用仍较为有限，现有研究多集中于端到端检测技术，如花卉分选[96]、葡萄采摘点检测[97]、病虫害识别[98]等。从其他领域的研究成果来看，端到端伺服控制减少了机器人对传统标定方法的依赖，赋予机器人自主学习、优化和决策的能力。因此，端到端的控制策略将成为农业机器人未来发展的重要趋势。

3 面向目标感知的手眼协同技术

在复杂的农业环境中，对随机分布的目标进行高效、精确地感知是农业机器人完成手眼协同作业的重要前提。由于非结构化环境中存在枝叶遮挡、果实重叠、光照变化及障碍物干扰等不利因素，提升感知性能成为保障精准操作的核心问题[99]

3.1 被动感知

被动感知模式下，相机以固定姿态被动接收视场内的图像信息，并据此引导机械臂执行作业任务。由于相机无法调整位姿以观察被遮挡的目标[30]，被动感知更适用于目标分布于相对平整表面的场景，如杂草识别、幼苗作业或标准化农艺条件。在此类场景中，相机可通过单一视角获取全局视野内的大多数目标，从而实现高效作业。例如，葡萄藤修剪机器人[100]前进的同时利用安装于一侧的三目视觉系统以恒定角度对藤蔓进行全局扫描与重建，实时检测修剪节点。类似地，葡萄疾病防控机器人[101]在前进过程中，通过光谱相机以固定视角对病害进行连续感知与定位，引导机械臂实现对靶喷洒[图10（a）]。此外，也有部分机器人的相机固定于末端执行器，在感知阶段保持恒定姿态以被动获取目标信息[102‒103]。

除草机器人是采用被动感知的典型实例，其在行进过程中通过固定视角采集杂草图像，并依赖IBVS实现杂草的连续分析、定位与清除[73,104]。如图10（b）所示，当作业幅宽增大时，单视角与单执行器结构难以满足高效感知与作业需求。为此，部分系统为每个除草执行器前端分别配备相机，为各执行器提供独立的杂草信息，借助IBVS实现多行并行除草[105]。类似地，苹果收获机器人[99]采用四组相机与四组机械臂协同作业，扩大感知与操作范围[图10（c）]。

3.2 主动感知

对于离散分布或具有复杂操作需求的目标，机器人通常需要在大尺度区域内进行目标搜索。机器人沿特定路径主动搜寻目标，通过改变视角获取目标及其周围环境的完整信息，这就要求手眼协同系统具备主动探测环境的能力，即实现主动感知。常见的主动感知方式包括调整视觉传感器的视角、位置或姿态等[106]。例如，甜椒收获机器人通过调整平台高度，以适应甜椒在空间中的不规则分布[107]，一旦检测到目标，机器人依赖视觉伺服进行近距离观察，并引导机械臂绕主茎旋转，以提升果实与果柄的可见度[13]，如图11（a）所示。与被动感知方法相比，该策略有助于克服光干扰和遮挡等挑战，使得收获成功率提高38% [108]。除此之外，利用多台相机捕捉不同视角的图像来搜索目标也被认为是一种主动感知策略。多图像融合能够减轻外界光线干扰，增强伺服系统的感知能力，减少外界环境的负面影响[109]。

草莓采摘对作业柔顺性要求较高，即使轻微损伤也可能影响果实的储运品质。为应对这一挑战，草莓收获机器人[110]采用主动感知策略搜索果柄，使末端执行器能够以合适姿态执行精准采摘[图11（b）]。该机器人将相机安装于末端执行器，并环绕布置发光二极管（LED）光源，以提供稳定照明，保障弱光或夜间作业的稳定性。除光照干扰外，目标遮挡是主动感知系统需应对的另一主要挑战。如图11（c）中绿色箭头所示，机器人根据番茄的遮挡程度主动调整相机的观测方向与位置，持续优化直至目标可见性达到系统预设的置信度阈值，从而满足采摘条件。试验结果表明，在主动感知策略辅助下，机器人对遮挡番茄的收获精度提高了33%，整体收获效率提升了43% [18]。类似地，柑橘收获机器人[111]采用“全局-局部”视觉系统与HVSC策略实现主动感知。全局相机用于粗略定位果实，随后引导机械臂接近目标，并由局部相机获取果实细节信息[图11（d）]。主动感知策略能够克服视野局限与光照干扰，实现对遮挡目标的探测，在修剪、采摘等对识别精度与操作质量要求较高的复杂任务中得到广泛应用[112]。

3.3 对比与分析

表1 [28,31,36,73,82‒84,99‒100,102‒103,109‒110,113‒127]对比了被动感知和主动感知两种模式下不同农业机器人的工作性能，为了确保数据具有可比性，表格仅包含在非结构化环境下进行的试验结果。根据表格所列举的案例，分析得到以下结论。

（1）针对农艺条件良好、目标有序分布以及目标不被遮挡或轻微遮挡的情况，主要选用被动感知模式，机器人能够同时兼顾工作效率和作业精度。

（2）对于遮挡严重或者目标分布无序的场景，主动感知可以强化机器人感知效率和范围，但是也增加了机器人结构的复杂性。

4 面向目标操作的手眼协同技术

4.1 单目标操作

农业机器人的作业对象通常外形复杂，仅获取中心点或质心信息无法满足机器人作业需求。例如，在植株修剪、果实采摘和奶牛挤奶等任务中，需要结合对象的生长状态和局部特征，为机器人制定相应的操作姿态和路径，从而保证无损率、无碰撞率以及目标的可达性。这种为每个目标规划特定作业轨迹的方法被称为单目标操作。挤奶机器人需对奶牛乳头进行识别与姿态判断，据此引导机械臂带动乳杯以相应角度附着乳房，实现柔顺无损的挤奶操作[128]。为实现番茄无损采摘，图12（a）所示的采摘机器人[129]采用单目标操作的策略：视觉系统在每次作业前获取当前图像信息，尽管视野内存在多个目标，伺服系统仍每次仅针对单个果实进行分析、路径规划与采摘，末端执行器可根据反馈调整夹持力度，从而避免损伤果实。与采摘单个番茄果实不同，采摘番茄果串需额外考虑果柄的生长姿态，以避免末端执行器与障碍发生碰撞。Li等[14]通过深度强化学习模型感知实现端到端输出机械臂的最佳采摘路径与姿态，在避免碰撞的同时确保末端执行器以最优角度接近果串茎部，如图12（b）所示，相较于固定姿态的采摘操作方式，采摘成功率提升了43%。为了实现在枝叶根部精准实施植株修剪，通过优化机器人机械臂作业路径以提高机器人的可达性[130]，对于随机生长的侧枝可覆盖89.98%的作业区域。

4.2 多目标操作

多目标操作的核心任务是规划多个目标的执行次序，合理规划执行顺序不仅能够有效提升作业效率，还能避免在操作过程中与其他目标发生碰撞[131]。如图13（a）所示的猕猴桃收获任务中[30]，视觉系统对图像中的猕猴桃花萼进行语义分割后，对这些操作点进行筛选、标记、聚类和排序，并将任务有序地分配给四组机械臂进行采摘。在矮化密植种植模式下，苹果分布均匀且遮挡较少，有利于机器人开展多目标操作。多臂协作式苹果采摘机器人[99]采用基于马尔可夫博弈框架的多臂任务规划方法优化各臂的收获顺序，将任务规划时间缩短33.3%。番茄采摘机器人[132]采用了深度确定性策略梯度算法生成停车节点，在保证果实不被遗漏的前提下，将停车频率和机械臂闲置率最高分别降低了46.5%和42.9%。相比之下，除草机器人采用连续运动状态下的多目标操作策略[28,84,126,133]，无需考虑间歇作业的影响。如图13（b）所示，除草机器人[134]在前进过程中感知杂草位置，依据行驶速度设定保护区与操作区，末端执行器按序清除杂草，同时规避作物。

多目标操作避免了重复识别的过程，通过目标质心简化任务要求，决策系统在获取所有目标信息后一次性规划作业顺序与轨迹，显著提高了作业效率，适用于目标密集且障碍物较少的场景。

4.3 避障操作

对于自然形态丛生密集的植物群体，单目标或多目标操作，均因植株间的相互遮挡而面临视觉信息缺失的困扰，并可能引发接近目标过程中的碰撞风险。因此，如何借助手眼协同技术提升机器人的避障作业能力，是当前农业机器人领域的重要研究方向。

4.3.1 主动避障

利用传感器主动感知目标及其周围环境中的障碍，引导机械臂进行无障碍作业的过程被称为主动避障[135]。例如，为了克服枝叶繁茂对甜椒机器人采摘造成的困扰，甜椒采摘机器人采用了3D move to see（3DMTS）的多视角视觉伺服方法来实现主动避障[136]。当甜椒被障碍遮挡导致只能展现出局部特征时，3DMTS算法能够利用末端执行器上的视觉传感器引导机械臂对遮挡的甜椒进行实时搜索与分析，图14（a）展示了机械臂主动避障过程的运动轨迹。3DMTS是典型的主动避障策略，它利用视觉传感器主动探测环境，并根据所得信息动态调整机械臂的动作路径，将果实的可见范围从1.69%提升至30.19%。番石榴收获机器人[137‒138]首先采用递归神经网络来储存环境信息，随后采用深度确定性策略梯度算法同时对环境中的障碍和目标感知，并进行无碰撞路径规划。

为解决夹紧果实后末端执行器体积增大带来的碰撞问题，番茄收获机器人[139]采用空间分区算法，将采样空间最小化以避障。该方法通过在规划采摘路径之前优先规划返回路径，应对末端执行器体积扩大带来的挑战。此外，它还集成了位置姿态图和快速探索随机树算法，用于无阻碍路径规划。实验结果表明，与传统算法相比，该方法路径规划成功率接近100%，规划时间缩短70%以上。

针对苹果采摘机器人在采摘过程中与周围树枝发生碰撞的问题，苹果采摘机器人[113]利用RGB-D相机提取苹果及周边树枝的点云信息，初步计算采摘方向，并在构建障碍物空间模型后，采用改进的粒子群优化算法规划末端执行器的避障轨迹，从而驱动六自由度机械臂实现无碰撞采摘。Zhuang等[140]则采用人工势场模拟果实和障碍的物理场以引导机器人避障，并结合A*算法寻找最短路径。苹果采摘机器人利用立体视觉匹配技术对障碍物和果实进行三维重建，如图14（b）所示，随后采用深度强化学习算法在重建的模型中进行苹果采摘路径规划，在路径规划效率方面，DDPG算法的时间仅为RRT算法的0.27% [141]。

在上述案例中，机器人通过主动感知障碍与目标的分布情况，结合智能路径规划技术实现与环境的交互，实现主动避障，显著拓展了农业机器人在复杂场景下的应用潜力。然而，主动避障涉及环境感知、空间模型重建及无碰撞路径规划等多个环节，对决策系统的综合可靠性提出了严峻挑战。

4.3.2 被动避障

与主动避障策略相比，被动避障策略侧重于关注目标的可见区域，并基于该区域规划操作路径。例如，猕猴桃采摘机器人[30]采用预设的“U-move”轨迹执行采摘动作。当决策系统判断存在碰撞风险（如猕猴桃靠近树枝或电线）时，机械臂将被迫放弃该目标[142]，不会依据环境变化调整策略。这种基于预设规则的被动避障方式虽然只能采摘55.8%的猕猴桃，但能够保证机械臂在复杂环境中以平均2.78 s·个-1的效率安全、高效地作业[117]。类似地，除草机器人的执行器结构简单，自由度有限，通常不具备主动避障的条件。作物与杂草距离相接近的情况下，存在损伤作物的风险，因此只能放弃操作[134]。苹果采摘机器人[143]分割色相、饱和度和明度（HSV）色彩空间图像中的红色区域并认作为苹果，利用立体视觉技术对可见轮廓进行空间定位，随后定位信息被用于PBVS精准采摘。在整个过程中，机器人并没有过多考虑叶片、树枝等障碍，仅根据苹果的可见区域进行操作。

被动避障策略依据预设规则对目标可见区域进行作业，当检测到无法规避的障碍时，系统主动放弃当前目标。该策略虽可能降低任务完成率，但显著提升了操作安全性，并有效简化了轨迹规划的复杂度。此外，由于其不依赖复杂的环境感知与实时计算系统，大幅减轻了场景重建与路径规划的计算负担，从而在保障安全性的同时实现了系统效率的优化。

5 挑战与趋势

5.1 挑战

（1）农业复杂工况下难以保持稳定的手眼关系。离线标定作为目前最广泛的手眼标定技术，在农业机器人等领域得到了普遍采用，然而农业环境的复杂性与随机性给手眼标定结果的稳定性带来了重大挑战。振动、冲击或碰撞等因素会改变机器人手臂和相机之间的相对位姿，进而影响机器人操作的准确性和可靠性。此外，齿轮啮合精度变化、机械臂关节磨损以及结构微小形变等客观因素也会对标定精度产生影响，且随着使用时间的延长，此类误差逐渐累积，最终制约伺服控制精度。与此同时，未经专业培训或经验不足的农户在对设备进行维护或标定后，可能导致视觉伺服系统定位精度发生偏差甚至错误，进一步增加经济损失的风险。因此，如何在动态环境中保持精确且恒定的手眼关系，仍是农业机器人领域亟待解决的关键问题，亟需有效技术手段保障手眼协同的稳定性与准确性。

（2）以苹果树为例，传统种植模式下果树树冠呈近似球状，果实分布于树冠内外，这种原始的农艺结构严重制约了机械化收获的实现，机器人需同时应对果实离散分布与枝叶茂密遮挡的双重挑战。随着农艺条件的改进，衍生出了矮砧品种的果树和多种创新的栽培方式，包括“V”型、“Y”型、“壁”型和纺锤形，特别是纺锤形矮砧密植栽培模式，由于其显著的产量优势而被广泛采纳[144]。农艺条件的优化在一定程度上降低了机械化作业的难度，但实现无碰撞操作仍是机器人领域面临的核心技术挑战。在自然环境中，动植物形态的高度随机性与作业场景的复杂性对无碰撞操作提出了严苛要求。解决这一问题需突破两个关键环节：一是目标物体因遮挡导致的感知信息缺失问题；二是机械臂在复杂环境中的路径规划问题。系统不仅需要确保末端执行器能够精准到达目标位置，还必须实现机械臂各关节与周围环境之间的无碰撞运动，以避免对动植物造成损伤及由此产生的经济损失。

（3）将人类在农业作业中表现出的卓越柔顺性与操作精度迁移至农业机器人系统，具有重要的研究价值与应用前景，但同时也面临显著的技术挑战。例如，柔嫩浆果的采摘、挤奶等任务要求机器人具备高度的操作柔顺性，而弯曲、扭转、侧枝与花梗修剪等复杂动作则对精度与灵活性提出了更高要求。基于强化学习模拟外科专家操作[145]以及通过双臂机器人进行衣物整理任务[146]等典型案例，充分展示了机器人在操作精度与运动柔顺性方面的显著进展，为农业机器人技术的创新发展提供了有益启示，同时也揭示了当前存在的技术瓶颈。尤其在双臂或多臂机器人协同操作领域，如何提升系统的手眼协调能力成为关键性挑战。尽管上述应用已展现出良好的技术可行性，目前大多数农业机器人系统仍难以实现同类功能，相关研究尚处于初步探索阶段。

5.2 趋势展望

（1）由视觉到动作的端到端决策控制。相较于农业机器人，手术机器人和太空机器人对操作精度和安全性提出了更为严格的要求，这主要源于其应用场景直接关系到生命安全或高昂的经济成本。在医疗领域，手术机器人需在人体内狭小的解剖空间内完成精细操作，这对机器人的微型化设计和操作灵巧性提出了极高要求[147]。肠道检查机器人[148]通过构建深度学习模型，实现了将图像信号直接映射为电机转向控制信号的端到端决策机制，显著提高了检查效率并降低了组织损伤风险。这种基于深度学习的控制方式为农业机器人提供了重要借鉴，尤其在枝叶密集环境下作业时，可有效降低碰撞风险并提升操作安全性。在航天领域，机器人系统被广泛应用于捕获太空漂浮碎片。由于微重力环境下目标碎片与机器人均处于自由漂浮状态，传统的离线轨迹规划方法难以应对这种动态相对运动[149]。为解决这一技术难题，太空机器人[150]采用一种基于深度强化学习的端到端控制策略，该策略通过多层神经网络架构结合Soft Actor-Critic算法进行优化。具体而言，系统将实时获取的RGB图像直接映射为机械臂关节角速度，并精确调控各关节扭矩输出。这种控制方法不仅展现了优异的抗干扰性能和系统鲁棒性，还成功解决了目标与基座间的相对运动问题。该技术为移动状态下的农业机器人提供了重要的技术参考，特别是在除草、喷洒和授粉等需要连续作业的场景中具有显著的应用价值。

端到端控制策略[151]利用深度学习或强化学习模型直接将视觉信号映射为控制命令，为农业机器人操作提供了创新性解决方案。该策略通过摒弃传统控制流程中的手眼标定和路径规划等中间环节，有效解决了动态环境下手眼关系变化带来的技术难题。具体而言，系统通过设计合理的奖励函数和强化学习模型，在保证任务完成的同时优化机器人行为策略。在训练过程中，机器人通过持续的环境交互积累经验，并依据奖励反馈机制逐步探索最优控制策略。经过充分训练后，系统可实现无需手眼标定的自主操作，直接从视觉输入中生成机械臂运动轨迹，从而实现端到端手眼协同控制。

（2）农业生产模式与机器人相融合。农艺生产标准化是降低农业机器人系统复杂性的有效途径，通过标准化栽培管理可显著降低环境复杂度，从而提高机器人感知与操作的可靠性。以工厂化温室番茄生产为例，通过吊蔓、整枝、打叶等农艺措施，可使植株形态趋于一致，实现果实成熟期同步化和空间分布均匀化，从而大幅减少采摘机器人的感知耗时。纺锤形矮化苹果树的紧凑树冠结构不仅使机器人可在垄间完成采摘作业，无需环绕操作，同时减少了枝条和叶片的干扰，有效提升了操作精度并降低了碰撞风险。因此，通过冠层修剪、品种选育、标准化种植以及工厂化栽培等农艺改良措施，可显著降低农业环境的复杂性，减少目标遮挡和碰撞风险，从而提高机械化作业的效率与安全性。这种农业生产模式与机器人相融合的模式有望成为未来农业自动化发展的重要方向。

（3）人-机技能学习与迁移。双臂协同的人形机器人[152‒153]是复杂农艺操作精准高效的作业技能学习复现的有效载体。现有农业机器人普遍存在功能单一的问题，若农业机器人能够像人类一样实现采摘、除草、修剪、打叶等多样化功能，将显著拓展其应用范围并降低购置成本。手术机器人[145]通过离散强化学习技术模仿专家缝合动作，利用稀疏奖励机制生成期望运动轨迹，成功实现了多种伤口缝合操作。这种人类技能迁移方法对农业机器人具有重要借鉴意义，通过模仿经验丰富的农民操作，可提升农业机器人的作业精度和效率，同时降低碰撞风险。此外，离散强化学习使农业机器人能够适应多样化环境和任务需求，如实现多种水果（苹果、柑橘、桃子等）的通用采摘能力。双臂机器人[146]在衣物折叠任务中展现了卓越的柔顺性和灵活性，该技术可为农业机器人无损采摘和果实摆放提供参考，例如模仿人类动作实现葡萄的无损收集[154]。

6 结论

随着全球农业劳动力流失与成本上涨，农业机器人是支撑未来智慧农业高效生产的核心装备，特别是对于复杂农艺操作的机械化作业具有独特优势。手眼协同系统作为农业机器人的高效感知和精细操作的核心技术，已广泛应用于果实收获、除草、授粉和修剪等作业场景。与工业机器人所处的标准化生产环境不同，农业机器人手眼协同系统的设计需充分考虑复杂多变的农业场景与多样化的农艺需求，保证感知精度与操作稳定性，兼顾作业效率与生产成本等关键要素。尽管当前农业机器人手眼协同技术已取得显著进展，但在农业环境下主动感知、精准操作和自主决策等方面依然面临诸多挑战。依托具身智能与人形机器人技术支撑，对人工先验技能的模仿、端到端操作决策、多臂及多机器人协同作业等创新研究，将是未来农业机器人手眼协同技术突破的重要方向。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

Li A, Reimer JJ. The US market for agricultural labor: evidence from the national agricultural workers survey. Appl Econ Perspect Policy 2021;43(3):1125‒39. . 10.1002/aepp.13054
[2]

World Population Prospects 2024 : Summary Report. New York City: United Nations; 2024 [cited 15 Sep 2024]. Available from: 10.18356/9789211065138
[3]

Liao W, Zeng F, Chanieabate M. Mechanization of small-scale agriculture in China: lessons for enhancing smallholder access to agricultural machinery. Sustainability 2022;14(13):7964. . 10.3390/su14137964
[4]

Fang D, Chen J, Wang S, Chen B. Can agricultural mechanization enhance the climate resilience of food production? Evidence from China. Applied Energy 2024;373:123928. . 10.1016/j.apenergy.2024.123928
[5]

Verbiest R, Ruysen K, Vanwalleghem T, Demeester E, Kellens K. Automation and robotics in the cultivation of pome fruit: Where do we stand today? J Field Robot 2021;38(4):513‒31. . 10.1002/rob.22000
[6]

Assirelli A, Giovannini D, Cacchi M, Sirri S, Baruzzi G, Caracciolo G. Evaluation of a new machine for flower and fruit thinning in stone fruits. Sustainability 2018;10(11):4088. . 10.3390/su10114088
[7]

N’Cho SA, Mourits M, Rodenburg J, Lansink AO. Inefficiency of manual weeding in rainfed rice systems affected by parasitic weeds. Agric Econ 2019;50(2):151‒63. . 10.1111/agec.12473
[8]

Li Y, Huang KM; Guan Z. Mechanization and farm profit: model and application to specialty crops. In: Agricultural and Applied Economics Association (AAEA) Conferences; 2024 July 28‒30, New Orleans, LA, USA. AgEcon Search; 2024.
[9]

Shahbandeh M. Agricultural robots: global market unit volume 2020—2030 [Internet]. New York City: Statista; 2024 Nov 14 [cited 2024 Dec 15]. Available from: 10.2307/jj.27939766.24
[10]

De Preter A, Anthonis J, De Baerdemaeker J. Development of a robot for harvesting strawberries. IFAC-PapersOnLine 2018;51(17):14‒9. . 10.1016/j.ifacol.2018.08.054
[11]

Li G, Chesser GD, Huang Y, Zhao Y, Purswell JL. Development and optimization of a deep-learning-based egg-collecting robot. Trans ASABE 2021;64(5):1659‒69. . 10.13031/trans.14642
[12]

Ranasinghe HNB; Kawshan C; Himaruwan S; Kulasekera AL; Dassanayake P. Soft Pneumatic Grippers for Reducing Fruit Damage During Strawberry Harvesting. In: proceedings of the 2022 Moratuwa Engineering Research Conference (MERCon); 2022 Jul 27‒29; Moratuwa, Sri Lanka. Piscataway: IEEE; 2022. . 10.1109/mercon55799.2022.9906289
[13]

Arad B, Balendonck J, Barth R, Ben-Shahar O, Edan Y, Hellström T, et al. Development of a sweet pepper harvesting robot. J Field Robot 2020;37(6):1027‒39. . 10.1002/rob.21937
[14]

Li Y, Feng Q, Zhang Y, Peng C, Ma Y, Liu C, et al. Peduncle collision-free grasping based on deep reinforcement learning for tomato harvesting robot. Comput Electron Agric 2024;216:108488. . 10.1016/j.compag.2023.108488
[15]

Fujinaga T. Strawberries recognition and cutting point detection for fruit harvesting and truss pruning. Precis Agric 2024;25(3):1262‒83. . 10.1007/s11119-023-10110-z
[16]

roboveg.com [Internet]. Leicestershire: KMS Projects Limited; c2024 [cited 2024 Sep 23]. Available from:

[17]

agrobot.com [Internet]. c2024 [cited 2024 Sep 23]. Available from:

[18]

Sun T, Zhang W, Miao Z, Zhang Z, Li N. Object localization methodology in occluded agricultural environments through deep learning and active sensing. Comput Electron Agric 2023;212:108141. . 10.1016/j.compag.2023.108141
[19]

lely.com [Internet]. Maassluis: Lely; c2024 [cited 2024 Oct 20]. Available from:

[20]

Chen M, Chen Z, Luo L, Tang Y, Cheng J, Wei H, et al. Dynamic visual servo control methods for continuous operation of a fruit harvesting robot working throughout an orchard. Comput Electron Agric 2024;219:108774. . 10.1016/j.compag.2024.108774
[21]

Lee G, Yonrith P, Yeo D, Hong A. Enhancing detection performance for robotic harvesting systems through RandAugment. Eng Appl Artif Intell 2023;123:106445. . 10.1016/j.engappai.2023.106445
[22]

carbonrobotics.com [Internet]. Seattle: carbon robotics; c2025 [cited 2024 Sep 23]. Available from:

[23]

Wang Y, Ye Y, Wu H, Tao K, Qian M. In different weed distributions, the dynamic coverage algorithm for mechanical selective weeding robot. Comput Electron Agric 2024;226:109486. . 10.1016/j.compag.2024.109486
[24]

Nasir FE, Tufail M, Haris M, Iqbal J, Khan S, Khan MT. Precision agricultural robotic sprayer with real-time Tobacco recognition and spraying system based on deep learning. PLoS One 2023;18(3):e0283801. . 10.1371/journal.pone.0283801
[25]

arugga.com [Internet]. Australia: Arugga; c2021 [cited 2024 Sep 23]. Available from:

[26]

Chang C, Xie B, Wang C. Visual guidance and egg collection scheme for a smart poultry robot for free-range farms. Sensors 2020;20(22):6624. . 10.3390/s20226624
[27]

press.ecorobotix.com [Internet]. Yverdon-les-Bains: ecorobotix; c2021 [cited 2024 Sep 23]. Available from:

[28]

Quan L, Jiang W, Li H, Li H, Wang Q, Chen L. Intelligent intra-row robotic weeding system combining deep learning technology with a targeted weeding mode. Biosyst Eng 2022;216:13‒31. . 10.1016/j.biosystemseng.2022.01.019
[29]

metomotion.com [Internet]. Israel: GRoW; c2019 [cited 2024 Sep23]. Available from:

[30]

Williams HAM, Jones MH, Nejati M, Seabright MJ, Bell J, Penhall ND, et al. Robotic kiwifruit harvesting using machine vision, convolutional neural networks, and robotic arms. Biosyst Eng 2019;181:140‒56. . 10.1016/j.biosystemseng.2019.03.007
[31]

Gao C, He L, Fang W, Wu Z, Jiang H, Li R, et al. A novel pollination robot for kiwifruit flower based on preferential flowers selection and precisely target. Comput Electron Agric 2023;207:107762. . 10.1016/j.compag.2023.107762
[32]

Mary MF, Yogaraman D. Neural network based weeding robot for crop and weed discrimination. J Phys Conf Ser 2021;1979:012027. . 10.1088/1742-6596/1979/1/012027
[33]

Ulloa CC, Krus A, Barrientos A, del Cerro J, Valero C. Robotic fertilization in strip cropping using a CNN vegetables detection-characterization method. Comput Electron Agric 2022;193:106684. . 10.1016/j.compag.2022.106684
[34]

Liu T, Qiu J, Liu Y, Li J, Chen S, Lai J, et al. Research on an intelligent pineapple pre-harvest anti-lodging method based on deep learning and machine vision. Comput Electron Agric 2024;218:108706. . 10.1016/j.compag.2024.108706
[35]

Li Y, Wu S, He L, Tong J, Zhao R, Jia J, et al. Development and field evaluation of a robotic harvesting system for plucking high-quality tea. Comput Electron Agric 2023;206:107659. . 10.1016/j.compag.2023.107659
[36]

Hu G, Chen C, Chen J, Sun L, Sugirbay A, Chen Y, et al. Simplified 4-DOF manipulator for rapid robotic apple harvesting. Comput Electron Agric 2022;199:107177. . 10.1016/j.compag.2022.107177
[37]

Jin Y, Yu C, Yin J, Yang SX. Detection method for table grape ears and stems based on a far-close-range combined vision system and hand-eye-coordinated picking test. Comput Electron Agric 2022;202:107364. . 10.1016/j.compag.2022.107364
[38]

Mehta SS, MacKunis W, Burks TF. Robust visual servo control in the presence of fruit motion for robotic citrus harvesting. Comput Electron Agric 2016;123:362‒75. . 10.1016/j.compag.2016.03.007
[39]

Park Y, Seol J, Pak J, Jo Y, Kim C, Son HI. Human-centered approach for an efficient cucumber harvesting robot system: harvest ordering, visual servoing, and end-effector. Comput Electron Agric 2023;212:108116. . 10.1016/j.compag.2023.108116
[40]

Shi Y, Zhang W, Li Z, Wang Y, Liu L, Cui Y. A “global‒local” visual servo system for picking manipulators. Sensors 2020;20(12):3366. . 10.3390/s20123366
[41]

Bai Q, Li P, Tian W, Shen J, Li B, Hu J. Vision guided dynamic synchronous path tracking control of dual manipulator cooperative system. J Manuf Sci Eng 2023;145(12):121003. . 10.1115/1.4062546
[42]

Jiang Y, Liu J, Wang J, Li W, Peng Y, Shan H. Development of a dual-arm rapid grape-harvesting robot for horizontal trellis cultivation. Front Plant Sci 2022;13:881904. . 10.3389/fpls.2022.881904
[43]

Sepulveda D, Fernandez R, Navas E, Armada M, Gonzalez-De-Santos P. Robotic aubergine harvesting using dual-arm manipulation. IEEE Access 2020;8:121889‒904. . 10.1109/access.2020.3006919
[44]

Lenz C, Menon R, Schreiber M, Jacob MP, Behnke S, Bennewitz M. HortiBot: an adaptive multi-arm system for robotic horticulture of sweet peppers. 2024. arXiv:10.1109/iros58592.2024.10802082
[45]

He Z, Ma L, Wang Y, Wei Y, Ding X, Li K, et al. Double-arm cooperation and implementing for harvesting kiwifruit. Agriculture 2022;12(11):1763. . 10.3390/agriculture12111763
[46]

Pu Q, Xu X, Zhang H, Li Q, Rodić A, Petrovich PB, et al. The algorithm of multiple obstacle avoidance tasks for dual-arm robots. IEEE Access 2023;11:79190‒202. . 10.1109/access.2023.3288331
[47]

Au CK, Lim SH, Duke M, Kuang YC, Redstall M, Ting C. Integration of stereo vision system calibration and kinematic calibration for an autonomous kiwifruit harvesting system. Int J Intell Robot Appl 2023;7(2):350‒69. . 10.1007/s41315-022-00263-x
[48]

Song C, Wang K, Wang C, Tian Y, Wei X, Li C, et al. TDPPL-Net: a lightweight real-time tomato detection and picking point localization model for harvesting robots. IEEE Access 2023;11:37650‒64. . 10.1109/access.2023.3260222
[49]

Wang Q, Wu D, Sun Z, Zhou M, Cui D, Xie L, et al. Design, integration, and evaluation of a robotic peach packaging system based on deep learning. Comput Electron Agric 2023;211:108013. . 10.1016/j.compag.2023.108013
[50]

Tsai RY, Lenz RK. A new technique for fully autonomous and efficient 3D robotics hand/eye calibration. IEEE Trans Robot Autom 1989;5(3):345‒58. . 10.1109/70.34770
[51]

Park FC, Martin BJ. Robot sensor calibration: solving AX=XB on the Euclidean group. IEEE Trans Robot Autom 1994;10(5):717‒21. . 10.1109/70.326576
[52]

Dornaika F, Horaud R. Simultaneous robot-world and hand‒eye calibration. IEEE Trans Robot Autom 1998;14(4):617‒22. . 10.1109/70.704233
[53]

Sato J. Hand‒eye calibration using a tablet computer. Math Comput Appl 2023;28(1):22. . 10.3390/mca28010022
[54]

Hua J, Zeng L. Hand‒eye calibration algorithm based on an optimized neural network. Actuators 2021;10(4):85. . 10.3390/act10040085
[55]

Chen C, Lu J, Zhou M, Yi J, Liao M, Gao Z. A YOLOv3-based computer vision system for identification of tea buds and the picking point. Comput Electron Agric 2022;198:107116. . 10.1016/j.compag.2022.107116
[56]

Li J, Tang Y, Zou X, Lin G, Wang H. Detection of fruit-bearing branches and localization of litchi clusters for vision-based harvesting robots. IEEE Access 2020;8:117746‒58. . 10.1109/access.2020.3005386
[57]

Zhang X, Yao M, Cheng Q, Liang G, Fan F. A novel hand‒eye calibration method of picking robot based on TOF camera. Front Plant Sci 2022;13:1099033. . 10.3389/fpls.2022.1099033
[58]

Peng Y, Liu J, Xie B, et al. Research progress of urban dual-arm humanoid grape harvesting robot. In: Proceedings of the 2021 IEEE 11th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems (CYBER); 2021 Jul 27‒31 July 2021; Jiaxing, China. Piscataway: IEEE; 2021. . 10.1109/cyber53097.2021.9588266
[59]

Warren M, Mckinnon D, Upcroft B. Online calibration of stereo rigs for long-term autonomy. In: 2013 IEEE International Conference on Robotics and Automation; 2013 May 6‒10; Karlsruhe, Germany. Piscataway: IEEE; 2013. . 10.1109/icra.2013.6631096
[60]

Zhang Z, Zhang L, Yang G. A computationally efficient method for hand‒eye calibration. Int J CARS 2017;12(10):1775‒87. . 10.1007/s11548-017-1646-x
[61]

Du G, Zhang P. Online robot calibration based on vision measurement. Robot Comput-Integr Manuf 2013;29(6):484‒92. . 10.1016/j.rcim.2013.05.003
[62]

Li W, Dong M, Lu N, Lou X, Sun P. Simultaneous robot‒world and hand‒eye calibration without a calibration object. Sensors 2018;18(11):3949. . 10.3390/s18113949
[63]

Lin W, Liang P, Luo G, Zhao Z, Zhang C. Research of online hand‒eye calibration method based on ChArUco board. Sensors 2022;22(10):3805. . 10.3390/s22103805
[64]

Zhang X, Xi Y, Huang Z, Zheng L, Huang H, Xiong Y, et al. Active hand‒eye calibration via online accuracy-driven next-best-view selection. Vis Comput 2023;39:381‒91. . 10.1007/s00371-021-02336-7
[65]

Zhang X, Song Y, Yang Y, Pan H. Stereo vision based autonomous robot calibration. Robot Auton Syst 2017;93:43‒51. . 10.1016/j.robot.2017.04.001
[66]

Mikhelson IV, Lee PG, Sahakian AV, Wu Y, Katsaggelos AK. Automatic, fast, online calibration between depth and color cameras. J Vis Commun Image Represent 2014;25(1):218‒26. . 10.1016/j.jvcir.2013.03.010
[67]

Han T, Zhu H, Yu D. Data-driven model predictive control for uncalibrated visual servoing. Symmetry 2024;16(1):48. . 10.3390/sym16010048
[68]

Shademan A, Farahmand AM. Jägersand M. Robust Jacobian estimation for uncalibrated visual servoing. In: 2010 IEEE International Conference on Robotics and Automation; 2010 May 3‒7; Anchorage, AK, USA. Piscataway: IEEE; 2010. . 10.1109/robot.2010.5509911
[69]

Lai G, Liu A, Yang W, Chen Y, Zhao L. Uncalibrated adaptive visual servoing of robotic manipulators with uncertainties in kinematics and dynamics. Actuators 2023;12(4):143. . 10.3390/act12040143
[70]

Lei X, Fu Z, Spyrakos-Papastavridis E, Pan J, Li M, Chen X. IHUVS: infinite homography-based uncalibrated methodology for robotic visual servoing. IEEE Trans Ind Electron 2024;71(4):3822‒31. . 10.1109/tie.2023.3279519
[71]

Luo J, Zhu L, Li L, Hong P. Robot visual servoing grasping based on top-down keypoint detection network. IEEE Trans Instrum Meas 2024;73:5000511. . 10.1109/tim.2023.3335521
[72]

Liu Z, Wang K, Liu D, Wang Q, Tan J. A motion planning method for visual servoing using deep reinforcement learning in autonomous robotic assembly. IEEE/ASME Trans Mechatron 2023;28(6):3513‒24. . 10.1109/tmech.2023.3275854
[73]

Chang CL, Xie BX, Chung SC. Mechanical control with a deep learning method for precise weeding on a farm. Agriculture-Basel 2021;11(11):1049. . 10.3390/agriculture11111049
[74]

De-an Z, Jidong L, Wei J, Ying Z, Yu C. Design and control of an apple harvesting robot. Biosyst Eng 2011;110(2):112‒22. . 10.1016/j.biosystemseng.2011.07.005
[75]

Xiong Y, From PJ. Isler V. Design and evaluation of a novel cable-driven gripper with perception capabilities for strawberry picking robots. In: 2018 IEEE International Conference on Robotics and Automation (ICRA); 2018 May 21‒25; Brisbane, QLD, Australia. Piscataway: IEEE; 2018. . 10.1109/icra.2018.8460705
[76]

Dischinger LM . Cravetz M, Dawes J, Votzke C, VanAtter C, Johnston ML. Towards intelligent fruit picking with in-hand sensing. In: 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS); 2021 Sep 27‒Oct 1; Prague, Czech Republic. Piscataway: IEEE; 2021. . 10.1109/iros51168.2021.9636341
[77]

Ahlin K, Joffe B, Hu AP, McMurray G, Sadegh N. Autonomous leaf picking using deep learning and visual-servoing. IFAC-PapersOnLine 2016;49(16):177‒83. . 10.1016/j.ifacol.2016.10.033
[78]

Wang L, Chu Y. Huang Y, Liang F. Enhancement on target-gripper alignment: a tomato harvesting robot with dual-camera image-based visual servoing; In: 2024 IEEE International Conference on Robotics and Automation (ICRA); 2024 May 13‒17; Yokohama, Japan. Piscataway: IEEE; 2024. . 10.1109/icra57147.2024.10610772
[79]

Machleb J, Peteinatos GG, Sökefeld M, Gerhards R. Sensor-based intrarow mechanical weed control in sugar beets with motorized finger weeders. Agronomy 2021;11(8):1517. . 10.3390/agronomy11081517
[80]

Ji Y, Kumar R, Singh D, Singh M. Performance analysis of target information recognition system for agricultural robots. Int J Agric Environ Inf Syst 2021;12(2):49‒60. . 10.4018/ijaeis.20210401.oa4
[81]

Valero C, Krus A, Cruz Ulloa C, Barrientos A, Ramírez-Montoro JJ, del Cerro J, et al. Single plant fertilization using a robotic platform in an organic cropping environment. Agronomy 2022;12(6):1339. . 10.3390/agronomy12061339
[82]

Li K, Zhai L, Pan H, Shi Y, Ding X, Cui Y. Identification of the operating position and orientation of a robotic kiwifruit pollinator. Biosyst Eng 2022;222:29‒44. . 10.1016/j.biosystemseng.2022.07.014
[83]

Li K, Huo YJ, Liu YA, Shi Y, He Z, Cui Y. Design of a lightweight robotic arm for kiwifruit pollination. Comput Electron Agric 2022;198:107114. . 10.1016/j.compag.2022.107114
[84]

Zhu H, Zhang Y, Mu D, Bai L, Zhuang H, Li H. YOLOX-based blue laser weeding robot in corn field. Front Plant Sci 2022;13:1017803. . 10.3389/fpls.2022.1017803
[85]

You A, Sukkar F, Fitch R, Karkee M, Davidson JR. An efficient planning and control framework for pruning fruit trees. In: Proceedings of the 2020 IEEE International Conference on Robotics and Automation (ICRA); 2020 May 31‒Aug 31; Paris, France. Piscataway: IEEE; 2020. . 10.1109/icra40945.2020.9197551
[86]

Gharakhani H, Alex Thomasson J, Lu Y. Integration and preliminary evaluation of a robotic cotton harvester prototype. Comput Electron Agric 2023;211:107943. . 10.1016/j.compag.2023.107943
[87]

Albeladi A, Ripperger E, Hutchinson S, Krishnan G. Hybrid eye-in-hand/eye-to-hand image based visual servoing for soft continuum arms. IEEE Robot Autom Lett 2022;7(4):11298‒305. . 10.1109/lra.2022.3194690
[88]

Li YR, Lien WY, Huang ZH, Chen CT. Hybrid visual servo control of a robotic manipulator for cherry tomato harvesting. Actuators 2023;12(6):253. . 10.3390/act12060253
[89]

Li T, Yu J, Qiu Q, Zhao C. Hybrid uncalibrated visual servoing control of harvesting robots with RGB-D cameras. IEEE Trans Ind Electron 2023;70(3):2729‒38. . 10.1109/tie.2022.3172778
[90]

Yang Z, Zhang Y, Yu J, Cai J, Luo J. End-to-end multi-modal multi-task vehicle control for self-driving cars with visual perceptions. In: 2018 24th International Conference on Pattern Recognition (ICPR); 2018 Aug 20‒24; Beijing, China. Piscataway: IEEE; 2018. . 10.1109/ICPR.2018.8546189
[91]

Li D, Li B, Kang S, Feng H, Long S, Wang J. E2CropDet: an efficient end-to-end solution to crop row detection. Expert Syst Appl 2023;227:120345. . 10.1016/j.eswa.2023.120345
[92]

Huang P, Zhu L, Zhang Z, Yang C. An end-to-end learning-based row-following system for an agricultural robot in structured apple orchards. Math Probl Eng 2021;2021(1):6221119. . 10.1155/2021/6221119
[93]

Pal A, Leite AC, From PJ. A novel end-to-end vision-based architecture for agricultural human‒robot collaboration in fruit picking operations. Robot Auton Syst 2024;172:104567. . 10.1016/j.robot.2023.104567
[94]

Tsai CY, Huang CC, Chou YS. Data-driven visual picking control of a 6-DoF manipulator using end-to-end imitation learning. In: Proceedings of the 2018 International Automatic Control Conference (CACS); 2018 Nov 4‒7; Taoyuan, China. Piscataway: IEEE; 2018. . 10.1109/cacs.2018.8606754
[95]

Yu H, Chen A, Xu K, Zhou Z, Jing W, Wang Y, et al. A hyper-network based end-to-end visual servoing with arbitrary desired poses. IEEE Robot Autom Lett 2023;8(8):4769‒76. . 10.1109/lra.2023.3288382
[96]

Duan Z, Liu W, Zeng S, Zhu C, Chen L, Cui W. Research on a real-time, high-precision end-to-end sorting system for fresh-cut flowers. Agriculture 2024;14(9):1532. . 10.3390/agriculture14091532
[97]

Zhao R, Zhu Y, Li Y. An end-to-end lightweight model for grape and picking point simultaneous detection. Biosyst Eng 2022;223:174‒88. . 10.1016/j.biosystemseng.2022.08.013
[98]

Khan K, Khan RU, Albattah W, Qamar AM. End-to-end semantic leaf segmentation framework for plants disease classification. Complexity 2022;2022(1):1168700. . 10.1155/2022/1168700
[99]

Li T, Xie F, Zhao Z, Zhao H, Guo X, Feng Q. A multi-arm robot system for efficient apple harvesting: perception, task plan and control. Comput Electron Agric 2023;211:107979. . 10.1016/j.compag.2023.107979
[100]

Botterill T, Paulin S, Green R, Williams S, Lin J, Saxton V, et al. A robot system for pruning grape vines. J Field Robot 2017;34(6):1100‒22. . 10.1002/rob.21680
[101]

Oberti R, Marchi M, Tirelli P, Calcante A, Iriti M, Tona E, et al. Selective spraying of grapevines for disease control using a modular agricultural robot. Biosyst Eng 2016;146:203‒15. . 10.1016/j.biosystemseng.2015.12.004
[102]

Bulanon DM, Burr C, DeVlieg M, Braddock T, Allen B. Development of a visual servo system for robotic fruit harvesting. Agriengineering 2021;3(4):840‒52. . 10.3390/agriengineering3040053
[103]

Parsa S, Debnath B, Khan MA, Ghalamzan EA. Modular autonomous strawberry picking robotic system. J Field Robot 2023;41(7):2226‒46. . 10.1002/rob.22229
[104]

Bo B, Zhang S, Liu W, Liu L, Shi Y. Simulation of workspace and trajectory of a weeding mechanism. Alex Eng J 2022;61(2):1133‒43. . 10.1016/j.aej.2021.06.100
[105]

farmwise.io [Internet]. Salinas: FarmWise; c2024 [cited 2024 Sep 24]. Available from:

[106]

Li S, Hendrich N, Liang H, Ruppel P, Zhang C, Zhang J. A dexterous hand‒arm teleoperation system based on hand pose estimation and active vision. IEEE Trans Cybern 2022;54(3):1417‒28.
[107]

Bac CW, Hemming J, van Tuijl BAJ, Barth R, Wais E, van Henten EJ. Performance evaluation of a harvesting robot for sweet pepper. J Field Robot 2017;34(6):1123‒39. . 10.1002/rob.21709
[108]

Barth R, Hemming J, Van Henten EJ. Angle estimation between plant parts for grasp optimisation in harvest robots. Biosyst Eng 2019;183:26‒46. . 10.1016/j.biosystemseng.2019.04.006
[109]

Zhang K, Lammers K, Chu P, Dickinson N, Li Z, Lu R. Algorithm design and integration for a robotic apple harvesting system. In: Proceedings of the 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS); 2022 Oct 23‒27; Kyoto, Japan. Piscataway: IEEE; 2022. . 10.1109/iros47612.2022.9981417
[110]

Dogtooth. Strawberry harvesting robots [Internet]. Melbourn: Dogtooth; [cited 2024 Sep 25]. Available from: 10.1093/gao/9781884446054.article.t023090
[111]

Mehta SS, Burks TF. Vision-based control of robotic manipulator for citrus harvesting. Comput Electron Agric 2014;102:146‒58. . 10.1016/j.compag.2014.01.003
[112]

Magalhães SA, Moreira AP, Santos FN, Dias J. Active perception fruit harvesting robots—a systematic review. J Intell Robot Syst 2022;105:14. . 10.1007/s10846-022-01595-3
[113]

Gao R, Zhou Q, Cao S, Jiang Q. Apple-picking robot picking path planning algorithm based on improved PSO. Electronics 2023;12(8):1832. . 10.3390/electronics12081832
[114]

Zhang K, Lammers K, Chu P, Li Z, Lu R. An automated apple harvesting robot-From system design to field evaluation. J Field Robot 2023;41(7):2384‒400. . 10.1002/rob.22268
[115]

Ma L, He Z, Zhu Y, Jia L, Wang Y, Ding X, et al. A method of grasping detection for kiwifruit harvesting robot based on deep learning. Agronomy 2022;12(12):3096. . 10.3390/agronomy12123096
[116]

Fu M, Guo S, Chen A, et al. Design and experimentation of multi-fruit envelope-cutting kiwifruit picking robot. Frontiers in Plant Science 2024;15. . 10.3389/fpls.2024.1338050
[117]

Williams H, Ting C, Nejati M, Jones MH, Penhall N, Lim JY, et al. Improvements to and large-scale evaluation of a robotic kiwifruit harvester. J Field Robot 2020;37(2):187‒201. . 10.1002/rob.21890
[118]

Ren G, Wu T, Lin T, Yang L, Chowdhary G, Ting KC, et al. Mobile robotics platform for strawberry sensing and harvesting within precision indoor farming systems. J Field Robot 2023;41(7):2047‒65. . 10.1002/rob.22207
[119]

Xiong Y, Peng C, Grimstad L, From PJ, Isler V. Development and field evaluation of a strawberry harvesting robot with a cable-driven gripper. Comput Electron Agric 2019;157:392‒402. . 10.1016/j.compag.2019.01.009
[120]

Tituaña L, Gholami A, He Z, Xu Y, Karkee M, Ehsani R. A small autonomous field robot for strawberry harvesting. Smart Agric Technol 2024;8:100454. . 10.1016/j.atech.2024.100454
[121]

Shi Y, Jin S, Zhao Y, Huo Y, Liu L, Cui Y. Lightweight force-sensing tomato picking robotic arm with a “global‒local” visual servo. Comput Electron Agric 2023;204:107549. . 10.1016/j.compag.2022.107549
[122]

Feng Q, Zou W, Fan P, Zhang C, Wang X. Design and test of robotic harvesting system for cherry tomato. Int J Agric Biol Eng 2018;11(1):96‒100. . 10.25165/j.ijabe.20181101.2853
[123]

Rong J, Wang P, Wang T, Hu L, Yuan T. Fruit pose recognition and directional orderly grasping strategies for tomato harvesting robots. Comput Electron Agric 2022;202:107430. . 10.1016/j.compag.2022.107430
[124]

Miao Z, Yu X, Li N, Zhang Z, He C, Li Z, et al. Efficient tomato harvesting robot based on image processing and deep learning. Precis Agric 2023;24(1):254‒87. . 10.1007/s11119-022-09944-w
[125]

Williams H, Nejati M, Hussein S, Penhall N, Lim JY, Jones MH, et al. Autonomous pollination of individual kiwifruit flowers: toward a robotic kiwifruit pollinator. J Field Robot 2020;37(2):246‒62. . 10.1002/rob.21861
[126]

Chang CL, Chen HW, Ke JY. Robust guidance and selective spraying based on deep learning for an advanced four-wheeled farming robot. Agriculture 2024;14(1):57. . 10.3390/agriculture14010057
[127]

Silwal A, Yandun F, Nellithimaru A, Bates T, Kantor G. Bumblebee: a path towards fully autonomous robotic vine pruning. 2021. arXiv:10.55417/fr.2022051
[128]

Lu Z, Zhao M, Luo J, Wang G, Wang D. Automatic teat detection for rotary milking system based on deep learning algorithms. Comput Electron Agric 2021;189:106391. . 10.1016/j.compag.2021.106391
[129]

Gao J, Zhang F, Zhang J, Yuan T, Yin J, Guo H, et al. Development and evaluation of a pneumatic finger-like end-effector for cherry tomato harvesting robot in greenhouse. Comput Electron Agric 2022;197:106879. . 10.1016/j.compag.2022.106879
[130]

Ma Y, Feng Q, Sun Y, Guo X, Zhang W, Wang B, et al. Optimized design of robotic arm for tomato branch pruning in greenhouses. Agriculture 2024;14(3):359. . 10.3390/agriculture14030359
[131]

Kurtser P, Edan Y. Planning the sequence of tasks for harvesting robots. Robot Auton Syst 2020;131:103591. . 10.1016/j.robot.2020.103591
[132]

Li Y, Feng Q, Zhang Y, Peng C, Zhao C. Intermittent stop-move motion planning for dual-arm tomato harvesting robot in greenhouse based on deep reinforcement learning. Biomimetics 2024;9(2):105. . 10.3390/biomimetics9020105
[133]

Robot de désherbage mécanique ANATIS. Saint Martin des Noyers: CARRE; 2024 [cited 25 Sep 2024]. Available from:

[134]

Jiang W, Quan L, Wei G, Chang C, Geng T. A conceptual evaluation of a weed control method with post-damage application of herbicides: a composite intelligent intra-row weeding robot. Soil Tillage Res 2023;234: 105837. . 10.1016/j.still.2023.105837
[135]

Au W, Zhou H, Liu T, Kok E, Wang X, Wang M, et al. The Monash apple retrieving system: a review on system intelligence and apple harvesting performance. Comput Electron Agric 2023;213:108164. . 10.1016/j.compag.2023.108164
[136]

Paul ZA, Chris L. Towards active robotic vision in agriculture: a deep learning approach to visual servoing in occluded and unstructured protected cropping environments. IFAC-PapersOnLine 2019;52(30):120‒5. . 10.1016/j.ifacol.2019.12.508
[137]

Lin G, Zhu L, Li J, Zou X, Tang Y. Collision-free path planning for a guava-harvesting robot based on recurrent deep reinforcement learning. Comput Electron Agric 2021;188:106350. . 10.1016/j.compag.2021.106350
[138]

Lin G, Tang Y, Zou X, Wang C. Three-dimensional reconstruction of guava fruits and branches using instance segmentation and geometry analysis. Comput Electron Agric 2021;184:106107. . 10.1016/j.compag.2021.106107
[139]

Zhang Q, Liu F, Li B. A heuristic tomato-bunch harvest manipulator path planning method based on a 3D-CNN-based position posture map and rapidly-exploring random tree. Comput Electron Agric 2023;213:108183. . 10.1016/j.compag.2023.108183
[140]

Zhuang M, Li G, Ding K. Obstacle avoidance path planning for apple picking robotic arm incorporating artificial potential field and A* algorithm. IEEE Access 2023;11:100070‒82. . 10.1109/access.2023.3312763
[141]

Li Z, Xiong Z, Tian K, Gao T, Cai K. Deep reinforcement learning for robotic arm path planning in multi-obstacle environments. In: Proceedings of the 2024 9th Asia-Pacific Conference on Intelligent Robot Systems (ACIRS); 2024 Jul 18‒20; Dalian, China. Piscataway: IEEE; 2024. . 10.1109/acirs62330.2024.10684932
[142]

Suo R, Gao F, Zhou Z, Fu L, Song Z, Dhupia J, et al. Improved multi-classes kiwifruit detection in orchard to avoid collisions during robotic picking. Comput Electron Agric 2021;182:106052. . 10.1016/j.compag.2021.106052
[143]

Yu X, Fan Z, Wang X, Wan H, Wang P, Zeng X, et al. A lab-customized autonomous humanoid apple harvesting robot. Comput Electr Eng 2021;96:107459. . 10.1016/j.compeleceng.2021.107459
[144]

Yan B, Quan J, Yan W. Three-dimensional obstacle avoidance harvesting path planning method for apple-harvesting robot based on improved ant colony algorithm. Agriculture 2024;14(8):1336. . 10.3390/agriculture14081336
[145]

Varier VM, Rajamani DK, Goldfarb N, Tavakkolmoghaddam F, Munawar A. Collaborative suturing: a reinforcement learning approach to automate hand-off task in suturing for surgical robots. In: 2020 29th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN); 2020 Aug 31‒Sep 4; Naples, Italy. Piscataway: IEEE; 2020. . 10.1109/ro-man47096.2020.9223543
[146]

Tsurumine Y, Cui Y, Uchibe E, Matsubara T. Deep reinforcement learning with smooth policy update: application to robotic cloth manipulation. Robot Auton Syst 2019;112:72‒83. . 10.1016/j.robot.2018.11.004
[147]

Razjigaev A, Pandey AK, Howard D, Roberts J, Wu L. End-to-end design of bespoke, dexterous snake-like surgical robots: a case study with the RAVEN II. IEEE Trans Robot 2022;38(5):2827‒40. . 10.1109/tro.2022.3164841
[148]

Nguyen VS, Hwang B, Kim B, Jung JH. An end-to-end learning-based control signal prediction for autonomous robotic colonoscopy. IEEE Access 2024;12:1280‒90. . 10.1109/access.2023.3340677
[149]

Wu Y, Yu Z, Li C, He M, Hua B, Chen Z. Reinforcement learning in dual-arm trajectory planning for a free-floating space robot. Aerosp Sci Technol 2020;98:105657. . 10.1016/j.ast.2019.105657
[150]

Wang S, Cao Y, Zheng X, Zhao T. An end-to-end trajectory planning strategy for free-floating space robots. In: 2021 40th Chinese Control Conference (CCC); 2021 Jul 26‒28; Shanghai, China. Piscataway: IEEE; 2021. . 10.23919/ccc52363.2021.9550509
[151]

Li S, Nguyen HT, Cheah CC. A theoretical framework for end-to-end learning of deep neural networks with applications to robotics. IEEE Access 2023;11:21992‒2006. . 10.1109/access.2023.3249280
[152]

Papadopoulos G, Andronas D, Kaliakatsos-Georgopoulos D, Kampourakis E, Kavvathas K, Theodoropoulos N, et al. Reconfigurable manufacturing systems through intelligent workpiece handling and artificial intelligence. Procedia CIRP 2024;128:793‒8. . 10.1016/j.procir.2024.07.064
[153]

Chen J, Li J, Huang Y, Garrett C, Sun D, Fan C, et al. Cooperative task and motion planning for multi-arm assembly systems. 2022. arXiv.2203.02475. . 10.48550/arXiv.2203.02475
[154]

Sun J, Feng Q, Zhang Y, Ru M, Li Y, Li T, et al. Fruit flexible collecting trajectory planning based on manual skill imitation for grape harvesting robot. Comput Electron Agric 2024;225:109332. . 10.1016/j.compag.2024.109332

AI Summary AI Mindmap
PDF (22329KB)

27364

访问

0

被引

详细
导航
相关文章

AI思维导图

/

〈 〉