机器人学习--国外科研机构机器人应用案例汇总

转自：国外科研机构机器人应用案例汇总，涵盖农牧业

黄瓜收割机以促进温室大棚经济

，时长02:08

位于加拿大林肯的Vineland 研究与创新中心(Vineland) 正是致力于提高商业温室生产力的组织之一，他们的主要目标是提高加拿大园艺的经济可行性、可持续性和竞争力，他们希望通过各种解决方案（包括机器人技术）来实现这一目标。在现场机器人研究科学家布赖恩·林奇 (Brian Lynch) 的带领下，Vineland 正在使用Husky UGV开发一种用于商业温室操作的自主机器人黄瓜收获系统。这样一个雄心勃勃的项目对于降低劳动力成本以及对日益减少的劳动力的依赖至关重要。换句话说，这款黄瓜收割机可以帮助农业满足需求。

打造“黄瓜智能收割”机器人

然而，机器人平台和给定作物之间的交互可能非常复杂。例如，在这个黄瓜应用中，Husky UGV 必须检测水果、表征其成熟度并确定其在设施内的空间位置。然后，它必须在机器人机械臂的帮助下安全有效地到达水果，以使用其定制的末端执行器收获水果。所有这些都必须集成到能够穿越温室基础设施的移动机器人平台上。那么，Vineland 是如何应对这些挑战的呢？

他们提出的解决方案首先使用Husky UGV 作为其机器人黄瓜收获解决方案的移动平台，最终使他们能够手动和作为自动收获控制系统的一部分轻松地在温室环境中移动。虽然 Vineland 团队目前没有使用 Husky UGV 进行全自动驾驶，但主控制循环使用视觉来检测和收获水果，并保持对 Husky UGV 运动的控制。该系统还依赖于基于其内置车轮里程计传感能力的机器人位置的粗略定位。

，时长03:15

为完成机器人的流程，他们的系统使用英特尔实感 D435 摄像头作为主视觉系统，并使用安装在前保险杠上的英特尔实感 T265 提供视觉里程计，以与车轮里程计融合。该设置还包括用于记录实验的额外摄像机，包括 Vuze+ 3D 360 摄像机。然后Kinova gen3机械臂被集成用于进行机器人的任务，以及定制的端部执行器。笔记本电脑和安装在顶板上的无线路由器支持计算和网络。最后，所有这些组件都由Husky UGV 的电源供电。

Husky UGV 易于通过 ROS 与其他子系统集成，从而实现了非常快速的系统集成过程。轻松访问机器人的电源也很重要，因为它允许团队为他们的所有机器人、视觉、计算和网络功能提供电源。最终，Vineland 选择了Husky UGV，因为它可以通过 ROS 和顶板上的有效载荷轻松集成软件，并具有可访问的电源连接。

正如预期的那样，该团队能够立即连接并控制 Husky UGV，并且他们的团队快速执行了系统集成过程。“通过 ROS 轻松集成到我们的软件架构中是迄今为止最重要的方面，”研究科学家 Brian Lynch 说。“此外，使用Husky的性能规格意味着我们不必担心速度、扭矩、有效载荷能力、可穿越性等。此外，机械和电气集成的简易性是一个重要方面。一些次要但也很重要的方面是更换电池的简单性、安装和拆卸顶板、可靠的内置车轮里程计以及通过许多其他示例用例提供的支持。”

将其推向市场

与 Husky UGV 一起，Vineland 能够利用成熟且可靠的机器人平台，并根据项目需求最有效地定制系统。迄今为止，他们在整体收获解决方案中取得了出色的表现，在每个水果 14 秒的情况下达到接近 90% 的成功率。迄今为止，开发和测试已在 Vineland 的实验温室设施中进行，在该设施中，在铺有混凝土地板的隔间中种植一排排黄瓜，这样可以轻松使用 Husky UGV。

Vineland 对他们的 Husky UGV 黄瓜收割机项目的未来感到兴奋。他们希望在商业设施中展示该系统，并与合作伙伴合作以许可和商业化该解决方案，以便将其进一步开发为产品并可供种植者使用。此外，他们还希望开发定制版的 Husky UGV，该版本可以在轨道上行驶，并在今年出版将展示他们对机器人使用的出版物。

多机协作苹果采摘机器人系统

在不断发展的农业中，最大的问题之一是可持续性。随着人口逐年增长，许多人认为室内农业的受控环境（例如温室）是提供更健康、更多样化的全年作物的节能解决方案。为了跟上步伐，机器人研究人员一直在考虑在此类空间中应用自主平台，以提高生产力并让人类专注于其他关键任务。

辅助采摘机器人

mir Degani 是 Technion Institute of Technology 的助理教授，Avi Kahnani 是以色列机器人初创公司Fresh Fruits Robotics (FFR)的首席执行官兼联合创始人。他们一起展示了一个苹果收获机器人，该机器人将自主导航苹果园并准确地从树上采摘水果。

由于成本在农业中非常重要，他们正在努力降低价格并找到执行特定任务的最佳机器人。尽管苹果采摘、橙子采摘或桃子采摘等这些看起来非常相似，但是如果你了解机器人运动学，实际上是非常不同的，它们可能需要不同的关节、不同的长度等等，所以他们收集数据和建模树，做优化，为特定任务寻找最佳机器人。这是他们多年来一直在努力的事情。作为这项工作的一部分，不仅要设计最优机器人，还要考虑设计树——寻找最优树以进一步简化机器人。

我们正在研究关于手臂可重新配置的新想法——让手臂执行不同的任务，并且可以很容易地从一项任务切换到另一项任务。对于 Grizzly，我们正在致力于苹果园的自主导航，同时也在开展与搜救相关的非农业项目。我们在 Grizzly 上设计了一个悬挂系统，并在它上面安装了一个担架。其动机是能够在崎岖的地形中自主地从伤害的道路上疏散伤员。

推动陡坡葡萄园的智能精准农业

，时长02:37

虽然农业行业已经努力将机器人自动化纳入其许多流程，但由于地形条件恶劣，在山区或陡坡种植葡萄树和橄榄树等多种环境和技术仍然对机械化提出了重大挑战、葡萄园的极度分散、恶劣的气候条件、大量的生物多样性等等。然而，为了满足这种不断增长的需求，农民正在寻找能够在陡坡葡萄园中工作的经济高效、安全且自主的精密喷洒/割草机器人，以降低成本、提高效率并减少农业对环境造成的破坏。

因此，基于 Husky UGV 的 AgRobIT 项目提出了一种基于 ROS 堆栈解决方案的简化架构，该解决方案由三个主要 ROS 包组成：定位和映射、路径规划和控制以及任务监督。AgRobIT 在过去四年中一直能够利用 INESCTEC 的主要发展成果，包括 VineSLAM（一种经济高效、模块化且可靠的定位系统，能够在有/没有可用的 GNSS 并考虑语义信息的情况下工作）和 AgRobPP（路径规划和控制系统，其知道土壤压实和机器人的重心）。

平台包括一个 3D LIDAR，用于通过激光测距法在农业地形中定位，因为环境高度非结构化，一个立体相机用于使用自然特征（即藤蔓树干）进行定位，一个 IMU（冗余传感器），以及GNSS 接收器（可用时用于定位的冗余传感器）。为了增加操作（收获和修剪）功能，该团队将 ROBOTIS 的 Dynamixel Pro 机械臂（机械手-H）与连接到独立处理单元的 USB-485 适配器集成在一起。该系统有自己的电池，并通过以太网与其余系统通信。在 ROS 层面，他们开发了一个驱动节点来订阅关节位置目标并发布每个关节状态。最重要的是，他们还添加了自己的联合控制器和路径规划器 ROS 节点，该节点与其他 MoveIt 解决方案进行了基准测试。使用他们自己的软件和板载硬件，该平台在葡萄园的监控、喷洒、收割、割草和修剪任务中进行了测试。

基于WARTHOG UGV创建世界上第一个自主双层扫描仪

澳大利亚机器人公司Manabotix成立于 2016 年，设计定制解决方案，帮助客户提高农业、采矿和航运的安全生产力。他们最具创新性的产品之一是 BunkBot，这是一款基于Warthog UGV（无人地面车辆）的机器人，可自动扫描牲畜饲料铺位，以准确、精确地测量圈养动物消耗的饲料量。

在农业行业，卧铺阅读是有效牲畜饲养的关键部分。此任务涉及目视评估每个料仓中剩余多少饲料以确定饲料消耗量，这是分配的重要输入。然而，这项任务需要花费很长时间的专用资源（尤其是在饲料铺相距很远的大型站点）以及大量的技巧和注意力。这就是 Manabotix 的用武之地。

BunkBot是世界上第一个能够准确和重复评估饲养场铺位中剩余饲料的机器人。事实上，它在监测动物饲料水平方面比人类饲料调用者表现更好。BunkBot 将通过多种方式使批次饲养者受益：通过更深入地了解牛的采食量，通过就有效的饲料分配做出更明智的决策，以及通过促进技术人员的重新分配以处理其他操作优先事项。

BunkBot 是通过将 Bunk Scanner 专利技术与 Clearpath Robotics 坚固耐用的 Warthog 机器人底座相结合而制成的。几个传感器被用来读取铺位并测量剩余饲料，从而更好地了解消耗了多少饲料。该解决方案还具有用于在饲养场周围导航路线的 GNSS，以及用于避免碰撞的 LiDAR。

HUSKY UGV 帮助葡萄种植者进行节水灌溉

人们通常不会在酿酒厂和机器人之间建立联系，但这正是加利福尼亚大学当前项目的结合。

Stefano Carpin 是加州大学默塞德分校的电气工程和计算机科学教授。他的团队由来自加州大学默塞德分校、戴维斯分校和伯克利分校的研究人员组成，他们开发了一个机器人系统来帮助葡萄酒商管理他们的水系统，并在整个葡萄园实施精确灌溉，称为 RAPID（机器人辅助精确灌溉交付）。

通过用控制水流的低成本塑料发射器替换现有系统，Stefano 的团队可以发送Husky UGV来调整它们，并改变每个植物区接收的水量。这样一来，葡萄植株就不会获得相同数量的水（根据条件可能导致浇水过多或不足），而是可以享受精准农业带来的好处，并获得所需的准确水量。

在 Husky 上集成 GPS 等附加传感器将使机器人能够绘制其路线图，而添加 RFID 阅读器将使 Husky 能够自主移动到需要调整的特定发射器。

使用Grizzly进行播种

今年的 agBOT 比赛需要一个可以充当无人作物播种机的机器人；它必须在半英里长的行中种植两种类型的种子。它还必须使用移动跟踪天线和各种分析（包括向下压力和各种放置）提供实时数据。参与团队负责开发所有软件、传感器和人机控制界面来控制任务。这份复杂的要求清单需要灵活、坚固、高性能的解决方案，这就是为什么我们很高兴与 airBridge 合作，为比赛中使用的灰熊队提供 50,000 美元的赠款。

玉米地里的灰熊 RUV

Grizzly 是 Clearpath 最大的全地形电池供电机器人。移动研究平台提供微型拖拉机的性能和机器人的精度，最大有效载荷为 1320 磅，最大速度为 12 英里/小时，离地间隙为 8 英寸，用户电源为 5V、12V、24V 和 48V。请参阅此处了解所有技术规格。

果园智能机器人

自主导航机器人使用嵌入式 3D 摄像头来确定哪些桃树需要修剪或变薄，并使用附着在其手臂上的爪状装置摘桃子

桃园采摘是由clearpath Husky 搭载UR5机械臂、robotiq2指夹爪、GPS、IMU、雷达和相机组成的移动抓取系统。该机器人系统采用激光雷达传感系统和高度专业化的 GPS 技术，可在桃园中自主导航并避开障碍物。

LIDAR 系统通过用激光瞄准物体并测量激光束反射回来所需的时间来确定距离，而 GPS 技术则测量精确到几厘米的位置。一旦到达桃树，机器人就会使用嵌入式 3D 摄像头来确定需要移除哪些桃子，并使用连接到其手臂末端的爪状装置（称为末端执行器）抓取桃子。该机器人解决了桃树栽培周期的两个关键组成部分：树木修剪和树木间伐。

修剪是指在春季生长季节（通常发生在 5 月中旬至 8 月初）之前有选择地去除树枝，并有多种用途——包括将果树的更多内表面区域暴露在阳光下和去除不需要的旧生长新的增长才能更好地发展。胡解释说，与此同时，变薄是指将小的或未发育的桃子（称为桃子）从桃树上移走，以便让桃子长得更大更好。

“如果你让所有的桃子都长到成熟，那么你最终得到的是一棵非常小的桃树，”胡说。“你想要做的是相对较少的桃子，但你想要那些仍然漂亮、大而甜的桃子——那些你实际上可以卖掉的。”胡指出，由于桃园的非结构化环境，包括不可预测的天气、不平坦的地形以及树木的不同形状和大小，市场上没有能够完全取代桃种植业中的人类的机器人。

“在果园里，没有两棵树是一模一样的，”胡补充道。“你可能会遇到晴天或阴天——这将影响机器人技术的运行方式。”胡说：“目前世界上还没有机器人可以像人一样收割桃子或削薄桃子。” “这项技术还没有完全成熟。”

迄今为止，目前实现桃子和其他特殊作物收获自动化的努力并不像商品作物自动化的进步那么成功，机器一次可以收集数百英亩的货物。商品作物包括玉米、小麦和大豆等物品。“特种作物仍然非常依赖体力劳动，”胡说。“这与小麦之类的东西真的不同，一个人驾驶联合收割机可以收获数千英亩、数百英亩的土地。而对于桃子的收获，因为一切都是如此个性化如此独特，所以它真的很难实现自动化。”

为了解决这些独特的问题，GTRI正在探索结合人工智能和深度学习训练方法的方法，以提高机器人的图像分类能力和整体性能。GTRI还与佐治亚州格里芬市乔治亚大学格里芬校区园艺系副教授达里奥查韦斯合作，进一步探索桃种植的智能自动化。GTRI 首席研究工程师兼 GTRI智能可持续技术部门的部门主管 Gary McMurray表示，这种新型机器人将改变许多农场的水果种植过程，这些农场一直在努力种植足够坚固的树木以承受不可预测的环境条件。“这是直接影响树木产量的东西，”麦克默里说。“这是种植者口袋里的钱。”

佐治亚理工学院 (GTRI) 是佐治亚理工学院 (Georgia Tech) 的非营利性应用研究部门。GTRI 作为工程实验站成立于 1934 年，现已发展到 2,800 多名员工，为全国 20 多个地点的八个实验室提供支持，每年为政府和行业进行超过 7 亿美元的问题解决研究。GTRI “久负盛名的研究人员结合科学，工程，经济，政策和技术专长，以解决美国联邦政府，州政府和行业复杂的问题。

Clearpath Husky助力有机农牧业

精准农业在过去几十年中发展迅猛，对于可持续农业生产的未来尤为重要。为了帮助实现这样的未来，正在部署机器人来管理作物和控制杂草。计算机视觉中的机器学习在此类操作中可以精准地找到目标植物对象。如今，深度学习在图像数据的计算数据分析（例如对象检测或分割）方面是一种流行的选择，它能将机器人收集的图像转化为可操作的结果。

具体而言，与作物种植相比，草原/奶牛养殖中的杂草检测更具挑战性。例如，在作物栽培中，通过颜色阈值等参数或考虑近红外 (NIR) 图像（对叶绿素含量具有更高的反射率），植物可以明显地与土壤分离。然而，在草原中，杂草和背景植物具有相似的颜色和叶绿素含量，因此，数据集创建成本更高，杂草检测更具挑战性。为了应对这一挑战，丹麦技术大学的一组研究人员正在使用Husky UGV开发一种农业机器人平台，该平台可以在不使用除草剂的情况下清除有机奶牛场中的草地杂草。

丹麦技术大学 (DTU) 是一所精英技术大学，致力于实现电磁学之父 HC Ørsted 的愿景，他于 1829 年创立了这所大学，利用自然科学和技术科学开发和创造价值，造福社会。DTU 相信技术是必要变革的手段，尤其是通过联合国的 17 项可持续发展目标作为大学活动的平台。

该项目由 Ronja Güldenring（博士生）和 Lazaros Nalpantidis（博士/副教授）执行，专注于杂草识别和定位系统，是“ GALIRUMI ”欧盟合作研究项目的一部分。GALIRUMI 项目的重点是减少除草的体力劳动、杂草管理成本、除草剂对草地的破坏、奶牛养殖对环境的影响以及奶牛不适。

DTU 团队的最终目标是创建机器人除草机，他们知道他们想要一个机器人来取代手动和繁重、繁重的劳动，而这些劳动通常既昂贵又难以充分供应。他们提议的平台将减少上述有机农业中的一些挑战，并最终推动传统农场向有机农业过渡，这对世界的可持续性产生相关影响。具体来说，项目负责机器人平台上的视觉系统，包括视觉传感器选择，田间杂草检测，以及更详细的杂草分析，为杂草处理提供相关信息（如根中心和茎预测）。

为了能够专注于开发视觉系统，DTU 团队依赖 Husky UGV 作为成熟、强大且值得信赖的机器人平台。在该项目中，Husky UGV 携带相机，在草原上漫步，寻找杂草。它的目标是找到并定位杂草，以便随后以不含除草剂的方式将它们扑灭。为此，该团队还计划最终为 Husky UGV 配备有机友好的杂草控制机制（例如基于激光或电击的机制），并通过非常准确的Galileo-based localization（EGNSS）来引导机器人。

对于视觉系统，HUSKY UGV 考虑了以下传感器：IMU、EGNSS（欧洲卫星同步定位导航）、里程计、前置摄像头和激光雷达摄像头。机器人行驶在田间，检测田间杂草的粗略位置。一旦检测到杂草，机器人就会驶过植物。通过 Husky UGV 内的一个孔，机器人可以使用孔激光雷达相机更仔细地分析植物，例如根中心和茎位置。由于激光雷达相机对环境光敏感，因此在受控照明条件下，测量被立方体覆盖。然后可以通过除草系统进一步处理这些信息。例如，植物检测和分析是使用在 Jetson Xavier NX 上运行的深度学习算法执行的。

，时长01:19

因此，该项目的核心设置包括以下内容：

IMU：Xsens MTI-630
EGNSS：NaviLock GNSS 接收器
前置摄像头：Basler ace 2和4mm焦距的Basler Lens
激光雷达摄像头：Intel Realsense L515

对于前置摄像头，该团队选择了带有全局快门的 RGB 摄像头，以便在移动平台上感知清晰的图像。将相机与合理的曝光控制相结合，他们能够应对室外场地变化的光照条件。

对于相机，该团队选择了一种适用于低距离的 RGB-D 解决方案。图像中的附加深度图应该可以提高植物分析过程中的鲁棒性。他们选择了允许有效载荷相对较小的组件：所有上述传感器和支架的重量都不超过 20 公斤。

该项目得到了欧盟委员会和欧洲 GNSS 机构的支持，该项目通过“伽利略辅助机器人处理钝叶瘤牛杂草并提高奶牛养殖的盈利能力和可持续性（GALIRUMI）”项目。同样，其他欧洲合作伙伴也参与并负责婚礼机器人的其他组件，例如：Stitching Wageningen Research、Acorde Technologies、Steketee BV、Pekkeriet Dalfsen BV、Institut de l'elevage、Koonstra BV。

最后，他们目前的工作已在 2021 年 IEEE/RSJ 智能机器人和系统国际会议上以“Few-leaf Learning: Weed Segmentation in Grasslands”为题发表，并且是 IROS2021 农业最佳论文奖的四名决赛选手之一。你可以通过下方视频观看论文主旨演讲。

Husky帮助种植者们确定何时给植物浇水

，时长01:14

研究人员正在开发的用于新型植物水分测量系统的基础机器人将导航成排的农作物，以到达各个叶片和茎。

每个园丁都知道判断何时给植物浇水有多困难。如果将其乘以几十或几百英亩，就很容易理解种植者在保持作物健康，高效智能地管理水资源方面面临的挑战。为了准确确定需水量，种植者手动摘下植物中的单个叶子，将它们放在压力室中，然后施加气压以查看何时开始从叶子茎中渗漏水。这种测试非常耗时，这意味着种植者每天只能到达一个田地的多个区域，并且无法按需要频繁地进行测试以准确确定最佳灌溉计划模式。

来自加州大学河滨分校和加州大学默塞德分校的一组研究人员已通过美国国家科学基金会的“国家机器人计划”获得了美国农业部超过100万美元的拨款，以应对这些挑战。加州大学河滨分校的电气和计算机工程系助理教授Konstantinos Karydis和Amit K. Roy-Chowdhury教授。负责这项工作的UC Merced由计算机科学教授Stefano Carpin代表。和环境工程学教授Joshua Viers。

作为该项目的一部分，该小组正在开发一个机器人压力室，该压力室可以自动采样叶片并立即在现场对其进行测试以提供最新数据。该系统甚至可以在一段时间内收集大范围的数据，而不仅仅是提供快照。经常更新的数据可以帮助种植者更好地计划灌溉计划以节约用水，优化负责确定和分析缺水势的农作物专家的时间和精力，并有助于减少食品生产链中的某些成本。

当前的测量技术涉及收集叶片样品并将其运送到异地位置，在此测试人员可以使用非常精确，昂贵的压力室。或使用手持压力室在野外取样和分析叶片样品。“在第一类中，叶片样本可能会混合在一起，从而无法将其追溯到其来源的特定区域，” Karydis说。“此外，叶片的特性可能会随时间的流逝而变化。进行采样和分析，从而可能产生误导性的结果。”

野外手持仪器的精度可能较低，但是可以使用同一棵植物的不同叶片多次进行测试。这种方法是费时费力的，必须由经过专门培训的人员进行。Carpin已经与UC Davis和UC Berkeley的同事合作创建了机器人辅助的精确灌溉输送系统（RAPID），该系统沿着一排农作物行进，根据传感器数据调整灌溉流量，从而准确地告诉机器人每种植物的需求。该项目将使用与RAPID中相同的移动基地机器人，但将为其配备由UC Riverside的研究人员设计的定制机器人叶片采样器和压力室，并将其与可进行实地勘测并将其导向的无人机配对兴趣范围。

卡平说：“利用这一过程，种植者可以整天调查植物，即使是在大田地也是如此。”

这个为期四年的项目将为研究生以及本科生提供夏季研究机会。该项目分为四个阶段：会议厅的开发；开发机器视觉，以便机器人可以“看到”来自叶茎的水；在空中和地面上协调多个机器人和评估。研究人员计划在2021年春季之前制造出第一套自动压力室原型，并评估其性能并在2021年春季和夏季在受控环境中改进设计，他们希望在2022年冬季之前完成安装，以便他们可以开始受控的现场测试。

卡平说：“我们必须迅速采取行动，因为如果我们错过了一个生长期高峰期，那么我们就必须再等九个月。” “我们希望能够在明年夏天开始测试，并在每个夏天进行测试，并且我们需要能够最大化测试。”研究人员在他们的建议中写道，在设计完所有组件之后，这些设计和代码将成为开源的，并且在项目过程中收集的所有数据将提供给科学界。

该项目是在UC Merced信息技术研究中心（CITRIS）负责人Carpin and Viers与加州农民就种植杏仁和葡萄的挑战进行讨论之后进行的。卡里迪斯（Karydis）和罗伊·乔杜里（Roy-Chowdhury）一直听到里弗赛德（Riverside）地区的柑橘和鳄梨种植者面临同样的挑战，因此四人结成了伙伴。

，时长00:10