一尾中特平公式:一種機器人采摘多串堆疊葡萄的方法技術

技術編號:22090805 閱讀:17 留言:0更新日期:2019-09-14 00:11
本發明專利技術提供了一種機器人采摘多串堆疊葡萄的方法,其特征在于:分別對各個采摘點設定采摘預備點和抓取位姿;末端執行器先到達采摘預備點,并在采摘預備點調整末端執行器的抓取位姿,再進給到采摘點執行采摘任務。該方法可降低采摘碰損風險,提高采摘效率與采摘成功率。

A Robot Picking Method for Multiple Stacked Grapes

572222一尾中特平 www.fbmtd.icu

【技術實現步驟摘要】
一種機器人采摘多串堆疊葡萄的方法
本專利技術涉及葡萄采摘
,更具體地說,涉及一種機器人采摘多串堆疊葡萄的方法。
技術介紹
近年來,葡萄采摘需求量日益增多,全自動采摘機器人的研發重要性顯而易見。但是許多研究只是局限于葡萄的圖像分割等領域,基于葡萄的空間分布、采摘順序等的研究相對較少。因為葡萄皮薄肉嫩,在采摘機器人的采摘作業中,機械手與葡萄果體接觸時容易發生碰損,特別是多串葡萄堆疊的情況下,發生碰損的風險大大提高。在現有的機器人采摘作業中,均并未考慮采摘順序問題,采取的是直接通過視覺定位,配合末端執行器進行葡萄采摘,此種方法導致在采摘作業時,機器人機械手與葡萄直接剛性接觸,容易造成葡萄損壞。而且面對多串葡萄堆疊的情況,傳統的視覺定位結合機械手直接夾取的方法也較難實現采摘作業;具體原因是:葡萄生長受環境影響,容易出現多串葡萄堆疊生長,葡萄的間距一般較小,不能滿足傳統采摘方法機器人末端執行器的工作范圍,在進行一串葡萄的采摘時,閉合的機械手會與相近的葡萄發生碰撞、擠壓,導致執行器無法進行正常夾取操作,大大加大了發生碰損的風險。
技術實現思路
為克服現有技術中的缺點與不足,本專利技術的目的在于提供一種機器人采摘多串堆疊葡萄的方法,該方法可降低采摘碰損風險,提高采摘效率與采摘成功率。為了達到上述目的,本專利技術通過下述技術方案予以實現:一種機器人采摘多串堆疊葡萄的方法,其特征在于:包括如下步驟:S1步,采集果園的RGB圖像I1以及對應的深度圖I2;S2步,對RGB圖像I1進行果梗識別得到各個果梗的矩形感興趣區域;獲取各個矩形感興趣區域的中心(xi,yi)作為采摘點Pi的XOY平面坐標;S3步,根據深度圖I2的深度信息z,在各個果梗的矩形感興趣區域內,獲取各個采摘點Pi的中心深度距離zi;各個采摘點Pi的像素坐標為(xi,yi,zi);S4步,根據攝像機標定原理,求解出像素坐標系到世界坐標系的變換矩陣M0,通過變換矩陣M0將各個采摘點Pi的像素坐標(xi,yi,zi)轉換為世界坐標(x′i,y′i,z′i);S5步,擬合出葡萄串的防碰撞圓柱包圍體V以及防碰撞圓柱包圍體直徑D;S6步,計算XOZ平面內當前采摘點Pi與剩余采摘點中最相近采摘點之間的距離Lmini;并設定安全裕度為kLmini;其中,k為裕度系數;S7步,判斷當前采摘點Pi的安全裕度與L1的大小關系,L1為末端執行器機械爪的最大水平張開寬度:若L1≤kLmini,則設定當前采摘點Pi為第一類采摘點,并跳至S8步;若將L1>kLmini,則設定當前采摘點Pi為第二類采摘點,并跳至S9步;S8步,對第一類采摘點進行采摘,包括如下分步驟:S81步,把世界坐標系與末端執行器的基座坐標系重合;在世界坐標系的OY軸上選取與采摘點Pi(x′i,y′i,z′i)處于同一水平面的坐標Pai(0,y′i,0);根據的矢量方向作為末端執行器從第一類采摘預備點移動到采摘點Pi的進給方向,求解抓取位姿Mi;S82步,在方向上,選取與采摘點Pi(x′i,y′i,z′i)同一高度且水平距離L2=防碰撞圓柱包圍體直徑D的一點Pbi(xb′i,y′i,zb′i)作為第一類采摘預備點;S83步,末端執行器運動到第一類采摘預備點Pbi,并調整為抓取位姿Mi,然后根據方向進給到采摘點Pi后執行采摘任務;之后跳至S10步;S9步,對第二類采摘點進行采摘,包括如下分步驟:S91步,根據采摘點Pi的XOZ平面坐標(x′i,z′i)與水平距離最小的采摘點Pji的平面坐標(xj′i,zj′i)的方向作為末端執行器由第一類采摘預備點到采摘點Pi的進給方向,求解抓取位姿Mi;S92步,在方向上,選取與采摘點Pi(x′i,y′i,z′i)同一高度且水平距離L2=防碰撞圓柱包圍體直徑D的一點Pbi(xb′i,y′i,zb′i)作為第二類采摘預備點;S93步,末端執行器運動到第二類采摘預備點Pbi,并調整為抓取位姿Mi,然后根據方向進給到采摘點Pi后執行采摘任務;之后跳至S10步;。S10步,判斷當前采摘點是否為最后一個采摘點:若是,則結束采摘;否則跳至S6步執行下一個采摘點采摘任務。本專利技術提出了采摘預備點的概念,在末端執行器運動到采摘點前,先到達采摘預備點作為過渡;在采摘之前,末端執行器在采摘預備點把姿態調整至最佳狀態,再進給到采摘點執行采摘任務。本專利技術具有以下優越性:一、避免末端執行器在機器人電機驅動各關節運動后,直接與皮薄肉嫩的葡萄果體發生剛性接觸,降低了果體受損的風險;二、由于自然生長下的葡萄,受環境影響會呈現不同的生長姿態,這導致不同的葡萄果簇具有多樣的果梗姿態;本專利技術提出了采摘預備點,在末端執行器到達采摘點前,對末端執行器的姿態進行調整,使末端執行器剪切機構與果梗達到最佳剪切相對姿態,可提高剪切效率以及剪切成功概率。優選地,所述S1步中,采用kinect攝像機采集果園的RGB圖像I1以及對應的深度圖I2。優選地,S2步,獲取各個矩形感興趣區域的中心(xi,yi)作為采摘點Pi的XOY平面坐標,是指:獲取各個矩形感興趣區域的左上角坐標(xli,yli),i=0,1…,n,以及邊長;根據各個矩形感興趣區域的左上角坐標(xli,yli)以及邊長,求得各個矩形感興趣區域的中心(xi,yi)作為采摘點Pi的XOY平面坐標。優選地,所述S3步中,獲取各個采摘點i的中心深度距離zi的方案是:其中,xj和yj分別為深度圖I2中采摘點i所在矩形感興趣區域第j個像素點的X坐標和Y坐標,f(xj,yj)為深度圖I2中采摘點i所在矩形感興趣區域第j個像素點的像素值,j=1,2,…,N。優選地,所述S5步中,用點云庫中隨機樣本一致性算法擬合出葡萄串的防碰撞圓柱包圍體V以及防碰撞圓柱包圍體直徑D。優選地,所述S6步中,計算XOZ平面內當前采摘點Pi與剩余采摘點中最相近采摘點之間的距離Lmini:其中,Δzi為當前采摘點Pi與剩余采摘點中最相近采摘點在像素坐標中z坐標的差值,Δxi為當前采摘點Pi與剩余采摘點中最相近采摘點在像素坐標中x坐標的差值。優選地,所述S82步中,采摘點Pi(x′i,y′i,z′i)對應的第一類采摘預備點Pbi(xb′i,y′i,zb′i)的求解過程如下:其中,水平距離L2=防碰撞圓柱包圍體直徑D。優選地,所述S92步中,采摘點Pi(x′i,y′i,z′i)對應的第二類采摘預備點Pbi(xb′i,y′i,zb′i)的求解過程如下:其中,水平距離L2=防碰撞圓柱包圍體直徑D。與現有技術相比,本專利技術具有如下優點與有益效果:1、本專利技術提出了采摘預備點概念與定位,在到達采摘點前末端執行器在采摘預備點進行姿態調整,使末端執行器處于最佳剪切姿態,在顯著降低采摘碰損風險的同時,提高采摘效率與采摘成功率;2、本專利技術,有利于簡化程序結構,算法運算量小,處理速度快,可提高采摘效率。附圖說明圖1是本專利技術方法的流程圖;圖2是本專利技術方法中對第一類采摘點的采摘立體示意圖;圖3是本專利技術方法中對第一類采摘點在XOZ平面的采摘示意圖;圖4是本專利技術方法中對第二類采摘點的采摘立體示意圖;圖5是本專利技術方法中對第二類采摘點在XOZ平面的采摘示意圖;其中,1為末端執行器、2為剪切機構、3為托盤、4為防碰撞圓柱包圍體。具體實施方式下面結合附圖與具體實本文檔來自技高網...

【技術?;さ恪?/strong>
1.一種機器人采摘多串堆疊葡萄的方法,其特征在于:包括如下步驟:S1步,采集果園的RGB圖像I1以及對應的深度圖I2;S2步,對RGB圖像I1進行果梗識別得到各個果梗的矩形感興趣區域;獲取各個矩形感興趣區域的中心(xi,yi)作為采摘點Pi的XOY平面坐標;S3步,根據深度圖I2的深度信息z,在各個果梗的矩形感興趣區域內,獲取各個采摘點Pi的中心深度距離zi;各個采摘點Pi的像素坐標為(xi,yi,zi);S4步,根據攝像機標定原理,求解出像素坐標系到世界坐標系的變換矩陣M0,通過變換矩陣M0將各個采摘點Pi的像素坐標(xi,yi,zi)轉換為世界坐標(x′i,y′i,z′i);S5步,擬合出葡萄串的防碰撞圓柱包圍體V以及防碰撞圓柱包圍體直徑D;S6步,計算XOZ平面內當前采摘點Pi與剩余采摘點中最相近采摘點之間的距離Lmini;并設定安全裕度為kLmini;其中,k為裕度系數;S7步,判斷當前采摘點Pi的安全裕度與L1的大小關系,L1為末端執行器機械爪的最大水平張開寬度:若L1≤kLmini,則設定當前采摘點Pi為第一類采摘點,并跳至S8步;若將L1>kLmini,則設定當前采摘點Pi為第二類采摘點,并跳至S9步;S8步,對第一類采摘點進行采摘,包括如下分步驟:S81步,把世界坐標系與末端執行器的基座坐標系重合;在世界坐標系的OY軸上選取與采摘點Pi(x′i,y′i,z′i)處于同一水平面的坐標Pai(0,y′i,0);根據...

【技術特征摘要】
1.一種機器人采摘多串堆疊葡萄的方法,其特征在于:包括如下步驟:S1步,采集果園的RGB圖像I1以及對應的深度圖I2;S2步,對RGB圖像I1進行果梗識別得到各個果梗的矩形感興趣區域;獲取各個矩形感興趣區域的中心(xi,yi)作為采摘點Pi的XOY平面坐標;S3步,根據深度圖I2的深度信息z,在各個果梗的矩形感興趣區域內,獲取各個采摘點Pi的中心深度距離zi;各個采摘點Pi的像素坐標為(xi,yi,zi);S4步,根據攝像機標定原理,求解出像素坐標系到世界坐標系的變換矩陣M0,通過變換矩陣M0將各個采摘點Pi的像素坐標(xi,yi,zi)轉換為世界坐標(x′i,y′i,z′i);S5步,擬合出葡萄串的防碰撞圓柱包圍體V以及防碰撞圓柱包圍體直徑D;S6步,計算XOZ平面內當前采摘點Pi與剩余采摘點中最相近采摘點之間的距離Lmini;并設定安全裕度為kLmini;其中,k為裕度系數;S7步,判斷當前采摘點Pi的安全裕度與L1的大小關系,L1為末端執行器機械爪的最大水平張開寬度:若L1≤kLmini,則設定當前采摘點Pi為第一類采摘點,并跳至S8步;若將L1>kLmini,則設定當前采摘點Pi為第二類采摘點,并跳至S9步;S8步,對第一類采摘點進行采摘,包括如下分步驟:S81步,把世界坐標系與末端執行器的基座坐標系重合;在世界坐標系的OY軸上選取與采摘點Pi(x′i,y′i,z′i)處于同一水平面的坐標Pai(0,y′i,0);根據的矢量方向作為末端執行器從第一類采摘預備點移動到采摘點Pi的進給方向,求解抓取位姿Mi;S82步,在方向上,選取與采摘點Pi(x′i,y′i,z′i)同一高度且水平距離L2=防碰撞圓柱包圍體直徑D的一點Pbi(xb′i,y′i,zb′i)作為第一類采摘預備點;S83步,末端執行器運動到第一類采摘預備點Pbi,并調整為抓取位姿Mi,然后根據方向進給到采摘點Pi后執行采摘任務;之后跳至S10步;S9步,對第二類采摘點進行采摘,包括如下分步驟:S91步,根據采摘點Pi的XOZ平面坐標(x′i,z′i)與水平距離最小的采摘點Pji的平面坐標(xj′i,zj′i)的方向作為末端執行器由第一類采摘預備點到采摘點Pi的進給方向,求解抓取位姿Mi;S92步,在方向上,選取與采摘點Pi(x′i,y′i,z′i)同一高度且水平距離L2=防碰撞圓柱包圍體直徑D的一點Pbi(xb′i,y′i,zb′i)作為...

【專利技術屬性】
技術研發人員:羅陸鋒,文漢錦,黃斐,曾憲普,閆德,
申請(專利權)人:佛山科學技術學院,
類型:發明
國別省市:廣東,44

網友詢問留言 已有0條評論
  • 還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。

1
逆袭欢乐生肖计划手机版 三公网站 21点游戏安卓 单机麻将免费 免费单机二人麻将 足球比分直播90vs 福建时时开发 北京pk拾最新公式规律 彩经重庆时时开奖号码 重庆时时开奖结果记录官 重庆时时全天计划数据 极速时时走势图链接 北京pk10稳赚技巧玩法 北京塞车计划网页版 双色球胆拖投注金额 玩彩怎么做到稳赚不赔