打印

双目摄像头+桌面机械臂 抓取特定物体

[复制链接]
216|5
跳转到指定楼层
楼主
本帖最后由 bfl111 于 2019-6-12 14:04 编辑

实验室有个双目相机及一个小型桌面机械臂,想实现抓取。但是不知道怎么提取待抓取物的坐标。
有两个思路:
一是把待抓取物生成点云文件作为模板,利用每次和模板匹配通过后,再输出待抓取物的坐标。
二是,双目拍照后,直接处理图片,提取待抓取物的信息,大体就是这个样子:
相机初始化-图像抓拍-图像预处理-图像二值化-形态学滤波-边缘检测-矩形检测-二维坐标获取-摄像机标定-实际位置-控制系统


双目相机图像的获取、标定、立体匹配、生成视差图、得到深度图、得到pcd点云文件这些有思路,
就是怎么得到被抓取物体的坐标,没有思路,
冒个泡,希望有明白的前辈指引一下。

使用特权

评论回复
沙发
| 2019-6-13 18:04 | 只看该作者
景深图上面不就有三维信息么?我之前搞的时候是直接用景深信息的,反正高度都是桌面高度,忽略第三个参数。
话说模版匹配、边缘检测我都做过,搞了一年,效果都不好,误检、漏检严重,不知道是不是我算法问题太大,后来折腾得不行,干脆直接用深度学习了。慢是慢了点,反正也就检测几帧,不会误检,但光线不好漏检也是挺严重的(用人间训练好的模型),估计要自己训练深度模型才好,可是我用的又是intel渣渣核显
后来还移到嵌入式平台去,树莓派上程序直接崩溃,1G跑不了深度学习。忍痛买了个nanopc t4,一帧还是要600ms。

使用特权

评论回复

评论

bfl111 2019-6-17 15:21 回复TA
@tinnu :好的谢谢前辈,我再去看看. 
tinnu 2019-6-15 19:02 回复TA
@bfl111 :PCL库没用过啊,我用的是opencv,可能帮不了你了 
bfl111 2019-6-14 15:28 回复TA
厉害啊前辈,做了这么多工作,还移植到嵌入式平台上了,600ms感觉挺快了。 计划下一步采用pcl点云模板匹配,在官网找到如下例程: http://www.pointclouds.org/documentation/tutorials/template_alignment.php#template-alignment 这个例程跑了一下,生成坐标得用十多秒。 但是不知道人家的模板是怎么生成的,你知道那个模板怎么做吗? 
板凳
| 2019-6-17 20:56 | 只看该作者
去干吗啊~~~伤心啊~~~

使用特权

评论回复
扫描二维码,随时随地手机跟帖
您需要登录后才可以回帖 登录 | 注册

本版积分规则

我要发帖 投诉建议 创建版块 申请版主

快速回复

您需要登录后才可以回帖
登录 | 注册
高级模式

论坛热帖

关闭

热门推荐上一条 /4 下一条

在线客服 快速回复 返回顶部 返回列表
全民彩票