智能化的机器人技术正逐步在珍贵生物样本的存取任务中发挥重大作用。本项目旨在开发一套视觉辅助的机械臂挑管系统，其能够在-30℃的低温环境下对目标样本管实现精准的识别和定位，并经过稳健的路径规划完成抓取；当检测到抓取失败等异常情况时，该系统能自动调整样本管姿态并归放到目标位置。整个项目的预计定位误差需控制在1mm以内，能处理摄像头和机器人相对位置发生变化、样本管出现斜倚重叠等复杂情况，具备精度高、响应快、鲁棒性好的特点。

本项目针对深低温条件下挑管系统定位不精确、夹取成功率低的问题，计划将传统图像处理算法和深度学习算法结合，通过2D工业相机获取冻存盒孔位信息、深度相机获取样本管的距离信息，结合先进的图像分割与姿态估计技术，确保在异常情况下仍能准确识别和定位样本；通过基于3D视觉信息进行机械臂轨迹规划和持续学习，确保机械臂能够按照最优路径安全、高效地完成抓取和放置任务；通过搭建和优化机械臂仿真实验平台，通过强化学习的训练和仿真到现实的算法开发，提高系统的实用性和适应性。

1. 实现了Hough圆检测、基于形状的模板匹配等传统图像处理算法，以及FoundationPose、Sam6D等深度学习姿态估计算法的开发和部署；

2. 实现了机械臂挑选目标样本管并归置的任务、准确地定位挑管，并对斜倚、掉管等异常样本管情况进行识别与相应抓取方式的规划；

3. 实现了一个机械臂拣选任务的仿真系统，并利用Isaac Gym对机械臂的抓取进行强化训练。