主要标签:
计算机视觉工程师、嵌入式设计工程师、无人机应用开发
个人经历:
2015.09 - 2019.06 南京航空航天大学 测控技术与仪器专业 本科
2019.09 - 2022.04 南京航空航天大学 测试计量技术及仪器 硕士 (保送)
项目实践:
2016.4-2017.4 省级创新训练项目 基于机器视觉的直升机全自动抓取系统
完成了对斯诺克台球的颜色识别,几何中心检测、ROI区域追踪,控制机械臂自动追踪抓取;
利用C#开发了上位机软件,基于数传电台通过串口通信实现远程控制和识别监测;
2017.8-2017.12 江苏富勒三维科技有限公司 FL001系列(多防护图形化编程)无人机
在Solidworks上完成了多防护无人机的外观设计建模和硬件结构的搭建;
在PIXHAWK飞控外部建立控制器,实现一键起飞降落、自主避障和图形化编程接口等;
2019.1-2019.6 优秀本科毕业设计 基于视觉的无人机自主着陆的相对位姿测量技术研究
构建的基于点特征的相对位姿测量系统达到在10米范围内误差小于0.05米的目标;
设计的基于激光雷达和Labview的无线高度测量系统,提供了厘米级的位姿真值;
2020.7-2020.8(41天) 东莞松山湖国际机器人产业基地 2020智能C端科创训练营
u提出用户核心痛点,作为leader组建7人团队,成员来自清华大学、吉林大学、电子科大等;
负责项目技术细分、阶段目标制定、路演宣传视频制作、小程序开发、面向投资人汇报;
国家自然科学基金:中远距离视觉位姿测量系数矩阵奇异性机理和“视野角”参数化新方法研究
项目类型:面上项目 项目起止年月:2021年01月至 2024年 12月
提出合作特征布局对视觉位姿测量精度与稳定性影响的优化研究,负责内容撰写与仿真研究;
提出基于RTK无人机的和激光全站仪相结合的中远距离位姿测量实验新方法,负责研究撰写;
硕士期间获奖情况:
2020 科研创新先进个人 第七届国际无人飞行器创新大奖赛旋翼竞技项目冠军(副队长 排名第二)
2020 智能C端科创训练营优秀团队(队长)—队友来自清华大学、电子科技大学、吉林大学、常州大学
2020 南京航空航天大学第82号通令嘉奖
本科期间获奖情况:
2016 校电子电路设计竞赛二等奖 江苏省TI杯电子设计竞赛二等奖
2017 校机器人大赛二等奖 江苏省机器人大赛一等奖 中国国际飞行器设计挑战赛二等奖 全国大学生FPGA创新设计邀请赛三等奖
2018 校PLD电子设计竞赛一等奖 江苏省TI杯电子设计竞赛二等奖
2015-2016 “校优秀团干部” 荣誉称号
2016-2017 “校优秀团干部” 荣誉称号 暑期社会实践“实践先锋” 荣誉称号 自动化学院科创培训“优秀讲师” 优秀学生奖学金三等奖 园丁励志二等奖学金 少数民族精进奖学金
2017-2018 优秀学生奖学金二等奖 校学业二等奖学金 “三好学生”荣誉称号 “校优秀学生干部” 荣誉称号 国家励志奖学金
2018-2019 校优秀毕业生
发明专利申请情况:
国家发明专利“一种单目视觉SLAM方法及系统” 申请公布号:CN110189390A
优点在于:采用视觉与空间变换相结合的关键帧策略,能较为完整的保存场景信息,同时提高系统鲁棒性;采用半直接法建立了基于点线的地图,保证了较高实时性,且适应低纹理场景中的导航,同时也能提供场景中更多的结构信息;采用了基于图优化的后端优化策略,具有更高的定位精度。
国家发明专利“一种单目视觉里程计定位方法” 申请公布号:CN110108258A
优点在于:采用了基于视差的模型选择方法,使视觉里程计的初始化成功率更高;融入了ORB特征匹配,使视觉里程计具有更高的定位精度;采用了基于密度的跟踪策略,使视觉里程计具有更高的鲁棒性,尤其是在特征分布集中的场景。
国家发明专利“ 一种双纸锥下落演示实验系统及其实验方法” 申请公布号:CN111312036A
任职及参与活动情况:
2016-2019 任南京航空航天大学0315301班班级班长—组织班级考前辅导12次,班级3人保研,升学比例64%;
2016-2017 任南京航空航天大学自动化学院科学与技术协会副部长——组织校电子电路设计大赛、校最美电路设计大赛、校科创培训营等活动;
2016-2017 创立影翼随行航拍工作室,完成南京金陵古迹掠影项目,参与台湾学生访问展示,累计视频资源达20G;
2016-2018 任南京航空航天大学科技中心电工电子实验室主任——授课15小时从硬件到软件指导40余名大一成员完成光立方的制作;
2016-2017 任南京航空航天大学电工电子实验中心学生助理——工作时常达300小时;
2017.8-2017.12 承接江苏富勒三维科技有限公司FL001系列(多防护图形化编程)无人机的开发任务并成功交付至公司;
2018.9.12-2018.9.17 承接贵州省林业学校无人机培训营主讲老师,从无人机组成,装配,调试,航拍摄影,测绘建模,实际操作等几个方面进行授课;
在校期间,累计授课20余次,授课时常达50个小时,受众学生500余人,授课内容涵盖无人机,模电,数电,信号等;
参与项目与比赛的具体情况:
硕士期间:
第七届国际无人飞行器创新大奖赛旋翼竞技项目冠军
零一队使用抓取机和粘胶机进行双机协同全自动化的交互筑塔工作,方案复杂,精度要求极高,飞行控制、机械结构和视觉导航相互耦合,被裁判组认为是本次旋翼类竞技赛中方案最有创意,智能化程度最高的方案,技术实现难度也最高。零一队决赛轮累计搭建四块构件,单轮成绩104分,刷新了旋翼竞技赛的最高成绩。
在“天工筑塔”的比赛任务中,零一队的两架无人飞行器协同作业,设置航线重叠危险区,双机进行实时通信既保证了安全性也最大程度地缩短了任务执行时间。无人机可以自主掉落检测、自主判断箱子搭建高度从而实时智能调整搭建策略,成为本届大赛中智能化程度最高的参赛无人飞行器。
团队攻克了双机全自动智能协同交互任务部署及路径规划技术、厘米级超高精度位置控制技术、无人飞行器集群任务自动保护技术、视觉位姿估计与态势感知技术、视觉鲁棒控制与末端定位技术、分布式柔性吸盘智能鲁棒空中抓取及搬运技术和循环滚转磁吸式变力分离铺胶技术等多项关键技术,最终摘得本次大赛桂冠。
一种面向无人机视觉位姿测量的实验验证系统
传统基于激光全站仪的视觉位姿测量实物实验方法,由于全站仪的测量距离和人为瞄准误差的限制,使得其在较大实验距离和动态目标上难以满足实施需求。
本文提出集成化Ransac空间坐标系转换算法和RTK无人机的中远距离位姿测量实验验证新方案,该方法利用激光全站仪得到地面GNSS基站与合作特征在全站仪坐标系下的相对位置关系,然后通过椭球面距离和角度计算方法得到RTK无人机在地面GNSS基站坐标系下的位置,经过坐标系转换可得到相机与合作特征在所构建的世界坐标系下的相对位姿关系。
经实验验证,提出的空间坐标系转换算法相比于现有算法计算效率提高5倍,提出的位姿测量实验方法在500米范围内精度为1%,高于现有PNP算法在实际测量过程中2%精度,能够有效满足在中远距离条件下的实际位姿真值的获取,为视觉位姿测量提供了新的实物验证方法。
本科期间:
2016 江苏省TI杯电子设计竞赛 位同步时钟提取电路(F题)(占比50%)
位同步时钟提取系统主要包括: m序列发生器,Xilinx Spartan6lx16(FPGA),LCD12864,无限增益多路负反馈二阶低通滤波器,阈值可调高速比较器模块,开关电源(电源模块)。通过模拟电路将TTL电平的m序列信号滤除高频谐波,只留下基波发送给以FPGA为核心的接收端,接收端经过放大器比较器,进入FPGA进行相关运算,实现测频、显示、还原m序列和提取位同步时钟的功能。
主要贡献:整个硬件电路的设计与制作,主要包括:m序列发生器设计,无限增益多路负反馈二阶低通滤波器,放大器、比较器;
2016-2017 校级创新训练项目《基于机器视觉的全自动抓取系统》(负责人 占比90%);
主要贡献:
- 台球颜色的识别与定位
依靠OPENCV库做了台球的特征检测和颜色识别,但后来发现远程的图像传输势必会造成控制和识别效率的下降,也容易受到环境干扰,后来采用将做好的颜色识别摄像头直接安装在套筒机构的上方进行运动识别追踪,但由于抓取机构本身高度较低,将镜头换位广角镜头,扩大其视角范围。在比赛过程中,犹豫天气接连暴雨,将比赛地点改在铺满红地毯的室内体育馆,由于识别主要依靠特征颜色,导致抓取过程中红色球识别效果较差,未能实现理想的效果,只拿到全国二等奖。不服输的心态,让我再次对台球识别系统进行改正及优化,通过借鉴OPENCV的边缘检测算法,计算斯诺克台球几何形状和中心,再加上色彩识别的辅助和ROI区域追踪,大大降低外界环境对识别系统的影响,并在省机器人大赛中拿到了一等奖。
- 机械臂的驱动与控制
机械臂的结构采用极坐标形式,利用360度舵机进行驱动,不仅降低了控制的复杂度,也减轻负载对直升机的影响,通过PID控制其旋转速度来实现对坐标的追踪。
- 远程的监测与控制
利用C#开发了与单片机进行串口通信的软件,抓取结构上的控制器利用无线数传电台与pc端进行通信,单片机识别指令并置为相应的标志位以实现远程控制。
创新点:
硬件——针对极坐标型机械臂响应较慢的问题,本队对其进行了改良。具体做法是在舵机输出端增加一级齿轮传动和一级皮带传动,加快了装置的旋转速度。此外,舵机的二级传动还采用柔性夹持结构,使得皮带轮的直径,皮带的松紧均可按照需求进行调整,由此可实现减速比从0.5到2的调整。
软件——本装置通过机载的STM32开发板实现对舵机的控制,通过图传将图像传回电脑,在上位机上完成对目标球的识别和选取,之后返回目标球的实时坐标,由开发板解算机构的运动路径并最终使装置到达目标球上方并完成抓取。
2017-2018 省级创新训练项目《运载多旋翼全天候自主飞行系统》(负责人 占比90%);
主要工作包括对旋翼飞行器载重极限条件分析、建模、仿真及调试,通过设计基于动态重心补偿的位姿控制器及姿态稳定控制系统,使得飞行器在受到外界干扰时, 载物旋翼飞行器可以具有较强的鲁棒性,并能按照预定轨迹安全到达目的地。飞行器采用多种传感器(压力传感器、温度传感器、超声波距离传感器、光线传感器),将感知探测环境变化结合至控制系统,实现安全稳定有效的载物飞行 。
此项目的重点是对载物状态下飞机的重心进行估计和补偿,主要包括薄膜压力传感器的标定和建立电机螺旋桨的升力曲线,将薄膜压力传感器构建载物系统悬挂在多旋翼下方,根据载物压力的分布不均,测定并分析平面内载重重心的偏移量,根据偏移量在单片机内对单轴的受力进行插值补偿,以此保证飞行器的水平。在远程控制和监测上,还是采用无线数传电台实现PC与飞机的双向信息交换,PC上显示4个压力传感器的具体压力值和当前的飞行控制参数,以及环境温度,飞行高度等信息,同时软件也可以对飞机进行远程指令控制,以实现自主飞行。
项目虽然已经结题,但它的意义不仅仅在于只是补偿使飞机水平,目前可做的是在精确测定载物的重心的基础上,然后通过机械装置动态改变飞机的重心,以实现在电机相同转速状态下飞机水平方向的前后左右移动,以此提高飞机的飞行时间和电机的使用效率,这个对未来的多旋翼载物飞行具有重要意义。
2018-2019 校级创新训练项目《用于汽车防撞的激光雷达光学系统研究》(占比20%);
主要贡献:利用Labview设计串口接收、数据滤波和存储等功能;
2017.8-2017.12 江苏富勒三维科技有限公司 FL001系列(多防护图形化编程)无人机(占比80%)
主要贡献:
1.完成了多防护无人机的外观设计建模和硬件结构的搭建。
2.在PIXHAWK飞控外部建立控制器,实现一键起飞降落、自主避障和图形化编程接口等
2018-2019 本科毕业设计 《基于视觉的无人机自主着陆的相对位姿测量技术研究》 —优秀毕业论文(占比100%)
本课题构建的面向无人机自主着陆的基于点特征的相对位姿测量系统达到在10米范围内误差小于0.05米的目标。
针对无人机在高速降落过程中存在的目标特征发生大尺度变化问题,根据相机的成像原理和着陆过程中的视场变化范围,设计了一种双四边形嵌套的合作目标,并对其两组点特征进行了理论位姿测量精度分析;然后根据二维合作目标的形状特征,设计了二维合作目标的识别算法和空间点特征的提取算法,其中包括图像预处理,边缘检测,轮廓提取和特征点提取等。
针对现有位姿解算算法在提升精度的同时存在计算效率低的问题,本论文避开现有位姿解算算法中复杂的几何约束,研究了利用代数方式求解的EP3P算法,并证明了此算法相比于Gao的算法具有更高的计算效率和稳定性;实验过程中,为了精确评判本文设计的位姿测量系统的精度,设计了基于激光雷达的无线高度测量系统,其相比于传统无人机利用气压计和GPS测高方法(精度为10cm),测量精度提升一个数量级。
2018 江苏省TI杯电子设计竞赛 手势识别(D题)(占比50%)
以STM32F103为MCU,基于FDC2214设计制作一个手势识别装置,实现对猜拳游戏和划拳游戏的判决。装置具有训练和判决两种工作模式。在判决模式下实验装置能对指定人员进行猜拳游戏和划拳游戏的判决。其中,这里猜拳游戏的判决是指对手势比划“石头”、“剪刀”和“布”的判定,划拳游戏的判定是指手势比划“1”、“2”、“3”、“4”和“5”的判定。在训练模式下能对任意人员进行猜拳游戏和划拳游戏的手势训练,经过有限次训练后,能进行正确的猜拳游戏和划拳游戏的手势判决。
创新点:
①所搭建系统信噪比高,传感器所测量的输出波形较为稳定,,系统手势识别准确率达到99%;
②采用了强化学习的算法,在学习过程中建立奖励机制对所需要识别的手势进行判别,能够精准的分别出个体手势的差异;
③增加双人的对决模式——两人相对站立,各用手势控制一块亚克力板,在双方做出猜拳手势后,系统会识别出所出手势,LCD会立即给出猜拳阶段,判断某一方胜利;双人对决阶段前,需要分别将其手势信息录入系统中,在学习完成后可永久使用,不需要再次进行学习。
2019.6-2019.10 南京师大附中树人中学 《双纸锥自动释放、测量与可视化演示实验系统》 江苏省科技创新一等奖(占比100%);
背景技术
初中物理苏科版8年级上册“速度”一节中设有探究活动“比较纸锥下落的快慢”,纸锥相较于纸片下落时能较好地保持直线运动状态, 并且下落较慢时间可测,因此,教材中选择了纸锥作为比较运动快慢的研究对象,在传统的实验教学中,实验依靠直尺、纸锥(复印纸)、秒表等实验器材,通过人为的对纸锥进行释放并对下落过程中纸锥位移进行测量,采用相同路程对比时间长短来探究影响纸锥下落快慢的因素。
传统纸锥下落实验的误差来源有多个方面:(1)制作过程中的误差;(2)测量高度的误差;(3)测量时间中反应时间带来的误差。
项目内容
提出了一种双纸锥下落演示实验系统,解决传统纸锥下落实验存在的误差大,过程繁琐,重复性差,后期数据处理工作量较大的技术问题。
一种双纸锥下落演示实验系统及其实验方法,包括固定板,纸锥,无线距离测量系统以及数据处理平台;在演示架的顶端左右两侧分别安装有结构相同的固定机构,固定结构包括固定板和电磁铁,电磁铁固定于固定板的边缘;纸锥的锥底边缘处安装有铁片;无线距离测量系统测量纸锥锥角处距离固定板的距离数据并将此测量时刻和距离数据传送至数据处理平台;数据处理平台根据测量时刻和距离数据计算获得纸锥的速度和相对于地面的距离。本方法简化了实验过程和提高了实验感性认识;此实验演示架引入了两纸锥的对比实验,使得实验现象更加生动明晰,在实际教学中具有很好的演示效果。