南方科技大学知识苑(SUSTech KC): 基于脉冲神经网络的高效目标检测算法研究

题名	基于脉冲神经网络的高效目标检测算法研究
其他题名	EFFICIENT OBJECT DETECTION ALGORITHM BASED ON SPIKING NEURAL NETWORK
姓名	张虎
姓名拼音	ZHANG Hu
学号	12032480
学位类型	硕士
学位专业	080900 电子科学与技术
学科门类/专业学位类别	08 工学
导师	程然
导师单位	计算机科学与工程系
论文答辩日期	2023-05-13
论文提交日期	2023-06-28
学位授予单位	南方科技大学
学位授予地点	深圳
摘要	基于事件传感器的数据，即事件数据，由于具有高时间分辨率 (1μ𝑠) 和高动态范围 (120dB) 等特性，拥有部署在车辆和无人机等高速平台上的潜力。然而，事件本身的高度稀疏和波动性给基于人工神经网络 (Artificial Neural Network, ANN) 的传统目标检测技术带来了挑战。相比之下，脉冲神经网络 (Spiking Neural Network, SNN) 由于其自带的时间动力学，非常适合处理基于事件的数据。受大脑启发的脉冲神经网络通过稀疏信号传输和异步脉冲来实现低能耗计算，这使得其对基于事件的传感器产生的高度稀疏和动态数据具有吸引力。然而，由于训练的复杂性和体系结构的限制，目前的 SNN 在具有挑战性的视觉任务上很少有能与传统的人工神经网络相匹配的工作。所以在本文的工作中，先是分别对 RGB 目标检测数据集和 DVS (Dynamic Vision Sensor) 目标检测数据集进行脉冲神经网络的设计作为探索，接着基于以上两部分内容，在最后的工作中，设计了一个高效的具有多头预测的脉冲特征金字塔网络，用于针对事件数据的目标检测任务。对于集成特征金字塔的关键编码器主干部分，我们探索了一种高效的体系结构，并构建了一个比 ResNet 更有效的分层脉冲有向无环图网络 (Hierarchical Spiking Directed Acyclic Graph Network, DAGNet)。同时，我们也在实验中证明了膜电位动力学可以在事件波动时调节网络的脉冲发射，并加强稀疏输入的特征。此外，脉冲触发的自适应阈值可以稳定训练，从而进一步提高网络性能。在此基础上，我们提出的 SNN 优于以前的 SNN 和具有注意力机制的复杂 ANN，在 Gen1 基准数据集上实现了 mAP(0.5) 为 47.7% 的平均精度。这一结果显著超过了以前的最佳 SNN，精度上高 9.7% ，并证明了 SNN 在基于事件的视觉方面的潜力。我们的模型具有一个简洁的体系结构，同时因为稀疏计算保持了高精度和低得多的计算成本。
关键词	事件数据脉冲神经网络目标检测类脑计算 Gen1
语种	中文
培养类别	独立培养
入学年份	2020
学位授予年份	2023-06
参考文献列表	[1] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//2005 IEEE computer society conference on computer vision and pattern recognition (CVPR’05): volume 1. Ieee, 2005: 886-893. [2] FELZENSZWALB P, MCALLESTER D, RAMANAN D. A discriminatively trained, multi-scale, deformable part model[C]//2008 IEEE conference on computer vision and pattern recognition. Ieee, 2008: 1-8. [3] LAW H, DENG J. Cornernet: Detecting objects as paired keypoints[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 734-750. [4] DUAN K, BAI S, XIE L, et al. Centernet: Keypoint triplets for object detection[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 6569-6578. [5] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate o-bject detection and semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2014: 580-587. [6] EVERINGHAM M, VAN GOOL L, WILLIAMS C K, et al. The pascal visual object classes (voc) challenge[J]. International journal of computer vision, 2010, 88(2): 303-338. [7] GIRSHICK R. Fast r-cnn[C]//Proceedings of the IEEE international conference on computer vision. 2015: 1440-1448. [8] REN S, HE K, GIRSHICK R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. Advances in neural information processing systems, 2015, 28. [9] DAI J, LI Y, HE K, et al. R-fcn: Object detection via region-based fully convolutional networks [J]. Advances in neural information processing systems, 2016, 29.
所在学位评定分委会	电子科学与技术
国内图书分类号	TP391.41;TP183
来源库	人工提交
成果类型	学位论文
条目标识符	http://sustech.caswiz.com/handle/2SGJ60CL/544464
专题	工学院_计算机科学与工程系
推荐引用方式 GB/T 7714	张虎. 基于脉冲神经网络的高效目标检测算法研究[D]. 深圳. 南方科技大学,2023.

条目包含的文件
文件名称/大小	文献类型	版本类型	开放类型	使用许可	操作
12032480-张虎-计算机科学与工程（6592KB）	--	--	限制开放	--	请求全文