提出了一种基于语义目标匹配的三维跟踪注册方法。通过改进的单发多框检测(SSD)深度卷积神经网络对图像进行语义分割，获取场景中不同目标的像素级语义分割结果。在求取相机姿态的目标函数时，融合了图像的灰度约束与几何约束对相机的姿态进行估计。所提方法减小了特征点的缺乏或误匹配问题对三维跟踪注册算法性能的影响，且能够适应不同结构的场景。研究结果表明，该方法的误差不超过2.2 pixel，基本满足了实时性的要求。