三维显示以其直观自然的表现方式获得了广泛关注，三维交互技术也随之迅猛发展。提出了一种基于红外结构光、单摄像头的实时交互系统。红外结构光投影对空间进行编码，摄像头实时采集用户手部红外图像，经由OpenCV实现的图像处理算法比较两帧图像，获得结构光在手部移动的信息，从而实现对包括深度方向在内的三个维度的平移、缩放和旋转动作等用户交互动作的解析，并导入三维显示设备，对三维显示的虚拟物体进行实时控制。利用商用CMOS摄像头和红外LED搭建了交互样机。实验结果证明，该方案能以较低成本实现实时徒手三维交互。