针对复杂环境中的手势识别问题，提出了一种融合深度信息和红外信息的手势识别方法。首先利用Kinect摄像头的深度信息进行动态实时手势分割，然后融合红外图像复原手势区域。解决了实时手势分割和利用手势的空间分布特征进行手势识别时由于分割的手势区域有缺损或有人脸干扰时识别率低的问题。经实验验证，提出的方法不仅不受环境光线的影响，而且可以识别区分度较小的手势，对旋转、缩放、平移的手势识别也具有鲁棒性。对于区分度较大的手势，识别率高达100%。