基于深度图像的手势识别通常需要大量的训练数据，如何快速标定和建立姿态数据集是一个具有挑战性的任务．文中提出一种半自动标定方法，利用随机决策树森林建立深度像素的标定数据集；在此基础上设计了一个基于视觉的手势交互桌面应用开发框架，该框架采用RGB—D信息作为数据输入，同时利用3D手形轮廓降低手势匹配的复杂度．实验结果表明，文中方法能够支持复杂手势的实时识别。