Kinect人机交互开发实践

内容简介：

吴国斌

博士，PMP，微软亚洲研究院学术合作经理，负责中国高校及科研机构Kinect for Windows学术合作计划及微软精英大挑战Kinect主题项目，曾担任微软TechEd 2011 Kinect论坛讲师、微软亚洲教育高峰会Kinect分论坛主席、中国计算机学会学科前沿讲习班Kinect主题学术主任。

李斌

来自西安电子科技大学，国内首批Kinect开发者，策划执行微软Kinect for Windows Pioneer计划，开发Kinect风筝项目，曾担任微软TechEd 2011 Kinect论坛讲师、人大附中Kinect选修课讲师。

阎骥洲

来自北京航空航天大学，国内首批Kinect开发者，曾在微软Kinect for Windows Pioneer计划中凭借“虚拟演示系统”获得第一名的成绩，之后参与并指导了多个Kinect应用开发项目，有着丰富的Kinect使用及开发经验。

作者简介：

吴国斌

博士，PMP，微软亚洲研究院学术合作经理，负责中国高校及科研机构Kinect for Windows学术合作计划及微软精英大挑战Kinect主题项目，曾担任微软TechEd 2011 Kinect论坛讲师、微软亚洲教育高峰会Kinect分论坛主席、中国计算机学会学科前沿讲习班Kinect主题学术主任。

李斌

来自西安电子科技大学，国内首批Kinect开发者，策划执行微软Kinect for Windows Pioneer计划，开发Kinect风筝项目，曾担任微软TechEd 2011 Kinect论坛讲师、人大附中Kinect选修课讲师。

阎骥洲

来自北京航空航天大学，国内首批Kinect开发者，曾在微软Kinect for Windows Pioneer计划中凭借“虚拟演示系统”获得第一名的成绩，之后参与并指导了多个Kinect应用开发项目，有着丰富的Kinect使用及开发经验。

目录：

第一部分 　Kinect基础篇

第1章 　Kinect简介2

1.1 　什么是Kinect2

1.2 　Kinect的前世今生3

1.3 　Kinect体感交互技术原理4

1.3.1 　Kinect的结构组成4

1.3.2 　Kinect for Windows SDK 简介及功能介绍4

1.4 　Kinect for Windows应用领域5

1.5 　小结6

第2章 　Kinect for Windows开发环境配置7

2.1 　开发环境需求7

2.2 　配置开发环境8

2.3 　Kinect for Windows SDK技术架构9

2.4 　小结10

第二部分 　Kinect开发篇

第3章 　Kinect彩色和红外图像数据的处理12

3.1 　彩色图像的格式12

3.2 　红外数据流13

3.3 　实例1——调用API获取彩色图像数据和红外图像，并实现静态图像的抓取13

3.4 　小结18

第4章 　Kinect深度数据的处理19

4.1 　深度数据的结构19

4.2 　实例2——调用API获取深度数据，并对不同深度值着以不同颜色19

4.3 　小结24

第5章 　Kinect骨骼追踪数据的处理方法25

5.1 　骨骼追踪数据的结构25

5.2 　半身模式26

5.3 　骨骼追踪数据的获取方式26

5.4 　实例3——调用API获取骨骼数据并实时绘制27

5.5 　骨骼点旋转信息32

5.5.1 　骨骼点旋转信息存储方式32

5.5.2 　在骨骼数据回调函数中获取骨骼点旋转信息34

5.5.3 　综述34

5.6 　实例4——使用Kinect控制PPT播放34

5.7 　小结38

第6章 　音频API的使用39

6.1 　关于Kinect麦克风阵列39

6.2 　实例5——记录一段音频流，并监视音频源方向40

6.3 　实例6——调用语音API，实现语音识别小程序43

6.4 　小结48

第7章 　Kinect for Windows Developer Toolkit介绍49

7.1 　安装Kinect for Windows Developer Toolkit49

7.2 　Kinect Studio简介51

7.2.1 　打开Kinect Studio并链接应用51

7.2.2 　记录并回放Kinect数据流52

7.2.3 　保存和载入Kinect数据流54

7.3 　Face Tracking SDK简介55

7.3.1 　Face Tracking SDK主要功能55

7.3.2 　Face Tracking SDK使用方法57

7.4 　实例7——使用Face Tracking SDK识别人脸57

7.4.1 　新建项目并添加引用57

7.4.2 　初始化Kinect数据流60

7.4.3 　获取数据并传入Face Tracking60

7.5 　小结64

第8章 　Kinect常用类库介绍65

8.1 　Coding4Fun Kinect Toolkit介绍65

8.1.1 　基于图像数据的扩展方法65

8.1.2 　基于骨骼数据的扩展方法67

8.2 　Kinect Toolbox类库67

8.2.1 　Kinect Toolbox简介67

8.2.2 　人体姿态识别68

8.2.3 　手势识别72

8.2.4 　模板识别74

8.2.5 　语音识别76

8.2.6 　添加自定义姿态76

8.3 　小结79

第三部分 　Kinect实战篇

第9章 　Kinect虚拟演示系统的实现82

9.1 　虚拟演示系统简介82

9.2 　技术实现概述83

9.3 　利用深度数据标签获取人物彩色图像84

9.3.1 　创建人物抠图类84

9.3.2 　利用深度数据获取人物彩色图像84

9.3.3 　修补、优化并完善抠图类89

9.3.4 　利用Kinect SDK抠图的优、缺点91

9.4 　利用骨骼数据识别人体姿态91

9.4.1 　利用Toolbox实现主体识别功能91

9.4.2 　自然交互方式设计95

9.4.3 　Kinect自然交互小结97

9.5 　演示系统简介98

9.5.1 　预备知识98

9.5.2 　Kinect状态类99

9.5.3 　Kinect轮询类101

9.5.4 　演示框架小结104

9.6 　小结105

第10章 　Kinect虚拟放风筝项目的实现106

10.1 　Kinect虚拟放风筝项目简介106

10.2 　技术实现概述107

10.3 　玩家姿势的设计和识别107

10.3.1 　玩家姿势的设计107

10.3.2 　玩家姿势识别的实现110

10.4 　自然交互按钮和光标的实现112

10.4.1 　自定义光标113

10.4.2 　自定义按钮114

10.5 　风筝动画的实现117

10.6 　项目操作流程119

10.7 　小结123

第11章 　Kinect全息显示124

11.1 　Kinect全息显示简介124

11.2 　技术实现概述124

11.3 　Kinect捕捉头部坐标126

11.3.1 　创建用于捕捉头部位置的Kinect组件类126

11.3.2 　Kinect初始化以及头部位置获取127

11.3.3 　根据Kinect和屏幕的位置关系转换坐标129

11.4 　三维图形引擎131

11.4.1 　创建可见模型绘制类131

11.4.2 　构建模型世界矩阵131

11.4.3 　绘制模型133

11.5 　根据头部位置更新绘制图像134

11.5.1 　修改视图矩阵135

11.5.2 　修改投影矩阵136

11.6 　小结139

第12章 　基于Kinect的自主移动机器人的设计与实现140

12.1 　KRobot项目简介141

12.2 　技术实现概述141

12.3 　利用深度数据进行摄像机标定142

12.4 　利用深度数据实现障碍规避143

12.4.1 　获取彩色图和深度图数据144

12.4.2 　处理深度图和深度数据146

12.4.3 　制定障碍物判定规则148

12.4.4 　制定机器人避障规则151

12.5 　利用骨架数据实现人体跟踪152

12.6 　利用麦克风进行声音定位154

12.7 　完善人机交互演示系统156

12.8 　小结158

附录A 　Kinect for Windows SDK类、结构类型和枚举类型159

文章试读：　　Kinect是微软公司推出的最新的基于体感交互的人机交互设备。Kinect最初作为Xbox 360的外接设备发布，利用即时动态骨骼追踪、影像识别、麦克风输入、语音识别等功能让玩家摆脱传统游戏手柄的束缚，通过自己的肢体动作来控制游戏。到2011年3月，Kinect已经售出了1000多万台，创造了新的销售记录，同时也表明了Kinect全新的体感交互体验征服了众多玩家的心。微软公司并没有将这一先进技...

(查看全部试读)