视觉计算与可视化实验室 - ustcstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf ·...

24
董兰芳 中国科学技术大学计算机学院 Telephone:0551-3603484 Email:[email protected] Homepage: http://staff.ustc.edu.cn/~lfdong/research.html 视觉计算与可视化实验室

Upload: others

Post on 05-Jul-2020

8 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

董兰芳

中国科学技术大学计算机学院

Telephone:0551-3603484Email:[email protected]: http://staff.ustc.edu.cn/~lfdong/research.html

视觉计算与可视化实验室

Page 2: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

研究内容

视频和图像的内容分析、识别人脸检测和特征定位

视频分析

车牌识别

印章验证

手写签名验证

基于Android的人脸识别

2D和3D计算机动画基于几何模型的人脸动画

基于图象的人脸动画

基于物理的流体动画

三维服装

Page 3: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

研究内容

图像处理图像修复

纹理合成

科学计算可视化三维标量场可视化

体数据的三维重建

多核和GPU算法研究计算几何算法

图像处理算法

数值计算算法

Page 4: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

人脸检测和特征定位

视频智能分析

车牌识别

视频和图像的内容分析、识别

Page 5: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

人脸检测与特征定位

视频和图像的内容分析、识别

采用多层的Adaboost人脸检测算法基于样本统计的方式来优化初值利用人脸及五官的边缘的差分信息,修改了部分

关键特征点的搜索匹配结构。

Page 6: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

人脸检测与特征定位

视频和图像的内容分析、识别

Page 7: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

视频人脸跟踪

视频和图像的内容分析、识别

Page 8: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

视频和图像的内容分析、识别

预处理 车牌搜索车牌定位与分割

结 果

灰度化 二值化 滤波

识 别

车牌识别流程

车牌识别

Page 9: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

视频和图像的内容分析、识别

最大值点

1、原图

2、水平Sobel边缘图

3、Hough变换r-θ域

4、对应最长直线

5、矫正完成

车牌校正的流程

车牌识别

Page 10: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

基于几何模型的人脸动画

基于图像的人脸动画

基于物理的计算机动画

计算机动画

Page 11: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

人脸建模与动画

使用正交照片生成三维人脸

Page 12: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

人脸建模与动画

三维人脸变形:由一个正面人脸(a)模型生成各种人脸

Page 13: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

输入文本+表情标签

TTS引擎 音素+表情 时间计算

音素时间 表情时间

音素帧 表情帧

混合驱动FDP和网格点

声音合成

视频输出

音频输出

三维表情合成和语音动画

人脸建模与动画

Page 14: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

二维表情合成和语音动画:输入一张照片,生成和语音同步的动画

人脸建模与动画

Page 15: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

由一张照片渐变成另一张照片

人脸建模与动画

Page 16: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

基于物理的计算机动画

V V VG H b't x y

, , , ,

2 2,

12

(1 ) ( )

( )

t t t t t ti j i j i j i j

nt t

k i j kk

h h k t h h

t C b h h

x

2 2 22

2 2 2( )h h h hk Ct t x y

简化的Navier-Stokes方程

Page 17: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

基于物理的计算机动画

(a)雨点波

(c)船波

(e)小球入水

(d)棍棒搅动

(f)气泡(b)紊乱波

(f)综合效果图

求解简化的Navier-Stokes方程模拟水以及物体和水的交互

Page 18: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

基于物理的计算机动画

模拟无边无际的水

Page 19: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

图像自动修复

将行人从照片中移去。该技术可以应用于古旧图像和照片的修复。

Page 20: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

科学计算可视化_标量场数据可视化

对火灾模拟的数据进行可视化,可以观察火势的蔓延。

Page 21: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

科学计算可视化_标量场数据可视化

Page 22: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

预处理

等值线生 成

填充标记

人机交互

显示

科学计算可视化_标量场数据可视化

Page 23: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

体数据的三维重建

根据三维扫描仪产生的点云数据,生成物体的三维模型。

Page 24: 视觉计算与可视化实验室 - USTCstaff.ustc.edu.cn/~lfdong/teach/labintro_lanfangdong.pdf · 基于Android的人脸识别 2D和3D计算机 ... 驱动FDP和 网格点 声音合成

视觉计算与可视化实验室

欢迎交流!

更多信息请参见http://staff.ustc.edu.cn/~lfdong/research.html