微软亚洲研究院 视觉计算组
微软亚洲研究院-视觉计算组
概述
视觉计算组的研究课题涉及计算机视觉、模式识别、机器学习、图像/视频的编辑和检索等领域中的最前沿的问题，近期的一些代表性项目包括：人脸实时检测和跟踪、人脸识别、三维人脸建模， 数码相册管理，基于图像的光照计算、 图像拼图、视频蒙太奇、视频修复、2D/3D目标跟踪以及MSN在线视频聊天中的数字特效等。这些研究将为未来的桌面和互联网应用软件提供更高效、更方便和更有乐趣的用户界面及图像/视频处理技术，将会使计算机的应用变得更加丰富多彩。
代理负责人: 李世鹏
项目
人脸识别技术
此项目研究实时自动识别人脸的技术和算法，以能够在不同光照视角和表情条件下提供自动实时、高准确度的人脸检测、跟踪、定位和识别。基本问题在于分析人脸模式内在结构，即其在高维图像数据中的低维线性和非线性子空间，并有效地建模。研究成果将用于人机接口、保安监控、人脸图形与动画、数码相册管理。下面的链接提供了一个像册管理的演示版本：http://research.microsoft.com/vc/
模式识别与机器学习
此项研究致力于探索视觉与听觉信息处理和理解中的基础问题，以发展出分析和理解现实世界中图像、视频及音频数据的新技术和算法。课题包括：基于样本的学习，线性及非线性子空间分析，基于统计学习的建模和分类识别方法。
视频数字特效
随着计算机、视频摄像机、以及网络的飞速发展，制作并共享（比如YouTube, SoapBox）视频短片越来越容易。为了创作有趣的视频短片，开发新颖易用的视频特效编辑工具非常必要。虽然现有的视频处理技术比如虚化、颜色矫正/增强等很容易使用，但这些技术无法增加视频短片的趣味性。我们研制了一系列全新的视频编辑工具，这些工具可以让用户轻松的在视频中增加数字特效来增加视频的趣味性和观赏性：
视频对象插入：在原有视频中嵌入合成的3D对象或者超链接；
(1) 视频对象分割：分离视频中的前景和背景；
(2) 视频修复：修复视频中遭破坏的部分；
(3) 视频蒙太奇：快速浏览超长视频文件；
(4) MSN视频聊天数字特效：我们在下面链接中提供了一个可以下载的演示版本http://research.microsoft.com/vc/DigitalEffectDownload.aspx。
人体运动分析与合成
研究如何对运动捕捉数据进行有效表示，并用统计学习的方法对人体运动进行建模。基于训练得到的概率模型，可以实现对复杂人体动作的跟踪、识别，甚至可生成具有真实感的动画序列。基本问题在于：
(1) 分析运动捕捉数据，将高维的非线性空间映射为低维的线性空间，并有效表示；
(2) 分析人体的动力学和运动学特征，用控制理论的方法进行有效建模；
(3) 对于复杂的人体运动模式，用统计学习的方法表示其概率分布；
(3) 在不同约束条件下合成具有真实感的人体运动动画。
交互式计算机视觉
交互式计算机视觉研究如何结合计算机视觉算法和用户界面来解决计算机视觉问题。 计算机视觉中包含大量的具有歧义的、涉及人工智能的图像理解问题，例如图像分割，物体识别。交互式计算机视觉将用户包含到问题的求解过程中，充分结合人类的高层智能和计算机的强大计算能力，达到帮助用户快速完成计算机视觉任务的能力。交互式计算机视觉的其中之一应用是帮助普通用户完成照片处理、修改、增强、修复、合成等任务。我们希望通过对交互式计算机视觉的研究，能够更加深入地理解和解决目前计算机视觉领域中的难题，同时开发对用户有用的技术。
真伪图像识别
随着数码相机的普及和图像编辑技术的改进，现在合成一张肉眼无法辨别真伪的图像已经是一件很容易的事。这些合成图像虽然能降低生产成本并给人们带来很多乐趣，但它们的存在也能导致很多纠纷甚至法律问题。因此有必要开发能让计算机识别图像真伪的技术。我们经过多次试验，发现相机感光器件的反应函数(response function)和JPEG图像的二次量化效应(double quantization effect)能够用来识别一幅图像是否被篡改过。
论文
Image Vectorization using Optimized Gradient Meshes
Jian Sun, Lin Liang, Fang Wen, Heung-Yeung Shum.Image Vectorization using Optimized Gradient Meshes.SIGGRAPH 2007
Offline Signature Verification Using Online Handwriting Registration
Yu Qiao, Jianzhuang Liu,Xiaoou Tang. Offline Signature Verification Using Online Handwriting Registration, CVPR 2007
EasyAlbum: An Interactive Photo Annotation System Based on Face Clustering and Re-ranking
Jingyu Cui, Fang Wen, Rong Xiao and Xiaoou Tang. EasyAlbum: An Interactive Photo Annotation System Based on Face Clustering and Re-ranking. SIGCHI 2007.
拖放图像粘贴
Jiaya Jia (Chinese University of Hong Kong), Jian Sun, Chi-Keung Tang (Hong Kong University of Science and Technology), Heung-Yeung Shum. Drag-and-Drop Pasting. SIGGRAPH 2006
色彩谐调之研究
Daniel Cohen-Or (Tel Aviv University), Olga Sorkine (Tel Aviv University), Ran Gal (Tel Aviv University), Tommer Leyvand (Tel Aviv University), Ying-Qing Xu. Color Harmonization. SIGGRAPH 2006
基于闪光的高精度前景物体分割
Jian Sun, Yin Li, Sing Bing Kang, Heung-Yeung Shum. Flash Matting. SIGGRAPH 2006
基于网格编织的几何纹理合成
Kun Zhou, Xin Huang, Xi Wang, Yiying Tong, Mathieu Desbrun, Baining Guo, Heung-Yeung Shum. Mesh Quilting For Geometric Texture Synthesis. SIGGRAPH 2006
基于表观流型的时变材质表观建模方法
Jiaping Wang, Xin Tong, Stephen Lin, Minghao Pan, Chao Wang, Hujun Bao, Baining Guo, Heung-Yeung Shum. Appearance Manifolds for Modeling Time-Variant Appearance of Materials. SIGGRAPH 2006.
动态场景中基于球面调和指数的实时软影绘制
Zhong Ren, Rui Wang, John Snyder, Kun Zhou, Xinguo Liu, Bo Sun, Peter-Pike Sloan, Hujun Bao, Qunsheng Peng, Baining Guo. Real-time Soft Shadows in Dynamic Scenes using Spherical Harmonic Exponentiation. SIGGRAPH 2006.
子空间梯度域的网格形变
Jin Huang, Xiaohan Shi, Xinguo Liu, Kun Zhou, Li-Yi Wei, Shang-Hua Teng, Hujun Bao, Baining Guo, Heung-Yeung Shum. Subspace Gradient Domain Mesh Deformation. SIGGRAPH 2006.
Color Sketch Generation
Fang Wen, Qing Luan, Lin Liang, Ying-Qing Xu and Heung-Yeung Shum. Color Sketch Generation. NPAR 2006.
Accurate Face Alignment using Shape Constrained Markov Network
Lin Liang, Fang Wen, Ying-Qing Xu, Xiaoou Tang and Heung-Yeung Shum, Accurate Face Alignment using Shape Constrained Markov Network, Proc. CVPR 2006
An Integrated Model for Accurate Shape Alignment
Liang Liang, Fang Wen, Xiaoou Tang, Yingqing Xu, An Integrated Model for Accurate Shape Alignment, Proc. ECCV 2006
Background Cut
Jian Sun, Weiwei Zhang, Xiaoou Tang, Heung-Yeung, Background Cut, Proc. ECCV 2006
Joint Boosting Feature Selection for Robust Face Recognition
Rong Xiao, Wujun Li, Yuandong Tian, Xiaoou Tang, Joint Boosting Feature Selection for Robust Face Recognition, Proc. CVPR 2006
An Intensity Similarity Measure in Low-Light Conditions
F. Alter, Yasuyuki Matsushita, Xiaoou Tang, An Intensity Similarity Measure in Low-Light Conditions, Proc. ECCV 2006
The Design of High-Level Features for Photo Quality Assessment
Yan Ke, Xiaoou Tang, Feng Jing, The Design of High-Level Features for Photo Quality Assessment, Proc. CVPR 2006
Picture Collage
Jingdong Wang, Jian Sun, Long Quan, Xiaoou Tang, Heung-Yeung Shum, Picture Collage, Proc. CVPR 2006
Video Completion by Motion Field Transfer
Takaaki Shiratori, Yasuyuki Matsushita, Sing Bing Kang, Xiaoou Tang, Video Completion by Motion Field Transfer, Proc. CVPR 2006
Space-Time Video Montage
Hong-Wen Kang, Yasuyuki Matsushita, Xiaoou Tang, Xue-Quan Chen, Space-Time Video Montage, Proc. CVPR 2006
更多论文……
- 上一篇 关于数据集与源代码
- 下一篇 数据挖掘资源！[分享]