视频分析(Video Analytics)是计算机视觉的一个分支，也被称作视频理解。视频分析旨在通过计算机自动地提取和识别视频中的物体（例如车辆）、事件（例如人体行为）等信息，其中的子任务有视频目标跟踪、视频实例分割、行为识别、时序行为检测等。随着摄像设备的普及和互联网的发展，视频的录制和分享愈发便捷，监控视频、互联网视频的数量爆发式增长，催生了大量视频分析的需求，相关应用领域有自动驾驶、在线教育、智能安防、智慧零售、视频智能剪辑、视频内容审核、视频检索、人机交互目前团队对视频分析的研究集中在视频实例分割(Video Instance Segmentation)和时序行为检测(Temporal Action Detection)两个子任务上。视频实例分割旨在同时完成视频中物体的检测、分割以及跟踪。时序行为检测的目标是从长视频中提取感兴趣的行为发生的视频片段，并识别行为的类别。自2021年以来，团队已有多篇对两个子任务的研究论文发表在CVPR/ECCV/TIP等高水平会议和期刊上，其中两篇被ECCV 2022接收为口头报告(Oral)；在CVPR 2022 YouTubeVOS竞赛视频实例分割赛道获得[冠军]；在CVPR 2021提出了首个大规模多镜头行为检测数据集[MUSES]。

相关成果

视频实例分割

1. Junfeng Wu, Qihao Liu, Yi Jiang, Song Bai, Alan Yuille, Xiang Bai.  In Defense of Online Models for Video Instance Segmentation . ECCV 2022 (Oral). [paper] [code] [video]

2. Junfeng Wu, Yi Jiang, Song Bai, Wenqing Zhang, Xiang Bai. SeqFormer: Sequential Transformer for Video Instance Segmentation. ECCV 2022 (Oral). [paper] [code]

3. Junfeng Wu, Xiang Bai, Yi Jiang, Qihao Liu, Zehuan Yuan, Song Bai.  1st Place Solution for YouTubeVOS Challenge 2022: Video Instance Segmentation . CVPR 2022 workshop. [paper] [code]

时序行为检测

1. Xiaolong Liu, Song Bai, Xiang Bai. An Empirical Study of End-to-end Temporal Action Detection. CVPR 2022. [paper] [code]

2. Xiaolong Liu, Qimeng Wang, Yao Hu, Xu Tang, Shiwei Zhang, Song Bai, Xiang Bai. End-to-End Temporal Action Detection with Transformer. IEEE Transactions on Image Processing (TIP) 2022. [paper] [code]

3. Xiaolong Liu, Yao Hu, Song Bai, Fei Ding, Xiang Bai, Philip H.S. Torr. Multi-shot Temporal Event Localization: a Benchmark. CVPR 2021. [paper] [dataset] [code]

4. Xiaolong Liu, Yuchao Sun, Jianghu Lu, Cong Yao, Yu Zhou. Self-similarity Action Proposal. IEEE Signal Processing Letters 2020. [paper]