Facebook开源算法代码库轻松复现前沿视频了解模型

作者:责任编辑NO。蔡彩根0465时间:2020-01-07 17:49:24  阅读:4040+

机器之心发布

机器之心修改部

在近些年的视频了解研讨中,Facebook AI Research 贡献了许多精彩的作业。近来,FAIR视频团队在 ICCV 相关研讨会上开源了视频辨认检测代码库 PySlowFast,并一起发布了预练习的模型库。一起,该团队表明,他们还将实时将他们的前沿作业增加至此代码库。

项目地址:https://github.com/facebookresearch/SlowFast

Tutorial 地址(附 PPTT 资源):https://alexanderkirillov.github.io/tutorials/visual-recognition-iccv19/

视频与动作了解俨然已成为当今最炽热的研讨方向之一,然而在开源社区中找到一个简练、高效、易于修正的视频了解代码库仍不是一件简略的工作。更重要的是,复现当今前沿的 (state-of-the-art) 的深度学习模型一直是一件令研讨者头疼的工作。

这些视频了解模型往往动辄几十 GFlops,需求练习数天,而复现出一个模型需求重复的试验调参,让每个细节都正确。这往往会消耗许多的时刻和资源,让许多研讨者望而生畏。

Facebook AI Research 在 CVPR、ICCV 等国际会议发布了很多研讨作业,并赢得了 CVPR 2019 行为检测挑战赛的冠军。然后,在本年的 ICCV 上,FAIR 推出了他们的视频了解代码库:PySlowFast。

PySlowfast 是一个依据 PyTorch 的代码库,让研讨者能够垂手可得地复现从根底至前沿的视频辨认 (Video Classification) 和行为检测 (Action Detection) 算法。

不但如此,PySlowFast 代码库一起开源了许多预练习模型 (pretrain models),让研讨者省去了重复练习模型的烦恼,能够直接运用 FAIR 预练习的前沿 (cutting edge performance) 模型。

pySlowFast开源的模型的可视化检测成果

自开源后,PySlowFast 就一度连任 GitHub 趋势榜前十。以下对此开源项目进行了扼要介绍。 依据研讨会教程和开源代码库信息,PySlowFast 既供给视频了解基线(baseline)模型,还供给了当今前沿的视频了解算法复现。其算法不单单包含视频视频(video classification),一起也包含行为检测(Action Classification)算法。

与当今开源社区中各种视频辨认库复现出良莠不齐的功能比较,运用 PySlowFast 可垂手可得地复现出当今前沿的模型。

视频辨认(Kinetics)

表 1:PySlowFast 在视频分类数据库 Kinetics 400 上的功能)(节选自 https://github.com/facebookresearch/SlowFast/blob/master/MODEL_ZOO.md)

PySlowFast 不单单能够用于视频分类,一起也可用于视频了解,并供给赢得了 2019 年 CVPR ActivityNet Challenge Winner 的视频检测模型。

行为检测(AVA)

此外,PySlowFast 预留了接口,可经过简略的修改支撑多模态视频了解、视频自监督学习等等使命。该团队称,PySlowFast 将被活跃保护,实时更新其团队和业界的前沿算法,同开源其预练习模型,使代码库成为视频了解范畴的基线标杆。

经过以下教程,读者们能够简略试用下 PySlowFast 代码库。在完结装置后,经过下载 MODEL_ZOO 供给的预练习模型和相应的配置文件,运转如下代码,就能够测验(Test)模型在不同视频数据库上的功能:

pythontools/run_net.py--cfgconfigs/Kinetics/C2D_8x8_R50.yamlDATA.PATH_TO_DATA_DIRpath_to_your_datasetNUM_GPUS2

咱们我们能够发现,经过此代码库能够容易复现出前沿的高功能模型,一起读者们也能够测验经过简略的修正来完成自己的模型,并用多台 GPU 进行练习得到前沿的功能。

“如果发现本网站发布的资讯影响到您的版权,可以联系本站!同时欢迎来本站投稿!