FunClip是什么

FunClip是阿里达摩院通义实验室推出的一款完全开源、本地部署的自动化视频剪辑工具，通过调用阿里巴巴通义实验室的FunASR Paraformer系列模型实现视频的自动化语音识别。用户可以根据识别结果，选择文本片段或特定说话人，快速裁剪出所需视频片段。FunClip的特色包括集成高精度的中文ASR模型、支持热词定制化、说话人识别，以及提供Gradio交互界面，使得视频剪辑变得简单方便。此外，它还支持多段剪辑，并能自动生成SRT字幕文件。

FunClip - 阿里达摩院开源的AI自动视频剪辑工具

FunClip的主要功能

  • 自动化语音识别：利用阿里巴巴通义实验室的FunASR Paraformer系列模型，对视频进行语音识别，将语音转换成文字。
  • 热词定制化：通过集成的SeACo-Paraformer模型，用户可以指定一些实体词、人名等作为热词，以提升特定词汇的识别准确率。
  • 说话人识别：集成CAM++说话人识别模型，允许用户根据自动识别的说话人ID裁剪出特定说话人的视频段落。
  • 视频裁剪：用户可以选择识别结果中的文本片段或指定说话人，通过点击裁剪按钮获取对应视频片段。
  • Gradio交互界面：通过Gradio实现的交互界面，简化了视频剪辑的操作流程，用户可以在服务端搭建服务并通过浏览器进行剪辑。
  • 多段剪辑支持：FunClip支持用户对视频进行多段剪辑，提供了灵活的编辑能力。
  • 自动生成字幕：剪辑后的视频可以自动生成全视频和目标段落的SRT字幕文件，方便用户添加或编辑字幕。
  • 命令行调用：除了图形界面，FunClip还支持通过命令行进行视频识别和裁剪，提供了更灵活的使用方式。

FunClip的官网入口

如何使用FunClip

方法一：本地部署Gradio版本

首先确定电脑上已安装Python和Git，然后打开终端依次输入并运行以下命令

git clone https://github.com/alibaba-damo-academy/FunClip.git

cd FunClip && pip install -r ./requirments.txt

python funclip/launch.py

最后浏览器访问localhost:7860即可体验FunClip

方法二：在线体验魔搭社区Demo

访问魔搭社区提供的在线Demo，然后按照下方的步骤操作：

  1. 上传视频或音频文件（或使用下方的用例体验），点击「识别」按钮
  2. 复制识别结果中所需的文字至右上方，或者右设置说话人标识，设置偏移与字幕配置（可选）
  3. 点击「裁剪」按钮或「裁剪并添加字幕」按钮获得结果

方法三：命令行运行相关指令

打开终端依次输入并运行以下命令

# 1. 克隆GitHub源代码
git clone https://github.com/alibaba-damo-academy/FunClip.git
# 2. 安装Python依赖
cd FunClip && pip install -r ./requirments.txt
# 3. 添加视频进行识别
python funclip/videoclipper.py --stage 1 \
--file examples/2022云栖大会_片段.mp4 \
--output_dir ./output
# ./output/目录下将输出识别结果和.srt字幕文件
# 4. 裁剪命令
python funclip/videoclipper.py --stage 2 \
--file examples/2022云栖大会_片段.mp4 \
--output_dir ./output \
--dest_text '我们把它跟乡村振兴去结合起来，利用我们的设计的能力' \
--start_ost 0 \
--end_ost 100 \
--output_file './output/res.mp4'