Stable Video Diffusion 下载+安装+使用 教程

对于 Stable Diffusion,想必读者朋友们对此都不陌生。

自 Stability AI 公司发布 SD(全称:Stable Diffusion) 以来,受到了很多人的喜爱。

随后技术升级,又发布了 SDXL,名字很有喜感,XL、XXL、XXXL...

顾名思义,SDXL 就是 SD 的升级版,图片生成的效果更好、更逼真、分辨率更高!

图片领域做得不错了,Stability AI 再次发力,又发布了 Stable Video Diffusion。

 

一、Stable Video Diffusion是什么?

也就是说,通过一句话描述,现在不仅可以生成图片,还可以生成视频了。

Stable Video Diffusion是一种先进的视频合成技术,它能够将真实场景与虚拟物体完美地融合在一起,呈现出非常逼真的效果。这种技术可以应用于电影制作,游戏开发,广告创意等多个领域,从而为视频制作带来更多的可能性和创造性。

 

举几个例子。

1、“火箭升天”,AI 算法直接生成对应的视频效果如下:

 

2、“太空中转动的地球”,AI 算法直接生成对应的视频效果如下:

 

是不是感觉效果还不错?可喜可贺的是Stability AI 把 Stable Video Diffusion 也开源了!

 

Stable Video Diffusion 介绍

一共开源了两个模型:

  • SVD:能够生成帧率 14、分辨率 576x1024 的视频;
  • SVD-XT:SVD 的 finetune 升级版,分辨率不变,但能够生成帧率 25 的视频;

 

注意:

想要本地跑 Stable Video Diffusion,显存得要 20G 左右。

 

二、Stable Video Diffusion 下载+安装+简单使用 教程

 

1、下载代码库

git clone https://github.com/Stability-AI/generative-models.git
cd generative-models

 

2、配置 Python 环境

由于第三方依赖库的要求,Python 需要至少是 3.10 版本以上。

下面的步骤如果你想用”venv“创建虚拟环境,命令大概类似如下:

python3 -m venv .pt2
source .pt2/bin/activate
pip3 install -r requirements/pt2.txt

我这下面就先用conda环境管理工具了,原理都是一样的。

 

第一步:推荐使用 conda 新建一个环境。

conda create -n py310 python==3.10

 

第二步:激活环境,并安装相应的依赖。

conda activate py310
python -m pip install -r requirements/pt2.txt

 

第三步:最后再安装 sgm,直接在项目根目录运行即可。

python -m pip install .

 

第四步:如果想要训练模型,还需要安装 sdata,命令如下:

pip install -e git+https://github.com/Stability-AI/datapipelines.git@main#egg=sdata

我这里就不说了,直接跳走了,先不走这一步了。

毕竟我个人电脑是训练不起的,我相信绝大多数人应该是跟我一样的。。

 

3、模型下载

SVD 模型下载地址:https://huggingface.co/stabilityai/stable-video-diffusion-img2vid

SVD-XT 模型下载地址:https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt

 

下载好模型后,将模型放到 checkpoints 目录下。

 

4、运行算法

可以使用 streamlit 运行:

我们提供了一个用于文本到图像和图像到图像采样的Streamlit scripts/demo/sampling.py演示。

streamlit run scripts/demo/sampling.py --server.port <your_port>

 

总结:

好了,今天就暂时先说这么多吧!具体建议大家还是要去github上面看文档吧!上面介绍得更加的详细,也有很多其它的模型。

付杰
  • ¥ 59.8元
  • 市场价:99.8元
  • ¥ 199.0元
  • 市场价:399.0元
  • ¥ 798.0元
  • 市场价:1298.0元
  • ¥ 99.0元
  • 市场价:99.0元

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: