PyTorch on 醉后的星星

Windows本地部署3d-photo-inpainting项目

Mon, 27 Apr 2020 12:12:00 +0000

前几天我接触了一个由2D图片生成3D视频的开源项目：https://github.com/vt-vl-lab/3d-photo-inpainting [post cid=“168” /] 当时是在谷歌的Colab平台上运行的，在线平台虽方便，但是连接性不好，时断时续的体验差。最蛋疼的是运行环境不能被保存，第二天想用就得从头安装环境，相当耽误时间。于是我就试了本地部署该项目，虽然官方给出的Linux上的部署教程，但我又不是程序员，懒得整一套Linux系统了，就仿照着在Windows上部署了一下，结果是完全可行的。

前提

电脑已安装Anaconda
电脑GPU支持cuda加速并安装相应版本cuda驱动

[post cid=“146” /]

步骤

打开Anaconda控制台新建一个环境

conda create -n 3DP python=3.7 anaconda
conda activate 3DP

下载项目和模型

git clone git@github.com:vt-vl-lab/3d-photo-inpainting.git

手动下载这里面的4个模型并放置在相应文件夹：https://github.com/vt-vl-lab/3d-photo-inpainting/blob/master/download.sh [scode type=“blue”]这一步我下好并打包放在一起了：https://pan.2bboy.com/Public/Software/www/3d-photo-inpainting.zip[/scode]

下载依赖库

cd 3d-photo-inpainting
pip install -r requirements.txt
conda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit==10.1.243 -c pytorch

下载速度感人请试着换源或代理 [post cid=“163” /]

将jpg格式的图片放在image目录下，运行命令

python main.py --config argument.yml

利用分层深度修补技术将2D图片3D化

Wed, 22 Apr 2020 11:16:00 +0000

偶然在果壳的推送中看到这个项目：https://shihmengli.github.io/3D-Photo-Inpainting/ 感觉很有意思，可以将一张普通的2D照片经过处理得到一张具有深度空间的3D照片，准确点来说这应该叫2.5D比较像。应该是基于Pytorch训练出来的模型，官网展示的效果都相当惊艳。官网展示的都是现实中照片，下面我试着对动漫图片进行处理，看看能不能得到一个“3D老婆”。

实践

官网拉到下面的Links，开发者提供了github链接和Golab链接，github链接的文档有详细的本地部署说明，用的是Anaconda部署的。这里我笔记本不便于运行这种大项目，好在它直接提供了Golab的demo，只要你有一个谷歌账号或者说是gmail邮箱，然后能上得了人家的Colab网站，直接点击官网的Demo或者下面的链接就可以在线部署运行了。 https://colab.research.google.com/drive/1706ToQrkIZshRSJSHvZ1RuCiM__YX3Bz 先点击切换到playgrand模式，当然你也可以继续点击复制到云端硬盘来创建属于你的副本。然后按顺序一路点击运行即可，中间需要的只有漫长的等待。运行前可以先看下它遗留的那一长串运行结果，我们命令执行完成后会得到与之相同的输出结果，如果哪一句运行失败继续点击重新运行直至成功。运行下面这一句上传一张原始jpg图片，上传的图片会放在左边image目录下，上传前最好清空image目录下的图片防止后面一步读取到错误的图片。有时候由于连接性问题会上传不上去，这时候可以试试手动上传然后将图片拖动到image目录下。最后一步生成3D深度图片，这里也需要等待。。。生成的可视化视频在video目录下，每次程序会生成四个不同角度的的视频，双击可下载到本地。

视频演示

B站上面部分图片打了码，下面是原视频。 [vplayer url=“https://pan.2bboy.com/img/video/3dpic_p2.mp4” /]

后记

[post cid=“170” /]

基于深度学习的Vtuber生成器

Sat, 11 Jan 2020 12:52:00 +0000

什么是Vtuber我就不多说了，目前的Vtuber大概要么是传统的基于Live2D，然后配合视频捕捉；要么就是3D模型结合动补设备来实现。本篇介绍的这个生成器主要是类似前者，因为即使是平面的Live2D，制作起来也是非常耗时费力的。那么有没有这么一种方法可以直接从一张人设图直接生成可动的模型呢，然后配合视频捕捉出道Vtuber呢，这就是今天所介绍的生成器的功能。

原理

这是原作者的说明界面：https://pkhungurn.github.io/talking-head-anime/ 里面较为详细介绍了他的生成器的原理和训练过程。这里介绍一个图片生成网站：https://waifulabs.com/ 一个可以生成老婆半身像的网站，作者用这个网站生成的图片来对软件进行测试，当然你也可以拿自己喜欢的图来测试。

试玩

这是原作者的源码：https://github.com/pkhungurn/talking-head-anime-demo 以下是我根据源码说明做的简单总结。步骤： [scode type=“lblue”]1. 安装PyTorch，电脑要求必须是能支持CUDA的N卡才行，PyTorch安装[/scode]

[scode type=“yellow”]后面作者的源码和readme都进行了一定更新，建议自己根据源码里的readme进行部署，本文的文件和方法可能过时，仅供参考。[/scode]

[scode type=“lblue”] 2. 下载上面的源码，然后下载这里的模型数据和这个文件。下载好后把文件按源码说明解压放到data目录下。[/scode]

[scode type=“lblue”]3. 接下来要安装相应的库，简单点就按作者文档里的运行要先安装cv2和dlib库，否则会报错，安装cv2用 pip install opencv-python ,安装dlib还有个坑，踩坑。[/scode]

[scode type=“lblue”] 4. 进入PyTorch环境，cd到项目文件夹，输入 python app/manual_poser.py，弹出界面，导入图片即可，这里的图片还必须是256x256的背景为空的png图片，人物的脸也要保持在中间位置，然后拖动滑块图片就能动了。强调一下这里仅仅是让图片动起来了，并不能生成其他的什么模型用于第三方软件，而且图片也挑的，不是随便张图片都能有很好的效果。[/scode]

[scode type=“lblue”]5. 作者原文里还有一个 python app/puppeteer.py应该是直接动补摄像头数据的，由于我电脑没有摄像头，后面有空再研究。[/scode]

视频演示

后记

后来用手机摄像头连接电脑，测试了面捕功能，见视频的P2。

Win10安装PyTorch（GPU）

Sat, 11 Jan 2020 10:48:00 +0000

先确保你的电脑的独显支持CUDA，否则只能用CPU运算。这里可以查看自己显卡型号是否支持CUDA以及CUDA计算能力：https://developer.nvidia.com/ 安装工具：Anaconda 常用命令这是官方安装指南：https://pytorch.org/get-started/locally/#anaconda

安装CUDA

官方安装指南：https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html 查看自己的显卡驱动型号支持的CUDA版本：

方式一

在命令行里依次输入下面两条命令

cd C:\Program Files\NVIDIA Corporation\NVSMI
nvidia-smi.exe

然后根据显示的 Driver Version 和下面的图确定自己驱动支持的cude版本上面这张表来自：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#cuda-major-component-versions

方式二

通过NVIDIA的控制面板查看自己显卡驱动版本：https://jingyan.baidu.com/article/363872ecf07d652f4ba16fda.html

确定CUDA版本后去官网下载：https://developer.nvidia.com/cuda-toolkit-archive 根据自己系统选择相应版本下载后安装。下载完成后点击安装即可，安装完在cmd控制台输入nvcc -V返回版本信息即安装成功。注：有些安装教程会要求安装cudnn，我这里暂时不用

安装PyTorch

因为是用Anaconda安装，先进入Anaconda控制台新建一个环境并激活，然后进入https://pytorch.org/get-started/locally/#anaconda 选择你要安装的版本和方式，会自动生成一条安装命令，复制命令粘贴运行。安装过程可能会很艰辛，主要就是那个pytorch的包太大了，足足有480M，建议试试换镜像源看看速度是否会提升，反正我最后是开了全局代理才下下来的。其他安装方式也可以试试。安装完成后输入python然后运行以下代码，返回Ture就说明CUDA是可以使用的

import torch
torch.torch.cuda.is_available()

PyTorch on 醉后的星星

Windows本地部署3d-photo-inpainting项目

前提

步骤

更多设置

利用分层深度修补技术将2D图片3D化

实践

视频演示

后记

基于深度学习的Vtuber生成器

原理

试玩

视频演示

后记

Win10安装PyTorch（GPU）

安装CUDA

方式一

方式二

安装PyTorch