查看原文
其他

AI实现了大叔变少女?!在防抖动和高精度绘画上飞速变化!

wuhu小精灵 wuhu动画人空间 2023-08-26

wuhu专题


文/阿呜


前段时间大家还在探讨

AI绘画生成的模拟照片已经可以以假乱真

甚至都会有设计上的思考了

刚刚更新的midjourney5.1 

则细节效果更夸张

简直堪比高清摄像机

在电影氛围和构图设计上

直接效果拉满

AI生成的情侣照因「太真实」被全网疯传!该技术已实现与逝去亲人对话

值得注意的是

在最近

又有一个AI生成的写实视频刷屏了!

它居然可以实现

大叔秒变少女?!

为什么视频中的AI的应用已经几乎没有抖动还能如此稳定?
视频制作者透露幕后使用工具是Stable Diffusion、ControlNet、Temporalkit、Ebsynth等最终结合后期处理。
其中能如此稳定的输出使用Ebsynth是很重要的,Ebsynth是Secret Weapons在2019年7月9日发布的一款可轻易改变视频风格的免费AI工具,其特色功能是将真人视频转换成动画视频。

Ebsynth 适用于各种任务,例如为图像和视频着色、纹理传输和图像风格化。它的工作原理是分析源图像的视觉模式并将它们转移到目标图像上,同时保留它的整体结构和内容。
再结合Fusion的强大的后期和跟踪功能!

为了获得逼真的效果,不同物体的移动需要达到精准同步。Fusion可以自动跟踪、动作匹配并稳定镜头中的对象。您甚至还可以使用改进版平面跟踪器,来替代那些移动的标记或其他平面物体。此外,改进后的摄影机跟踪器还可以分析并匹配用于拍摄该场景的摄影机的实时移动!
基于稳定性,AI中真人和风格化的动态效果测试已经可以有更多拓展。
其中在这个视频里可以看到 ControlNet1.1 的 Tile 功能,增加描绘的细节。包括还可以应用在动态模型中建立好数据库进行快速细节渲染生成。

AI在概念设计上的拓展!

Blender AI 自动贴图插件 Dream Texture


Dream Texture这款自动贴图插件可以实现快速贴图,其原理就是从视图角度投射贴图,因为在 Stable Diffusion 的新模型可以生成深度图,因此贴合效果优化了很多,同时缺点也很明显,它只会渲染出表演的效果,比如换到视角背面就没有效果了,限用于快速贴图或者角度变化不大的场景效果,风格化场景应用效果较好。

AI让简笔画快速生成专业漫画!?

以下图案例为例,左图为简笔画,右图在场景和人物绘画上直接可以提供出优质的绘画方案。


如果可以结合的使用 ControlNet 的 canny、depth、lineart_anime还可以实现漂亮的着色。

AI上色效果视频展示

AI实现VTuber最简化的应用方法!
①选择好原始的3DCG角色并创建LoRA模型
②使用Stable Diffusion进行角色绘制
③使用iFacialMocap 控制表情
虽然比不上做工精细的Live2D,但是可以一口气搞定的动作也很可爱。
在唱跳结合方面,效果也逐渐稳定,技术的迭代有很多的拓展性。


本期话题

你还期待AI在哪方面的应用?



—END—


想了解更多动画资讯与有趣内容?点个“星标吧~



另外添加wuhu小精灵5号企业微信(17778021721) 发送“动画新势力”即可在不久后被邀请进群。







你一定还感兴趣:
听说神不能无处不在,于是创造了妈妈!

《庆余年2》刚开机又被曝出海报抄袭事件!设计团队公开致歉!

他狂迷中村丰!因画原神3秒小动画意外出圈!



高布兰学院10000欧元奖学金预科项目来了 !面向2024年报考高布兰的中国学生!



想了解更多后续的介绍要锁定wuhu哦,微博的小伙伴可以关注我们的新浪微博:wuhu动画人空间,对了!如果你想看更多动画作品,去b站搜索wuhu动画人空间看看?



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存