【1211更新】腾讯混元Hunyuan3D-1文/图生3D模型云端镜像一键运行

ops/2024/12/17 1:57:36/

目录

项目介绍

显存占用

11月21 新增纹理烘焙模块Dust3R

烘焙相关参数:

AutoDL云端镜像

启动说明

标准模型下载


【1212更新】腾讯混元Hunyuan3D-1文图生3D模型云端镜像一键运行

项目介绍

https://github.com/Tencent/Hunyuan3D-1

腾讯混元 3D 生成模型,支持文本和图像条件生成(对于文生3D,支持中/英双语生成)

为了解决现有的3D生成模型在生成速度和泛化能力上存在不足,我们开源了混元3D-1.0模型,可以帮助3D创作者和艺术家自动化生产3D资产。

我们的模型采用两阶段生成方法,在保证质量和可控的基础上,轻量版模型仅需10s即可完成单图生成3D,标准版则大约需要25s。

在第一阶段,我们采用了一种多视角扩散模型,轻量版模型能够在大约4秒内高效生成多视角图像,这些多视角图像从不同的视角捕捉了3D资产的丰富的纹理和几何先验,将任务从单视角重建松弛到多视角重建。

在第二阶段,我们引入了一种前馈重建模型,利用上一阶段生成的多视角图像。该模型能够在大约3秒内快速而准确地重建3D资产。重建模型学习处理多视角扩散引入的噪声和不一致性,并利用条件图像中的可用信息高效恢复3D结构。

最终,该模型可以实现输入任意单视角实现三维生成。

3d9be81dc1c50638e67.png" width="1200" />

显存占用

  • 标准版模型 需要30GB VRAM (使用 --save_memory需要 24G VRAM ).

  • 轻量版模型 需要 22GB VRAM (使用 --save_memory需要18G VRAM).

  • --save_memory 参数用于减少内存消耗,通过调整算法或数据结构来优化内存使用

--save_memory 参数在某些深度学习框架或库中,如PyTorch,用于在模型训练过程中减少GPU显存的占用。具体来说,这个参数会使得某些模型组件(如网络层)在不需要进行计算时自动移动到CPU内存中,从而节省GPU显存空间。当这些组件再次需要参与计算时,它们会被移回GPU。

这种做法被称为CPU Offloading,它是一种显存节省技术,可以在保持模型性能的同时减少显存的使用,特别适用于显存资源受限的情况。通过将模型的一部分或全部中间变量临时转移到CPU,可以有效地减少GPU显存的占用,同时在需要时再将它们移回GPU以继续计算。这种动态的内存管理策略有助于提高大规模模型训练的效率和可行性。

11月21 新增纹理烘焙模块Dust3R

请注意,这是一个非商业许可证,因此该模块不能用于商业目的。

纹理烘焙是一种在3D建模和渲染中常用的技术,它涉及将模型的材质、光照等信息预先计算并存储为2D纹理,以此来减少实时渲染的计算量,提高渲染效率。这种方法特别适用于将高多边形模型的细节信息转移到低多边形模型上,以保持视觉效果的同时减少性能消耗。

使用Dust3R进行纹理对齐和变形的过程中,Dust3R是一个开源项目,它旨在简化几何3D视觉重建。Dust3R通过一系列操作,包括图像加载、成对处理、预测和全局对齐,来实现3D场景的重建。在纹理烘焙的上下文中,Dust3R可能被用于处理和优化纹理映射,确保在3D模型之间传输纹理数据时,纹理的对齐和变形能够得到有效管理,减少渲染过程中的变形和拉伸问题。

具体来说,Dust3R可以处理图像对,并输出包含3D点信息的预测结果,这些结果可以用于后续的纹理烘焙过程。通过全局对齐器(global_aligner),Dust3R还能够优化预测结果,使得从一个物体投影到另一个几何体上的纹理信息保持准确性。这样,纹理烘焙模块可以利用Dust3R提供的精确3D信息,来实现更好的纹理对齐和变形效果。

烘焙相关参数:

参数默认值描述
--do_bakeFALSE这个参数是一个布尔值,用于指示是否执行烘焙操作。当设置为True时,程序将执行将多视图图像烘焙到网格(mesh)上的操作。烘焙过程中,图像的细节和特征会被捕捉并存储在纹理中,这样可以在渲染时减少计算量,提高效率。如果设置为False,则不会执行烘焙操作。
--bake_align_times3这个参数指定了图像与网格之间对齐的次数。在烘焙过程中,为了确保图像与网格的准确对应,可能需要多次执行对齐操作。这个参数控制了对齐操作的重复次数,以确保图像和网格之间的映射尽可能精确。数值越大,意味着更高的对齐精度,但同时也可能增加计算成本。

注意:如果需要烘焙,请确保--do_bake设置为True并且--do_texture_mapping也设置为True

AutoDL云端镜像

https://www.codewithgpu.com/i/Tencent/Hunyuan3D-1/Hunyuan3D-1.0

镜像大小:25.25GB 第一次拉取镜像较慢,请耐心等候,22分钟左右,

启动成功应该会收到短信通知!

启动说明

  • AutoDL创建实例启动后,点击运行即可

  • 默认端口1080

  • 本地使用「AutoDL-SSH-Tools」转发端口1080

链接:https://pan.quark.cn/s/ee8bef31034c

3dc3eb778.png" width="1200" />

标准模型下载

注:由于AutoDL系统盘只有30G,只下载了lite模型(4090单显卡可运行)

如需使用标准模型(4090需双卡)可将项目移动到数据盘autodl-tmp下 手动下载

 
mv /root/Hunyuan3D-1 /root/autodl-tmp/Hunyuan3D-1cd /root/autodl-tmp/Hunyuan3D-1huggingface-cli download tencent/Hunyuan3D-1 --local-dir weights


http://www.ppmy.cn/ops/142514.html

相关文章

期权懂|个人投资者可以交易期权吗?

期权小懂每日分享期权知识,帮助期权新手及时有效地掌握即市趋势与新资讯! 个人投资者可以交易期权吗? 个人投资者是可以交易期权的,但需要满足一定的条件和通过特定的途径。 一、个人投资者交易条件 (1)资金…

ES(elasticsearch)

文章目录 介绍在springboot项目集成ES操作步骤 介绍 Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎,它能够快速地存储、搜索和分析大量的数据。Elasticsearch 常用于全文搜索、结构化搜索、日志分析、实时应用监控等场景。 在springboot项目集成…

扫清C#泛型的迷障 - 从基础到实战

什么是泛型? 泛型(Generics)是C#的一种特性,它允许你在编写代码时,不指定具体的类型,而是使用类型参数作为占位符。这样一来,你的代码就可以对多种类型进行复用,增加了灵活性&#…

C语言学习day18:字符串操作/ANSI编码/宽字节/消息框/软件/游戏编码/逆向分析中的编码

今天我们将学习字符串操作,为什么要着重来说这个呢?因为这是为我们之后window开发和api做准备。好的,我们现在正式开始: 字符串 字符串就是一串文字。 比如:"好好学习,天天向上"就是一个字符串…

SpringBoot左脚进门之Maven管理家

一、概念 Maven 是一个项目管理和整合工具。通过对 目录结构和构建生命周期 的标准化, 使开发团队用极少的时间就能够自动完成工程的基础构建配置。 Maven 简化了工程的构建过程,并对其标准化,提高了重用性。 Maven 本地仓库 (Local Reposi…

淘宝详情网页爬虫:技术解析与实战指南

引言 淘宝作为中国最大的电商平台之一,拥有海量的商品数据。对于开发者来说,获取淘宝商品详情接口是一个常见的需求。本文将介绍如何使用Python编写爬虫,获取淘宝商品详情信息,并探讨在实际应用中可能遇到的挑战与解决方案。 环…

Element Plus Table 组件树形渲染实现方法

Element Plus的Table组件通过指定列表数据的children属性,实现树形数据的渲染;同时使用row-key标识唯一的行,依赖排序和子节点数据结构,以实现连动操作。 重要的设置有: 树形渲染配置项: 通过tree-props 配…

nodeJS转换视频格式

系统需要先安装 FFmpeg Download FFmpeg node安装模块 npm install fluent-ffmpeg 使用示例 把 wmv 格式转换 mp4 格式 const ffmpeg require(fluent-ffmpeg) const path require(path)function convertWmvToMp4(inputPath, outputPath) {ffmpeg(inputPath).output(outputP…