Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

使用AI生成3D模型，最终利用comfyUI渲染输出成片的工作流全过程以下是GPT4总结的制作流程： 1. 文本到3D生成在LumaLabs使用Gini文本到3D：访问LumaLabs网站，选择Gini文本到3D功能，输入如“Naruto T-pose”的描述性文本提示生成3D模型。预览和调整：预览生成的3D模型，根据需要调整文本提示或使用提供的选项重新生成以获得满意的结果。 2. 导入和编辑模型导入模型到Blender：将生成的3D模型（如身体、头部和手部）导入到Blender中。调整模型位置和比例：在Blender中调整各个部分的位置和比例，确保模型的整体协调。组合和调整细节：将不同的部件（头部、手部等）组合成一个完整的模型，对模型的姿态、细节进行必要的调整。模型优化：对模型进行必要的优化，包括调整网格和重新拓扑（如果需要），以便于动画处理。 3. 动画和导出应用骨骼和动画：将调整好的3D模型导出为FBX文件，然后在Mixamo网站上应用自动骨骼绑定和选择动画。导入动画到Blender：将带有动画的模型重新导入到Blender中进行进一步的编辑和调整。 4. 进一步编辑动画循环设置：在Blender中设置动画循环，确保动画可以平滑地循环播放。相机和光照设置：调整相机角度和光照设置，以改善动画的视觉效果和氛围。渲染设置：调整渲染设置，包括分辨率和渲染引擎设置，以获得高质量的动画输出。 5. 最终渲染和后处理渲染动画：在Blender中渲染完成的动画，导出为视频文件。后处理：可选地，将渲染完成的视频导入到Comfy UI或其他视频编辑软件中进行后处理，添加背景、特效和其他视觉元素，以完成最终的动画作品。通过这些具体的小步骤，从文本描述到完成的3D动画的整个制作过程被详细地概述和解释，为想要学习这一流程的人提供了一份详细的指南。

Yangyi

123,918 subscribers

25,462 Aufrufe • vor 2 Jahren •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

2 Kommentare

Profilbild von M.Zhou

M.Zhouvor 2 Jahren

相当牛逼

Profilbild von OSDev

OSDevvor 2 Jahren

rst @readwise save thread

Ähnliche Videos

以前想要制作数学和物理教学这类交互动画，需要用到 Manim 这些专业工具，还得搞清楚 LaTeX 公式渲染和相机运动等。现在用 Math-To-Manim 这个开源 AI 工具，只需要一句话简单描述就能自动生成完整的交互动画。从分析概念逐步构建到目标主题，自动生成包含详细 LaTeX 公式和镜头设计，全流程自动化完成。 GitHub：同时输出动画代码和完整的 LaTeX 学习笔记文档，并提供了 55+ 个涵盖物理、数学、计算机科学等领域的示例动画。通过克隆代码到本地，安装相关依赖，并配置好模型 API Key，即可在可视化操作界面输入描述生成动画。

以前想要制作数学和物理教学这类交互动画，需要用到 Manim 这些专业工具，还得搞清楚 LaTeX 公式渲染和相机运动等。现在用 Math-To-Manim 这个开源 AI 工具，只需要一句话简单描述就能自动生成完整的交互动画。从分析概念逐步构建到目标主题，自动生成包含详细 LaTeX 公式和镜头设计，全流程自动化完成。 GitHub：同时输出动画代码和完整的 LaTeX 学习笔记文档，并提供了 55+ 个涵盖物理、数学、计算机科学等领域的示例动画。通过克隆代码到本地，安装相关依赖，并配置好模型 API Key，即可在可视化操作界面输入描述生成动画。

GitHubDaily

39,865 Aufrufe • vor 8 Monaten

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,710 Aufrufe • vor 2 Jahren

兄弟们 3D Nano Banana 🍌来了 Hyper3D 推出其第二代 AI 3D 生成模型： Rodin Gen-2 Edit 该模型能在不破坏原有 3D 资产结构的前提下，通过语言对 3D 模型进行局部和增量修改。相当于用嘴在原3D模型上精修、动刀子，任意雕刻成你想要的样而且牛逼的是支持上传任意第三方 3D 模型都支持再编辑。主要功能： 1、局部编辑（核心能力）：支持框选模型的指定区域对选中区域执行三类操作：添加（Add）移除（Remove）修改（Modify）修改通过自然语言描述完成 2、自然语言驱动的 3D 编辑 - 语言作为编辑指令，而非仅用于生成提示 - 可描述结构变化、替换关系和风格调整 - 适合非专业建模人员参与 3D 修改流程 3、可导出、可用于下游流程模型可下载继续用于： DCC 软件（Blender 等）游戏 / 动画管线 3D 打印

兄弟们 3D Nano Banana 🍌来了 Hyper3D 推出其第二代 AI 3D 生成模型： Rodin Gen-2 Edit 该模型能在不破坏原有 3D 资产结构的前提下，通过语言对 3D 模型进行局部和增量修改。相当于用嘴在原3D模型上精修、动刀子，任意雕刻成你想要的样而且牛逼的是支持上传任意第三方 3D 模型都支持再编辑。主要功能： 1、局部编辑（核心能力）：支持框选模型的指定区域对选中区域执行三类操作：添加（Add）移除（Remove）修改（Modify）修改通过自然语言描述完成 2、自然语言驱动的 3D 编辑 - 语言作为编辑指令，而非仅用于生成提示 - 可描述结构变化、替换关系和风格调整 - 适合非专业建模人员参与 3D 修改流程 3、可导出、可用于下游流程模型可下载继续用于： DCC 软件（Blender 等）游戏 / 动画管线 3D 打印

小互

24,631 Aufrufe • vor 5 Monaten

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

宝玉

114,612 Aufrufe • vor 3 Jahren

字节跳动的新项目通过音频驱动静态照片生成动态视频并且生成头部和面部的自然动作，如表情变化、头部移动等。模型不仅支持各种音频和视觉风格，还能够生成高度逼真的细节，包括面部的微表情、眉毛和眼睛的细微变化以及头部的自然运动。它还支持生成非言语动作（如叹息、情感驱动的面部表情），使动画更加生动。效果非常不错... Loopy 摒弃了传统音频驱动生成方法中需要手动设定空间运动模板的限制。通过自主学习音频中的运动模式。可以自动生成逼真的肖像动画，无需人为干预，提升了生成过程的效率和灵活性。

字节跳动的新项目通过音频驱动静态照片生成动态视频并且生成头部和面部的自然动作，如表情变化、头部移动等。模型不仅支持各种音频和视觉风格，还能够生成高度逼真的细节，包括面部的微表情、眉毛和眼睛的细微变化以及头部的自然运动。它还支持生成非言语动作（如叹息、情感驱动的面部表情），使动画更加生动。效果非常不错... Loopy 摒弃了传统音频驱动生成方法中需要手动设定空间运动模板的限制。通过自主学习音频中的运动模式。可以自动生成逼真的肖像动画，无需人为干预，提升了生成过程的效率和灵活性。

小互

35,076 Aufrufe • vor 1 Jahr

兄弟们 Black Forest 推出了：BFL Skills 将 FLUX 图像生成能力打包为一个 Skills 模块无需手动配置模型、API 或提示词，可在Claude code里直接生成图像。 BFL Skills 封装了三款 FLUX 模型： [klein] 主打：亚秒级生成与编辑适合实时、快速反馈场景 [max] 主打：最高画质适合高保真、最终成品输出 [flex] 主打：文字渲染适合需要精确文本显示的图像生成场景如何安装： npx skills add black-forest-labs/skills 该命令会：安装 BFL Skills 将其注册为 Agent 可调用能力自动集成到支持的开发环境中 - 安装一次,所有配置自动完成 - 不需要手动处理 API 密钥、模型选择、提示词工程等

兄弟们 Black Forest 推出了：BFL Skills 将 FLUX 图像生成能力打包为一个 Skills 模块无需手动配置模型、API 或提示词，可在Claude code里直接生成图像。 BFL Skills 封装了三款 FLUX 模型： [klein] 主打：亚秒级生成与编辑适合实时、快速反馈场景 [max] 主打：最高画质适合高保真、最终成品输出 [flex] 主打：文字渲染适合需要精确文本显示的图像生成场景如何安装： npx skills add black-forest-labs/skills 该命令会：安装 BFL Skills 将其注册为 Agent 可调用能力自动集成到支持的开发环境中 - 安装一次,所有配置自动完成 - 不需要手动处理 API 密钥、模型选择、提示词工程等

小互

20,812 Aufrufe • vor 5 Monaten

重新优化了一天，调用googlemap的街景功能和3D视图功能，用OPENAI进行优化与关键地点提取，结合设计好的角色卡，调用Seedance的API，自动生成一个从起点到终点的案内视频。自动挑选路线中的几个标志性地点，然后让角色融入这些标志性地点去进行引导。生成几段后手动合成编辑。 AI改变生活。

重新优化了一天，调用googlemap的街景功能和3D视图功能，用OPENAI进行优化与关键地点提取，结合设计好的角色卡，调用Seedance的API，自动生成一个从起点到终点的案内视频。自动挑选路线中的几个标志性地点，然后让角色融入这些标志性地点去进行引导。生成几段后手动合成编辑。 AI改变生活。

梁

204,825 Aufrufe • vor 2 Monaten

参加数学建模竞赛，熬夜分析问题、写代码、做实验、写论文，3 天比赛下来身心俱疲。有位开发者正有如此经历，便开源了一个专为数学建模设计的 AI Agent：MathModelAgent。自动化完成整个数学建模流程：从问题分析、建立模型、编写代码到撰写论文，最终生成一份可以获奖级别的建模论文。 GitHub：主要功能： - 自动分析问题并建立数学模型，无需手动梳理复杂逻辑 - 集成代码执行环境，支持本地 Jupyter 和云端代码执行 - 多智能体协作：建模手、代码手、论文手分工合作 - 支持主流 AI 模型，每个智能体可配置最适合的模型 - 自动生成格式规范的完整论文，包含正确的文献引用 - 轻量化架构设计，成本低且部署简单提供 Docker、本地部署和自动脚本三种安装方式，有需要的同学可以看一下。

参加数学建模竞赛，熬夜分析问题、写代码、做实验、写论文，3 天比赛下来身心俱疲。有位开发者正有如此经历，便开源了一个专为数学建模设计的 AI Agent：MathModelAgent。自动化完成整个数学建模流程：从问题分析、建立模型、编写代码到撰写论文，最终生成一份可以获奖级别的建模论文。 GitHub：主要功能： - 自动分析问题并建立数学模型，无需手动梳理复杂逻辑 - 集成代码执行环境，支持本地 Jupyter 和云端代码执行 - 多智能体协作：建模手、代码手、论文手分工合作 - 支持主流 AI 模型，每个智能体可配置最适合的模型 - 自动生成格式规范的完整论文，包含正确的文献引用 - 轻量化架构设计，成本低且部署简单提供 Docker、本地部署和自动脚本三种安装方式，有需要的同学可以看一下。

GitHubDaily

37,444 Aufrufe • vor 10 Monaten

可以拿来做教育演示的一款动画引擎AI工具，Fogsight，给定一个概念词，它即会生成一段叙事完整的动画整个动画的叙事完整性、趣味性、视觉效果都还可以，用在教育上，把抽象概念做成教学动画非常实用生成的动画还配有双语旁白智能编排，从旁白、视觉元素到动态效果，整个工作流自动完成有用户界面，可以进一步编辑和优化生成效果代码作者是开源的，见下条 #AI教学动画 #Fogsight #AI教育

可以拿来做教育演示的一款动画引擎AI工具，Fogsight，给定一个概念词，它即会生成一段叙事完整的动画整个动画的叙事完整性、趣味性、视觉效果都还可以，用在教育上，把抽象概念做成教学动画非常实用生成的动画还配有双语旁白智能编排，从旁白、视觉元素到动态效果，整个工作流自动完成有用户界面，可以进一步编辑和优化生成效果代码作者是开源的，见下条 #AI教学动画 #Fogsight #AI教育

AIGCLINK

56,108 Aufrufe • vor 11 Monaten

Rodin 发布 Gen-2 3D模型 🚀 史无前例的百亿级参数量&数据规模 4倍更高的网格质量升级：生成的3D模型更加精细、清晰，细节最牛P的功能是：递归部件生成它不是一次性生成整个模型，而是把一个模型拆成很多小部件，然后用“递归”的方式逐步生成和优化这些部件。所以模型可以直接拆分成各种“零件” 有点意思😂

Rodin 发布 Gen-2 3D模型 🚀 史无前例的百亿级参数量&数据规模 4倍更高的网格质量升级：生成的3D模型更加精细、清晰，细节最牛P的功能是：递归部件生成它不是一次性生成整个模型，而是把一个模型拆成很多小部件，然后用“递归”的方式逐步生成和优化这些部件。所以模型可以直接拆分成各种“零件” 有点意思😂

小互

22,120 Aufrufe • vor 9 Monaten

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。词嵌入(Word Embedding)的概念和作用词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。深度学习模型的基本结构和特点深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。生成模型预测下一个词的过程当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。模型训练中的"Temperature"超参数在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。词嵌入(Word Embedding)的概念和作用词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。深度学习模型的基本结构和特点深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。生成模型预测下一个词的过程当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。模型训练中的"Temperature"超参数在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

歸藏(guizang.ai)

51,871 Aufrufe • vor 2 Jahren

兄弟们这个有点强啊而且是完全开源的感觉比OpenAI的演示的那个视觉能力还有点强 Molmo 一个开源的多模态模型，能够识别图像中的物体、场景和活动，并生成准确的描述。 Molmo还支持用户通过2D指向交互，例如用户可以通过手势或点击与图像中的对象进行互动。 Molmo使用的图像字幕数据集完全由人类注释者收集。模型能够根据输入的变化自动调整处理方式，适应不同类型的用户交互和数据格式。 Molmo在开源权重和数据模型中表现最佳，能够与一些专有系统（如GPT-4o、Claude 3.5和Gemini 1.5）相媲美。

兄弟们这个有点强啊而且是完全开源的感觉比OpenAI的演示的那个视觉能力还有点强 Molmo 一个开源的多模态模型，能够识别图像中的物体、场景和活动，并生成准确的描述。 Molmo还支持用户通过2D指向交互，例如用户可以通过手势或点击与图像中的对象进行互动。 Molmo使用的图像字幕数据集完全由人类注释者收集。模型能够根据输入的变化自动调整处理方式，适应不同类型的用户交互和数据格式。 Molmo在开源权重和数据模型中表现最佳，能够与一些专有系统（如GPT-4o、Claude 3.5和Gemini 1.5）相媲美。

小互

44,263 Aufrufe • vor 1 Jahr

兄弟们，又出来个牛P玩意阿里那个被截胡了，这个直接能用可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小case... 最牛P的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换... 其核心技术基于JST-1模型。JST-1是首个具有实际物理理解能力的视频-3D基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。核心功能： 1、可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle将根据这些指示生成视频。 2、基于物理的动画：JST-1模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3、3D角色和场景创建：Viggle不仅限于传统的2D视频制作，它还能够创建3D角色和场景。官网：可以去他们discord免费体验： ViggleAI

兄弟们，又出来个牛P玩意阿里那个被截胡了，这个直接能用可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小case... 最牛P的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换... 其核心技术基于JST-1模型。JST-1是首个具有实际物理理解能力的视频-3D基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。核心功能： 1、可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle将根据这些指示生成视频。 2、基于物理的动画：JST-1模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3、3D角色和场景创建：Viggle不仅限于传统的2D视频制作，它还能够创建3D角色和场景。官网：可以去他们discord免费体验： ViggleAI

小互

103,577 Aufrufe • vor 2 Jahren

兄弟们这个牛P PaintsUndo：输入静态图像自动帮你生成整个绘画的全过程视频你只需要提供一张图片，PaintsUndo会根据你提供的图像自动生成对应的绘画全过程视频。不仅限于某一种类型的图像，PaintsUndo可以应用于各种不同类型的图像，生成相应的绘画过程视频。该项目主要是为了研究和再现数字绘画中的绘画行为，从而为数字艺术创作提供新的工具和方法。

兄弟们这个牛P PaintsUndo：输入静态图像自动帮你生成整个绘画的全过程视频你只需要提供一张图片，PaintsUndo会根据你提供的图像自动生成对应的绘画全过程视频。不仅限于某一种类型的图像，PaintsUndo可以应用于各种不同类型的图像，生成相应的绘画过程视频。该项目主要是为了研究和再现数字绘画中的绘画行为，从而为数字艺术创作提供新的工具和方法。

小互

448,970 Aufrufe • vor 2 Jahren

接近生产级别的的3D生成模型 Rodin Gen-1 正式上发布可以在几十秒内通过文本生成高质量可直接使用的3D模型，这些模型使用四边形构造，并具有逼真的材质效果（看起来很真实）。 Rodin几乎达到了可以在实际项目和商业用途中直接应用的标准。生成的3D模型质量非常高，细节丰富，足以满足生产级别的要求。

接近生产级别的的3D生成模型 Rodin Gen-1 正式上发布可以在几十秒内通过文本生成高质量可直接使用的3D模型，这些模型使用四边形构造，并具有逼真的材质效果（看起来很真实）。 Rodin几乎达到了可以在实际项目和商业用途中直接应用的标准。生成的3D模型质量非常高，细节丰富，足以满足生产级别的要求。

小互

16,399 Aufrufe • vor 2 Jahren

腾讯发布混元3D 2.1 模型支持真实材质渲染这是首个完全开源的AI 3D建模工具提供了模型权重、训练代码和数据处理流程以及核心架构等全部数据👍🏻 混元3D 2.1 通过引入PBR（基于物理的渲染）技术，显著提升了材质细节的真实性，模型在不同光照下更自然、更一致。可在个人电脑上运行！可直接用于生产：腾讯自研游戏编辑器「轻游梦工坊」使用混元3D后，道具制作时间从 2天/个压缩到0.2天/个，提效显著。

腾讯发布混元3D 2.1 模型支持真实材质渲染这是首个完全开源的AI 3D建模工具提供了模型权重、训练代码和数据处理流程以及核心架构等全部数据👍🏻 混元3D 2.1 通过引入PBR（基于物理的渲染）技术，显著提升了材质细节的真实性，模型在不同光照下更自然、更一致。可在个人电脑上运行！可直接用于生产：腾讯自研游戏编辑器「轻游梦工坊」使用混元3D后，道具制作时间从 2天/个压缩到0.2天/个，提效显著。

小互

24,527 Aufrufe • vor 1 Jahr

如果你在做游戏, 那一定要看看这个大模型! 给大家带来腾讯刚刚发布的可以生成人物动作的大模型hunyuan-motion-1.0 实测这个模型最大的特性是可以通过文字描述生成动作, 并且它是端到端的模型, 生成的动作可以直接用于Blender、Unity、UE等主流3D工具我简单测试了几个极限场景, 这个模型对于日常场景的动作还原很不错, 甚至一些复杂一点的, 比如黑客帝国中的子弹时间的下腰动作还原得也不错. 那么极限在哪里呢? 简单来讲, 职业运动员的动作不太行, 比如跳台滑雪, 跳水, 小轮车这类. 总结, 这个模型用于快速生成游戏场景中NPC的日常生活动作是完全够用的, 不过主要角色的动作设计还是需要大量修改才能使用.

如果你在做游戏, 那一定要看看这个大模型! 给大家带来腾讯刚刚发布的可以生成人物动作的大模型hunyuan-motion-1.0 实测这个模型最大的特性是可以通过文字描述生成动作, 并且它是端到端的模型, 生成的动作可以直接用于Blender、Unity、UE等主流3D工具我简单测试了几个极限场景, 这个模型对于日常场景的动作还原很不错, 甚至一些复杂一点的, 比如黑客帝国中的子弹时间的下腰动作还原得也不错. 那么极限在哪里呢? 简单来讲, 职业运动员的动作不太行, 比如跳台滑雪, 跳水, 小轮车这类. 总结, 这个模型用于快速生成游戏场景中NPC的日常生活动作是完全够用的, 不过主要角色的动作设计还是需要大量修改才能使用.

karminski-牙医

35,854 Aufrufe • vor 6 Monaten