Загрузка видео...

Не удалось загрузить видео

Возникла проблема при загрузке этого видео. Это может быть связано с временными проблемами сети или видео может быть недоступно.

На главную

阿里刚刚放出了其首个千问具身智能体通用模型：Qwen-Robot ，也开始搞具身智能了！ Qwen-Robot由三个模型组成机器人的手+脚+大脑，三个模型可以独立用，也可以组合用比如，用它可以组成一个既能动手端盘子，又能走路送餐，还能预判端着热汤拐弯儿会不会洒的服务机器人 Qwen-RobotManip：其采用80维统一动作表征，把不同机器人的动作翻译成同一种通用语言，并基于摄像头画面的相对位置操作，不再依赖繁琐的绝对坐标计算，解决了换个机械臂、换个场景数据不通用的情况 Qwen-RobotNav：核心思路是把视觉分配策略本身参数化，而非固定，具体解法是把记多少、怎么记变成可调参数，根据任务类型自动配置，不同任务按需配置，比如目标追踪只关注最近几帧省算力，指令跟随保留长程上下文不迷路因为记忆策略参数化了，一套权重即统一五类导航任务在双层智能体系统（上层规划器+Qwen-RobotNav）中，EXPRESS-Bench提升15.4%，导航步数减少了77% 通用接口设计，其他上层AI可以直接调用它的导航能力，无需再为每个任务单独训练一个导航模型，原生支持多种智能体框架 Qwen-RobotWorld：相当于机器人的想象力基于对物理规律的理解，可推理和模拟下一时间点的合理动作和状态；能生成视频数据用于训练，缓解训练数据不足问题；可以在执行前推演未来动作轨迹，使操作更精准 Qwen-Robot相当于是一套模块化的具身智能系统，把导航、操作、世界预测三个专业的能力解耦又协同，让通用模型像调用软件工具一样，调用物理世界的行动能力 #QwenRobot #robot #具身智能

AIGCLINK

36,153 subscribers

11,106 просмотров • 1 месяц назад •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

Комментарии: 0

Нет доступных комментариев

Здесь появятся комментарии из оригинального поста

Похожие видео

一款用于PC上自动执行复杂任务的多智能体协作系统：PC-Agent，它可以根据指令控制Chrome、Word、微信等，比现有方法的任务成功率提高了32% PC-Agent增加了一个主动感知模块，增强了MLLM对屏幕截图内容的感知能力，能更好的理解屏幕上的内容采用分层多智能体协作架构，把决策过程分成指令、子任务、动作三个层级，设置了三个智能体分别负责指令分解、进度跟踪、逐步决策还有一个反思智能体，及时向上反馈错误和调整已支持Windows系统 #AI电脑自动化 #AI电脑助手 #PCAgent

一款用于PC上自动执行复杂任务的多智能体协作系统：PC-Agent，它可以根据指令控制Chrome、Word、微信等，比现有方法的任务成功率提高了32% PC-Agent增加了一个主动感知模块，增强了MLLM对屏幕截图内容的感知能力，能更好的理解屏幕上的内容采用分层多智能体协作架构，把决策过程分成指令、子任务、动作三个层级，设置了三个智能体分别负责指令分解、进度跟踪、逐步决策还有一个反思智能体，及时向上反馈错误和调整已支持Windows系统 #AI电脑自动化 #AI电脑助手 #PCAgent

AIGCLINK

31,697 просмотров • 1 год назад

什么是 AI 智能体？（双语字幕）为了解释这一点，我们必须看一看在生成式 AI 领域看到的各种转变。 *** 从单一模型向复合 AI 系统的转变单一模型受限于其训练数据，这影响了它们对世界的认知以及它们可以解决的任务类型。而且，这些模型也难以适应变化。尽管可以对模型进行微调，但这需要大量的数据和资源投资。 **** 示例：查询假期天数例如，我想要为今年夏天计划一次假期，想知道我有多少假期天数可以用。我可以将我的查询输入到一个可以生成回应的模型中。然而，答案会不正确，因为模型并不知道我的身份，也无法访问我的个人信息。因此，模型本身可能对一些任务有所帮助，例如总结文档、撰写电子邮件初稿和各种报告初稿。但当我们围绕模型构建系统，并将模型集成到现有流程中时，魔力便显现出来。设计一个系统来解决前面提到的问题，需要让模型能访问存储我假期数据的数据库。这样，虽然输入到语言模型中的查询相同，但模型会被提示创建一个搜索查询，这个查询可以访问我的数据库。程序会获取信息并得到答案，再将答案输入语言模型中，生成回答句子，如：“Maya，你的假期数据库里还剩下十天。”这样，我能得到正确的答案。 *** 复合 AI 系统的模块化设计 “系统”意味着有多个组件，因此系统本质上是模块化的。我可以有一个模型，选择微调模型、大语言模型、图像生成模型，但也可以有围绕它的程序化组件。可以有输出验证器、解析查询的程序、与数据库搜索结合的工具、与不同工具结合的程序等。当我们谈论系统方法时，我可以分解希望程序完成的任务，选择合适的组件来解决问题。这比微调一个模型要容易得多，使过程更快、更方便。 **** 检索增强生成（RAG）一个流行的复合 AI 系统例子是检索增强生成（RAG）。如果我提出一个完全不同的查询，如问天气情况，这会失败，因为程序的运行路径总是搜索假期数据库，而这与天气无关。因此，复合 AI 系统的大部分都有程序控制逻辑，这些逻辑由人类定义。 *** AI 智能体的作用另一种控制复合 AI 系统的逻辑方式是让大语言模型负责，这在大语言模型的推理能力显著提高时才可能实现。大语言模型可以处理复杂问题，能根据提示词要求将问题分解并制定解决计划。在一个极端，我要求系统快速思考，按照设定的规则行动。在另一个极端，可以让系统慢慢思考，制定计划，逐步解决每一部分，理解困难点并调整计划。当让大语言模型负责逻辑时，就是在采取一种以智能体为中心的方法。 *** 大语言模型智能体的组成部分 **** 推理能力推理能力将模型置于解决问题的核心位置，在设定计划的过程中对每一步进行推理。 **** 行动能力行动能力通过称为“工具”的外部程序实现。这些工具是程序的外部模块，模型可以确定何时及如何调用它们以便最有效地解决提出的问题。例如，网络搜索工具、数据库搜索工具、计算器工具、操纵数据库的程序代码、翻译任务的模型等。 **** 访问记忆的能力 “记忆”可以表示几种含义。模型可以通过程序进行思考，类似于自言自语的内部日志，可以存储并随时取用。这也可以是与智能体互动的对话历史，使体验更加个性化。 *** ReACT 方法配置智能体的受欢迎方法之一是 ReACT 方法，将推理和行动组件结合在一起。 **** 示例：度假计划例如，我计划下个月去佛罗里达，想知道需要带多少瓶两盎司的防晒霜。这是个复杂的问题，有多步计划： 1. 我打算休多少天假？ 2. 我计划在阳光下待多少小时？查看佛罗里达的天气预报。 3. 尝试了解每小时在阳光下的推荐防晒剂剂量。 4. 进行数学运算，确定防晒霜数量。这个系统非常模块化，可以解决更复杂的问题。 *** 复合 AI 系统的未来复合 AI 系统将一直存在，2024 年将看到它们变得更加智能。你可以根据问题的复杂程度在 AI 自治程度上做出权衡。对于狭窄、定义明确的问题，程序化方法更有效。而对于需要独立解决复杂任务的系统，智能体方法更有帮助。大多数情况下，人工仍会参与以提高准确性。原始视频来源：

什么是 AI 智能体？（双语字幕）为了解释这一点，我们必须看一看在生成式 AI 领域看到的各种转变。 * 从单一模型向复合 AI 系统的转变单一模型受限于其训练数据，这影响了它们对世界的认知以及它们可以解决的任务类型。而且，这些模型也难以适应变化。尽管可以对模型进行微调，但这需要大量的数据和资源投资。示例：查询假期天数例如，我想要为今年夏天计划一次假期，想知道我有多少假期天数可以用。我可以将我的查询输入到一个可以生成回应的模型中。然而，答案会不正确，因为模型并不知道我的身份，也无法访问我的个人信息。因此，模型本身可能对一些任务有所帮助，例如总结文档、撰写电子邮件初稿和各种报告初稿。但当我们围绕模型构建系统，并将模型集成到现有流程中时，魔力便显现出来。设计一个系统来解决前面提到的问题，需要让模型能访问存储我假期数据的数据库。这样，虽然输入到语言模型中的查询相同，但模型会被提示创建一个搜索查询，这个查询可以访问我的数据库。程序会获取信息并得到答案，再将答案输入语言模型中，生成回答句子，如：“Maya，你的假期数据库里还剩下十天。”这样，我能得到正确的答案。 * 复合 AI 系统的模块化设计 “系统”意味着有多个组件，因此系统本质上是模块化的。我可以有一个模型，选择微调模型、大语言模型、图像生成模型，但也可以有围绕它的程序化组件。可以有输出验证器、解析查询的程序、与数据库搜索结合的工具、与不同工具结合的程序等。当我们谈论系统方法时，我可以分解希望程序完成的任务，选择合适的组件来解决问题。这比微调一个模型要容易得多，使过程更快、更方便。 ** 检索增强生成（RAG）一个流行的复合 AI 系统例子是检索增强生成（RAG）。如果我提出一个完全不同的查询，如问天气情况，这会失败，因为程序的运行路径总是搜索假期数据库，而这与天气无关。因此，复合 AI 系统的大部分都有程序控制逻辑，这些逻辑由人类定义。 * AI 智能体的作用另一种控制复合 AI 系统的逻辑方式是让大语言模型负责，这在大语言模型的推理能力显著提高时才可能实现。大语言模型可以处理复杂问题，能根据提示词要求将问题分解并制定解决计划。在一个极端，我要求系统快速思考，按照设定的规则行动。在另一个极端，可以让系统慢慢思考，制定计划，逐步解决每一部分，理解困难点并调整计划。当让大语言模型负责逻辑时，就是在采取一种以智能体为中心的方法。 * 大语言模型智能体的组成部分推理能力推理能力将模型置于解决问题的核心位置，在设定计划的过程中对每一步进行推理。行动能力行动能力通过称为“工具”的外部程序实现。这些工具是程序的外部模块，模型可以确定何时及如何调用它们以便最有效地解决提出的问题。例如，网络搜索工具、数据库搜索工具、计算器工具、操纵数据库的程序代码、翻译任务的模型等。访问记忆的能力 “记忆”可以表示几种含义。模型可以通过程序进行思考，类似于自言自语的内部日志，可以存储并随时取用。这也可以是与智能体互动的对话历史，使体验更加个性化。 * ReACT 方法配置智能体的受欢迎方法之一是 ReACT 方法，将推理和行动组件结合在一起。 ** 示例：度假计划例如，我计划下个月去佛罗里达，想知道需要带多少瓶两盎司的防晒霜。这是个复杂的问题，有多步计划： 1. 我打算休多少天假？ 2. 我计划在阳光下待多少小时？查看佛罗里达的天气预报。 3. 尝试了解每小时在阳光下的推荐防晒剂剂量。 4. 进行数学运算，确定防晒霜数量。这个系统非常模块化，可以解决更复杂的问题。 * 复合 AI 系统的未来复合 AI 系统将一直存在，2024 年将看到它们变得更加智能。你可以根据问题的复杂程度在 AI 自治程度上做出权衡。对于狭窄、定义明确的问题，程序化方法更有效。而对于需要独立解决复杂任务的系统，智能体方法更有帮助。大多数情况下，人工仍会参与以提高准确性。原始视频来源：

宝玉

44,356 просмотров • 2 лет назад

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,710 просмотров • 2 лет назад

OWL团队刚刚又开源了一款多智能体Manus类工具：Eigent，通过多智能体协作，来更高效的处理更复杂任务从效果看具备整合多种工具和数据的能力，生成的报告内容相对专业全面其处理任务时有清晰的任务拆解和执行过程，它把任务拆解成多个子任务，并会清晰展示出每个子任务的执行状态 Eigent支持根据任务创建或灵活调用workforce，多智能体并行处理执行速度更快支持worker间任务的并行，worker下子任务的并行，子任务执行过程中工具调用的并行可以根据需求定制AI团队，组建一个特定的项目组有Human-in-the-Loop机制，可以在关键节点进行人工干预决策内置200+MCP工具，也支持上传常用的MCP工具 #AI员工 #多智能体团队 #Eigent

OWL团队刚刚又开源了一款多智能体Manus类工具：Eigent，通过多智能体协作，来更高效的处理更复杂任务从效果看具备整合多种工具和数据的能力，生成的报告内容相对专业全面其处理任务时有清晰的任务拆解和执行过程，它把任务拆解成多个子任务，并会清晰展示出每个子任务的执行状态 Eigent支持根据任务创建或灵活调用workforce，多智能体并行处理执行速度更快支持worker间任务的并行，worker下子任务的并行，子任务执行过程中工具调用的并行可以根据需求定制AI团队，组建一个特定的项目组有Human-in-the-Loop机制，可以在关键节点进行人工干预决策内置200+MCP工具，也支持上传常用的MCP工具 #AI员工 #多智能体团队 #Eigent

AIGCLINK

16,164 просмотров • 11 месяцев назад

微软发布OmniParser V2 将任何大语言模型转变为一个可以与计算机交互的智能代理。让AI可以操控你的电脑执行任务 OmniParser V2将屏幕截图中的信息从像素转化为结构化数据。这些结构化数据能够被 LLM 识别和处理，从而使 LLM 可以更智能地理解和预测下一步操作。这样，任何能够运行的 LLM 都能变成一个“计算机使用代理”，能够执行用户的指令，如： -点击、输入、拖拽等操作。 -进而去执行一些任务图标和高分辨率屏幕的识别上表现更好。 V2 在速度和功能上相较于 V1 提升了60%，并支持多种操作系统和应用程序图标识别。

微软发布OmniParser V2 将任何大语言模型转变为一个可以与计算机交互的智能代理。让AI可以操控你的电脑执行任务 OmniParser V2将屏幕截图中的信息从像素转化为结构化数据。这些结构化数据能够被 LLM 识别和处理，从而使 LLM 可以更智能地理解和预测下一步操作。这样，任何能够运行的 LLM 都能变成一个“计算机使用代理”，能够执行用户的指令，如： -点击、输入、拖拽等操作。 -进而去执行一些任务图标和高分辨率屏幕的识别上表现更好。 V2 在速度和功能上相较于 V1 提升了60%，并支持多种操作系统和应用程序图标识别。

小互

47,084 просмотров • 1 год назад

阿里刚刚放出了其GUI Agent第三代框架：Mobile-Agent-v3，在10+GUI基准测试中取得了SOTA性能在AndroidWorld上达到73.3，在OSWorld上达到37.7 Mobile-Agent-v3是一款基于GUI-Owl的跨平台多智能体框架，GUI-Owl也同时被开源，这是一款多模态跨平台GUI虚拟层模型 GUI-Owl作为GUI自动化基础模型，具备GUI感知、落地、端到端操作能力可以理解GUI界面布局、元素，把指令转化为具体的屏幕坐标和操作，完成完整的GUI操作流程 Mobile-Agent-v3利用GUI-Owl能力与GUI交互，具备任务分解、规划以及进度管理、异常处理和反射能力、关键信息记录能力比如，完成特定目标制定行动计划，跟踪任务执行进度，反馈调整行动。具备关键信息记录能力，支持跨应用任务 #MobileAgentv3 #GUIAgent #AIagent

阿里刚刚放出了其GUI Agent第三代框架：Mobile-Agent-v3，在10+GUI基准测试中取得了SOTA性能在AndroidWorld上达到73.3，在OSWorld上达到37.7 Mobile-Agent-v3是一款基于GUI-Owl的跨平台多智能体框架，GUI-Owl也同时被开源，这是一款多模态跨平台GUI虚拟层模型 GUI-Owl作为GUI自动化基础模型，具备GUI感知、落地、端到端操作能力可以理解GUI界面布局、元素，把指令转化为具体的屏幕坐标和操作，完成完整的GUI操作流程 Mobile-Agent-v3利用GUI-Owl能力与GUI交互，具备任务分解、规划以及进度管理、异常处理和反射能力、关键信息记录能力比如，完成特定目标制定行动计划，跟踪任务执行进度，反馈调整行动。具备关键信息记录能力，支持跨应用任务 #MobileAgentv3 #GUIAgent #AIagent

AIGCLINK

16,734 просмотров • 10 месяцев назад

李飞飞说了一句话挺狠的：文字不能灭火，文字也不能做煎蛋卷她的意思是：现在所有人都在做大语言模型，但语言只是智能的一部分。人类大部分的生活、工作和创造力，靠的是对物理世界的感知和互动，不是打字聊天她创办的 World Labs 融了 10 亿美元，做的不是大语言模型，是大世界模型（Large World Models）简单说就是让 AI 理解 3D 物理世界——物体怎么运动、重力怎么作用、空间怎么构成。她管这个叫"空间智能" 她把目前的世界模型分三类：渲染器（Sora 那种）：生成好看的视频但不一定符合物理规律策划者：给机器人输出动作指令模拟器：World Labs 做的，既尊重物理规律又能被人和机器共同使用关于人形机器人60亿美元的融资总额，她说"太少了"。她认为机器人将是工业革命以来最重要的技术 5亿年前动物进化出视觉和移动能力，AI 现在也需要这一步

李飞飞说了一句话挺狠的：文字不能灭火，文字也不能做煎蛋卷她的意思是：现在所有人都在做大语言模型，但语言只是智能的一部分。人类大部分的生活、工作和创造力，靠的是对物理世界的感知和互动，不是打字聊天她创办的 World Labs 融了 10 亿美元，做的不是大语言模型，是大世界模型（Large World Models）简单说就是让 AI 理解 3D 物理世界——物体怎么运动、重力怎么作用、空间怎么构成。她管这个叫"空间智能" 她把目前的世界模型分三类：渲染器（Sora 那种）：生成好看的视频但不一定符合物理规律策划者：给机器人输出动作指令模拟器：World Labs 做的，既尊重物理规律又能被人和机器共同使用关于人形机器人60亿美元的融资总额，她说"太少了"。她认为机器人将是工业革命以来最重要的技术 5亿年前动物进化出视觉和移动能力，AI 现在也需要这一步

Vincent | 信号＞噪音

36,405 просмотров • 1 месяц назад

空间智能赛道刚刚又出了新模型：Moonlake，能生成3D世界，还能同时处理物理、声音、逻辑规则等多种模态与李飞飞的World Labs不同的是，World Labs偏场景生成，Moonlake更重交互，更像是在构建一个可交互、物理正确、逻辑完整、视听一体的“活世界” 给定一句“在街机室里做一个赛博朋克风格的保龄球游戏”需求它能自动拆解成生成3D模型、加物理、摆位置、写规则等10个阶段，自主完成从零到一的开发过程输出一个实时可玩的虚拟保龄球馆，能交互，拿球、投掷、有声音、有分数变化，所有东西都按物理规律运作的核心机制是所有模态绑定在同一个实体上，一次事件，比如球击中瓶子时，位置、物理状态、分数、音效等全模态同步更新对于做游戏的，原来要用一个团队干的活，现在可能一个人就能完成对于老师，几句话生成学生能实时交互的物理实验场景 #世界模型生成 #Moonlake #WorldLabs #空间智能

空间智能赛道刚刚又出了新模型：Moonlake，能生成3D世界，还能同时处理物理、声音、逻辑规则等多种模态与李飞飞的World Labs不同的是，World Labs偏场景生成，Moonlake更重交互，更像是在构建一个可交互、物理正确、逻辑完整、视听一体的“活世界” 给定一句“在街机室里做一个赛博朋克风格的保龄球游戏”需求它能自动拆解成生成3D模型、加物理、摆位置、写规则等10个阶段，自主完成从零到一的开发过程输出一个实时可玩的虚拟保龄球馆，能交互，拿球、投掷、有声音、有分数变化，所有东西都按物理规律运作的核心机制是所有模态绑定在同一个实体上，一次事件，比如球击中瓶子时，位置、物理状态、分数、音效等全模态同步更新对于做游戏的，原来要用一个团队干的活，现在可能一个人就能完成对于老师，几句话生成学生能实时交互的物理实验场景 #世界模型生成 #Moonlake #WorldLabs #空间智能

AIGCLINK

10,987 просмотров • 4 месяцев назад

Mininglamp-AI Mininglamp（2718.HK）开源了两个很有意思的项目： Cider 和 Mano-P 一个解决“Mac 本地跑 AI 怎么更快” 一个解决“AI 怎么真正操作电脑” 可以让你的 Mac 不只是运行 AI，而是成为本地 AI 工作站很多人用 Mac 跑本地模型，会遇到一个问题：芯片很强，但模型跑起来没有想象中那么快 Cider 做的事情，就是把 M5 芯片里的 INT8 TensorOps 更充分用起来，让 LLM / VLM 推理更快、更省内存 Mano-P 则是一个 GUI-VLA Agent，面向端侧设备，可以在 Mac mini / MacBook 上本地推理它不是只能操作浏览器，还能操作桌面软件、网页界面、专业工具和复杂图形化工作流支持复杂 GUI 自动化、跨系统数据整合、长任务规划执行、智能报告生成、自主应用构建技术路径是纯视觉 GUI 操作，截图和任务数据可以不出设备 Cider 解决的是： Mac 本地模型怎么跑得更快、更省内存 Mano-P 解决的是： AI 怎么像人一样看屏幕、操作电脑、完成任务一个是端侧推理加速框架一个是端侧 GUI Agent 模型合起来，就是一套私有 AI 的本地基础设施下面是 Mano-P系统在麻将游戏中的应用：通过纯视觉理解游戏界面，自主完成识牌、分析和决策。

Mininglamp-AI Mininglamp（2718.HK）开源了两个很有意思的项目： Cider 和 Mano-P 一个解决“Mac 本地跑 AI 怎么更快” 一个解决“AI 怎么真正操作电脑” 可以让你的 Mac 不只是运行 AI，而是成为本地 AI 工作站很多人用 Mac 跑本地模型，会遇到一个问题：芯片很强，但模型跑起来没有想象中那么快 Cider 做的事情，就是把 M5 芯片里的 INT8 TensorOps 更充分用起来，让 LLM / VLM 推理更快、更省内存 Mano-P 则是一个 GUI-VLA Agent，面向端侧设备，可以在 Mac mini / MacBook 上本地推理它不是只能操作浏览器，还能操作桌面软件、网页界面、专业工具和复杂图形化工作流支持复杂 GUI 自动化、跨系统数据整合、长任务规划执行、智能报告生成、自主应用构建技术路径是纯视觉 GUI 操作，截图和任务数据可以不出设备 Cider 解决的是： Mac 本地模型怎么跑得更快、更省内存 Mano-P 解决的是： AI 怎么像人一样看屏幕、操作电脑、完成任务一个是端侧推理加速框架一个是端侧 GUI Agent 模型合起来，就是一套私有 AI 的本地基础设施下面是 Mano-P系统在麻将游戏中的应用：通过纯视觉理解游戏界面，自主完成识牌、分析和决策。

小互

12,114 просмотров • 2 месяцев назад

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

宝玉

114,627 просмотров • 3 лет назад

腾讯优图出的一款主动式设备端AI助手：Youtu-Tip，可以桌面自动化、Agent调用，能离线使用它可以模拟鼠标/键盘来实现桌面操纵，比如说，“帮我把Excel里低于60分的标红”、“总结文章发给XX微信” 支持热键、选中文本或者图像交互也可以教它技能，比如给它演示一遍“去官网搜最低价航班”，它能记录步骤下次一句命令自动跑还可以接入智能体、MCP服务器以及其他工具，来实现更复杂的任务 Tip基于Youtu-LLM驱动，1.96B，128K上下文，具备原生智能体能力，是开源的，也可以替换成其他模型它还有一个4B的Youtu-VL端侧多模态模型也马上要开源 #AI设备端助手 #YoutuTip

腾讯优图出的一款主动式设备端AI助手：Youtu-Tip，可以桌面自动化、Agent调用，能离线使用它可以模拟鼠标/键盘来实现桌面操纵，比如说，“帮我把Excel里低于60分的标红”、“总结文章发给XX微信” 支持热键、选中文本或者图像交互也可以教它技能，比如给它演示一遍“去官网搜最低价航班”，它能记录步骤下次一句命令自动跑还可以接入智能体、MCP服务器以及其他工具，来实现更复杂的任务 Tip基于Youtu-LLM驱动，1.96B，128K上下文，具备原生智能体能力，是开源的，也可以替换成其他模型它还有一个4B的Youtu-VL端侧多模态模型也马上要开源 #AI设备端助手 #YoutuTip

AIGCLINK

47,495 просмотров • 6 месяцев назад

兄弟们这个有点强啊而且是完全开源的感觉比OpenAI的演示的那个视觉能力还有点强 Molmo 一个开源的多模态模型，能够识别图像中的物体、场景和活动，并生成准确的描述。 Molmo还支持用户通过2D指向交互，例如用户可以通过手势或点击与图像中的对象进行互动。 Molmo使用的图像字幕数据集完全由人类注释者收集。模型能够根据输入的变化自动调整处理方式，适应不同类型的用户交互和数据格式。 Molmo在开源权重和数据模型中表现最佳，能够与一些专有系统（如GPT-4o、Claude 3.5和Gemini 1.5）相媲美。

兄弟们这个有点强啊而且是完全开源的感觉比OpenAI的演示的那个视觉能力还有点强 Molmo 一个开源的多模态模型，能够识别图像中的物体、场景和活动，并生成准确的描述。 Molmo还支持用户通过2D指向交互，例如用户可以通过手势或点击与图像中的对象进行互动。 Molmo使用的图像字幕数据集完全由人类注释者收集。模型能够根据输入的变化自动调整处理方式，适应不同类型的用户交互和数据格式。 Molmo在开源权重和数据模型中表现最佳，能够与一些专有系统（如GPT-4o、Claude 3.5和Gemini 1.5）相媲美。

小互

44,263 просмотров • 1 год назад

#分享借 Cursor 在最新版本支持了 MCP，学习下 MCP 是什么，怎么用 MCP，全称 Model Context Protocol，由 Anthropic 在 2024 年 11 月推出，社区共建的开放协议。目的是提供一个通用的开放标准，用来连接大语言模型和外部数据、行为。通过训练 LLM，让其掌握外部工具的使用的能力。这样，一个大致的智能体雏形就出现了：LLM 可以作为智能体的大脑，外部工具就是智能体的手和脚，协助智能体执行决策。简单来说，MCP 就是手脚连接身体的“关节”。这样，智能体就能“活动”起来，解决一些 LLM 不擅长、不了解的事情，比如实时获取天气、浏览网页等等能力。目前有很多客户端支持了 MCP，比如 Cline 和 Cursor。

#分享借 Cursor 在最新版本支持了 MCP，学习下 MCP 是什么，怎么用 MCP，全称 Model Context Protocol，由 Anthropic 在 2024 年 11 月推出，社区共建的开放协议。目的是提供一个通用的开放标准，用来连接大语言模型和外部数据、行为。通过训练 LLM，让其掌握外部工具的使用的能力。这样，一个大致的智能体雏形就出现了：LLM 可以作为智能体的大脑，外部工具就是智能体的手和脚，协助智能体执行决策。简单来说，MCP 就是手脚连接身体的“关节”。这样，智能体就能“活动”起来，解决一些 LLM 不擅长、不了解的事情，比如实时获取天气、浏览网页等等能力。目前有很多客户端支持了 MCP，比如 Cline 和 Cursor。

nazha

39,801 просмотров • 1 год назад

兄弟们这个牛P Tnkr：机器人的 GitHub 首个为机器人研发打造的“一体化开源平台”，让机器人研发变得像开源软件那样简单。集成了机器人研发的四个核心要素： 🧩 硬件：设计、装配、零件管理 💻 软件：控制系统与传感器代码 📊 数据：从现实世界收集的运行数据 🧠 模型：驱动机器人智能化的AI模型 Tnkr 的理念是： “让机器人研发像写代码一样可协作、可复现、可开源。” 用户可以： ✅ 上传自己的机器人项目 ✅ 发布装配说明与源码 ✅ 让他人重建、修改、贡献数据 ✅ 共同改进模型，让机器人越用越聪明这是一个真正的“物理智能”协作网络。

兄弟们这个牛P Tnkr：机器人的 GitHub 首个为机器人研发打造的“一体化开源平台”，让机器人研发变得像开源软件那样简单。集成了机器人研发的四个核心要素： 🧩 硬件：设计、装配、零件管理 💻 软件：控制系统与传感器代码 📊 数据：从现实世界收集的运行数据 🧠 模型：驱动机器人智能化的AI模型 Tnkr 的理念是： “让机器人研发像写代码一样可协作、可复现、可开源。” 用户可以： ✅ 上传自己的机器人项目 ✅ 发布装配说明与源码 ✅ 让他人重建、修改、贡献数据 ✅ 共同改进模型，让机器人越用越聪明这是一个真正的“物理智能”协作网络。

小互

17,420 просмотров • 7 месяцев назад

UI-TARS：字节跳动开源一种能够自我学习的GUI Agent 它能模拟人类操作手机和电脑并完成任务并具备高级的感知、推理和交互能力与传统依赖模块化框架或手工提示优化的系统不同，UI-TARS采用端到端架构，依赖纯视觉输入，实现了对复杂任务的全面自动化。 UI-TARS 的特点： - 看得懂界面：能理解界面上的按钮、输入框等元素，还能精准找到它们的位置。 - 多平台通用：不管是手机、电脑还是网页，UI-TARS 都能轻松适应。 - 高级推理能力：支持复杂任务的分解与多步决策，能自己规划步骤，遇到问题会反思并修正错误。 - 不断学习：通过反思和在线采集更多任务数据，它可以不断优化和适应新的任务场景，变得越来越聪明。

UI-TARS：字节跳动开源一种能够自我学习的GUI Agent 它能模拟人类操作手机和电脑并完成任务并具备高级的感知、推理和交互能力与传统依赖模块化框架或手工提示优化的系统不同，UI-TARS采用端到端架构，依赖纯视觉输入，实现了对复杂任务的全面自动化。 UI-TARS 的特点： - 看得懂界面：能理解界面上的按钮、输入框等元素，还能精准找到它们的位置。 - 多平台通用：不管是手机、电脑还是网页，UI-TARS 都能轻松适应。 - 高级推理能力：支持复杂任务的分解与多步决策，能自己规划步骤，遇到问题会反思并修正错误。 - 不断学习：通过反思和在线采集更多任务数据，它可以不断优化和适应新的任务场景，变得越来越聪明。

小互

46,108 просмотров • 1 год назад

哈佛CS50课程节选：如何构建基于GPT-4的应用上一节介绍了什么是GPT-4，这一节则是基于GPT-4可以构建什么样的应用，以及如何构建。这部分课程介绍了GPT-4可以构建的各种类型的应用，包括不限于： - 助手应用：GPT可以用于创建AI助手，帮助完成写作、编程或回答问题等任务。通过结合专业领域知识和用户的喜好，还可以对这些助手可以进一步定制。 - 文档问答系统：GPT可以用于构建基于上下文、对文档的问答系统。 - 实用功能：GPT可用于自动化需要基本语言理解的任务，如生成单元测试、查找文档、重写功能或检查品牌一致性。 - 创意创作：GPT可以用于在各个领域生成想法、可能性或建议，包括写作、营销和研究。通过将GPT的生成能力与专业领域的知识相结合，用户可以创建更有针对性和相关性的输出。 - Baby AGI或多步计划机器人：GPT可以放入一个循环中，与自己对话并指导自己的行动，从而创建一个基于一组工具和目标的自主执行任务或生成结果的自主代理。通过这个教程，可以大概了解GPT能做一些什么事情，以及背后的原理是什么。上一节什么是GPT-4：完整课程视频地址： edX:

哈佛CS50课程节选：如何构建基于GPT-4的应用上一节介绍了什么是GPT-4，这一节则是基于GPT-4可以构建什么样的应用，以及如何构建。这部分课程介绍了GPT-4可以构建的各种类型的应用，包括不限于： - 助手应用：GPT可以用于创建AI助手，帮助完成写作、编程或回答问题等任务。通过结合专业领域知识和用户的喜好，还可以对这些助手可以进一步定制。 - 文档问答系统：GPT可以用于构建基于上下文、对文档的问答系统。 - 实用功能：GPT可用于自动化需要基本语言理解的任务，如生成单元测试、查找文档、重写功能或检查品牌一致性。 - 创意创作：GPT可以用于在各个领域生成想法、可能性或建议，包括写作、营销和研究。通过将GPT的生成能力与专业领域的知识相结合，用户可以创建更有针对性和相关性的输出。 - Baby AGI或多步计划机器人：GPT可以放入一个循环中，与自己对话并指导自己的行动，从而创建一个基于一组工具和目标的自主执行任务或生成结果的自主代理。通过这个教程，可以大概了解GPT能做一些什么事情，以及背后的原理是什么。上一节什么是GPT-4：完整课程视频地址： edX:

宝玉

172,482 просмотров • 3 лет назад

兄弟们，又出来个牛P玩意阿里那个被截胡了，这个直接能用可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小case... 最牛P的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换... 其核心技术基于JST-1模型。JST-1是首个具有实际物理理解能力的视频-3D基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。核心功能： 1、可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle将根据这些指示生成视频。 2、基于物理的动画：JST-1模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3、3D角色和场景创建：Viggle不仅限于传统的2D视频制作，它还能够创建3D角色和场景。官网：可以去他们discord免费体验： ViggleAI

兄弟们，又出来个牛P玩意阿里那个被截胡了，这个直接能用可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小case... 最牛P的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换... 其核心技术基于JST-1模型。JST-1是首个具有实际物理理解能力的视频-3D基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。核心功能： 1、可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle将根据这些指示生成视频。 2、基于物理的动画：JST-1模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3、3D角色和场景创建：Viggle不仅限于传统的2D视频制作，它还能够创建3D角色和场景。官网：可以去他们discord免费体验： ViggleAI

小互

103,577 просмотров • 2 лет назад

每个人都能买得起英伟达发布个人AI超级计算机，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿参数的大语言模型。通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿参数模型。而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

每个人都能买得起英伟达发布个人AI超级计算机，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿参数的大语言模型。通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿参数模型。而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

小互

85,697 просмотров • 1 год назад