Loading video...

Video Failed to Load

There was a problem loading this video. This could be due to a temporary network issue or the video might be unavailable.

受小互老师的公众号排版启发，经过一天的探索，折腾出来一套适用于公众号排版的AI工具，也可以理解为一种更复杂的Skills加上一些模板，目前在攻克深色模式的最优解中… 做完以后会开源，先给大家看看效果

MarioTan

5,500 subscribers

18,180 views • 18 days ago •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

我一直以为微信公众号排版工具很复杂，实现起来很难~ 直到我昨天用 Kollab 10分钟开发了一个，才知道现在Vibe 一个这种小工具的门槛有多低不需要你懂代码，只要会打字，10分钟你也能做一个自己的微信公众号排版工具

我一直以为微信公众号排版工具很复杂，实现起来很难~ 直到我昨天用 Kollab 10分钟开发了一个，才知道现在Vibe 一个这种小工具的门槛有多低不需要你懂代码，只要会打字，10分钟你也能做一个自己的微信公众号排版工具

木马人

60,226 views • 2 months ago

分享一下我做公众号的工作流：如何3分钟内将我爆火的推文，转成微信公众号格式的排版？ 1.将推文的文本信息直接复制到AI中，提示词： “我下面这篇推文，帮我生成微信公众号的排版吧，以markdown格式输出给我” 2.复制AI 给你生成的markdown内容，到中粘贴，此处已经基本可用了。可以自由选择主题，或者对细节进行微调。 3. 直接点击右上角的复制按钮，到微信公众平台，粘贴。在md.doocs排版的格式就整个复制过来了。 4.微信公众平台微调格式，即可发布了详细操作可看视频说明

分享一下我做公众号的工作流：如何3分钟内将我爆火的推文，转成微信公众号格式的排版？ 1.将推文的文本信息直接复制到AI中，提示词： “我下面这篇推文，帮我生成微信公众号的排版吧，以markdown格式输出给我” 2.复制AI 给你生成的markdown内容，到中粘贴，此处已经基本可用了。可以自由选择主题，或者对细节进行微调。 3. 直接点击右上角的复制按钮，到微信公众平台，粘贴。在md.doocs排版的格式就整个复制过来了。 4.微信公众平台微调格式，即可发布了详细操作可看视频说明

我真的没有拼多多

116,780 views • 6 months ago

前几天跟珠海一个教培机构的老板聊天，了解到她接待到店家长的时候，都会先让小孩做一个词汇量测试，然后根据测试结果来推荐适合的课程。以往呢都是用简单的A4纸打印，还得家长帮忙填写。那天聊过天之后，我就说我来帮她做一个在线单词量测试的网页工具，前几天也是用codex抽空做了一个demo，但是看上去有点普通。刚好看到 Claude opus 4.8上线了，并且可以在ZenMux 平台上尝鲜体验，一句简单的提示词就重构好了，大家一起来看看效果吧。最后在给大家推荐一下ZenMux 这个平台，如果你想第一时间尝鲜试用最近发布的大模型，认准ZenMux 就对了。凭心而论，ZenMux 平台的价格不是最便宜的，但确实是我用过的最稳定和最省心的的API聚合平台，一个API接口可以调用市面上的几百个大模型。如果你也跟我一样饱受Claude 封号的折磨，有想要稳定的服务，那就用ZenMux 吧，如果你想省钱可以先去看看中转站，不过我相信你最后还会回来的。

前几天跟珠海一个教培机构的老板聊天，了解到她接待到店家长的时候，都会先让小孩做一个词汇量测试，然后根据测试结果来推荐适合的课程。以往呢都是用简单的A4纸打印，还得家长帮忙填写。那天聊过天之后，我就说我来帮她做一个在线单词量测试的网页工具，前几天也是用codex抽空做了一个demo，但是看上去有点普通。刚好看到 Claude opus 4.8上线了，并且可以在ZenMux 平台上尝鲜体验，一句简单的提示词就重构好了，大家一起来看看效果吧。最后在给大家推荐一下ZenMux 这个平台，如果你想第一时间尝鲜试用最近发布的大模型，认准ZenMux 就对了。凭心而论，ZenMux 平台的价格不是最便宜的，但确实是我用过的最稳定和最省心的的API聚合平台，一个API接口可以调用市面上的几百个大模型。如果你也跟我一样饱受Claude 封号的折磨，有想要稳定的服务，那就用ZenMux 吧，如果你想省钱可以先去看看中转站，不过我相信你最后还会回来的。

得否

17,034 views • 1 month ago

我们制作了一个大模型横评网站，基于真实用户反馈给大模型排名。大家可以在上面免费使用各种大模型，一起找出各个门类下的最强大模型！林哥的大模型野榜传送门：欢迎大家狠狠白嫖，咱们一起找出那个最强大模型！大家也可以进群交流！添加公众号【林亦LYi】，发送“入群”上车！ AI#DEA大赛传送门：大赛不追求参赛作品有啥用，主打一个乐！有任何好玩的项目，都欢迎来官网报名！后面我们会在深圳举办决赛，咱们一起选出最好玩的 AI 项目！线下见！

我们制作了一个大模型横评网站，基于真实用户反馈给大模型排名。大家可以在上面免费使用各种大模型，一起找出各个门类下的最强大模型！林哥的大模型野榜传送门：欢迎大家狠狠白嫖，咱们一起找出那个最强大模型！大家也可以进群交流！添加公众号【林亦LYi】，发送“入群”上车！ AI#DEA大赛传送门：大赛不追求参赛作品有啥用，主打一个乐！有任何好玩的项目，都欢迎来官网报名！后面我们会在深圳举办决赛，咱们一起选出最好玩的 AI 项目！线下见！

林亦LYi

71,314 views • 2 years ago

今天 Meta 发布了最新的开源模型的 Llama 3 首发和之前一样，包括了 8B 和 70B 两个版本，小扎说还有个 400B 参数的大号版预计在夏天发布，这可能是第一个 GPT-4 级别的开源模型！Meta 这次在 15T 的数据集上训练了一个 8B 的小模型，在参数规模、易用性和推理能力上做了最佳平衡，看来有算力真香😄 同时 Meta 也推出了自己的 ChatGPT 产品 Chat AI 了。。其实 HuggingChat 也不错的你可以在这里体验所有的开源大语言模型

今天 Meta 发布了最新的开源模型的 Llama 3 首发和之前一样，包括了 8B 和 70B 两个版本，小扎说还有个 400B 参数的大号版预计在夏天发布，这可能是第一个 GPT-4 级别的开源模型！Meta 这次在 15T 的数据集上训练了一个 8B 的小模型，在参数规模、易用性和推理能力上做了最佳平衡，看来有算力真香😄 同时 Meta 也推出了自己的 ChatGPT 产品 Chat AI 了。。其实 HuggingChat 也不错的你可以在这里体验所有的开源大语言模型

indigo

183,910 views • 2 years ago

正在开发一款开源的 RSS 阅读器，目前可以公开一些情报也可以在 GitHub 上追踪我们的进展：

正在开发一款开源的 RSS 阅读器，目前可以公开一些情报也可以在 GitHub 上追踪我们的进展：

DIŸgöd ☀️

124,312 views • 2 years ago

YouMind 已经支持公众号排版啦，可以一键复制粘贴！另外这个 Workflow 是许多用户实践过的，已经有不少用户使用 YouMind 稳定产出公众号文章了，大幅节省创作时间~

YouMind 已经支持公众号排版啦，可以一键复制粘贴！另外这个 Workflow 是许多用户实践过的，已经有不少用户使用 YouMind 稳定产出公众号文章了，大幅节省创作时间~

Nicolechan

63,002 views • 8 months ago

刚刚过去的一天ai行业又有大事发生！ Openclaw的最大竞争对手来了！ Perplexity 宣布推出perplexity computer，这个云端电脑聚合了多款最新大模型，可以根据用户的提出的需求寻找最合适的大模型从而完成任务。可以说这是用了和openclaw完全不同的架构，openclaw是由用户自己运行的电脑，通过一个大模型来解决问题。而perplexity则是通过多种大模型聚合的云端电脑帮用户寻找最合适的大模型解决问题。一个像私人助理，一个像工作团队。目前200刀每月，大家可以体验。 Moonlake 在今天推出了全新的多模态大模型，从视频演示中，他们只输入了几句话，就生成了一个保龄球游戏的全貌。这个大模型的厉害之处大家可以去他们的官推视频查看，可以说是对于游戏生成行业的一次冲击。也是我觉得非常厉害的一个产品，世界果然属于聪明的年轻人 Anthropic 宣布收购了 Vercept ，这是一家ai桌面助手，可以学习人类的习惯去使用电脑，对于后续ai工作流的提升极为有用。 claude和openai也均对ai安全性问题给出了最新的处理建议，在ai高速发展的今天，安全性更为重要感谢各位点赞支持！关注我，每天带来最新的ai资讯！

刚刚过去的一天ai行业又有大事发生！ Openclaw的最大竞争对手来了！ Perplexity 宣布推出perplexity computer，这个云端电脑聚合了多款最新大模型，可以根据用户的提出的需求寻找最合适的大模型从而完成任务。可以说这是用了和openclaw完全不同的架构，openclaw是由用户自己运行的电脑，通过一个大模型来解决问题。而perplexity则是通过多种大模型聚合的云端电脑帮用户寻找最合适的大模型解决问题。一个像私人助理，一个像工作团队。目前200刀每月，大家可以体验。 Moonlake 在今天推出了全新的多模态大模型，从视频演示中，他们只输入了几句话，就生成了一个保龄球游戏的全貌。这个大模型的厉害之处大家可以去他们的官推视频查看，可以说是对于游戏生成行业的一次冲击。也是我觉得非常厉害的一个产品，世界果然属于聪明的年轻人 Anthropic 宣布收购了 Vercept ，这是一家ai桌面助手，可以学习人类的习惯去使用电脑，对于后续ai工作流的提升极为有用。 claude和openai也均对ai安全性问题给出了最新的处理建议，在ai高速发展的今天，安全性更为重要感谢各位点赞支持！关注我，每天带来最新的ai资讯！

Vic TALK

78,827 views • 4 months ago

🔥震惊！马斯克公布xAI 的新项目：其实就是此前XAI被解雇员工透露的“真人虚拟克隆”。用 AI 完整模拟并运行一家软件公司。 🚨马斯克表示：“这可能是我们最重要的项目。你会发现现在最有价值公司的产出都是数字化的，理论上就能被模拟。这将开启一个我们难以想象的繁荣时代！”

🔥震惊！马斯克公布xAI 的新项目：其实就是此前XAI被解雇员工透露的“真人虚拟克隆”。用 AI 完整模拟并运行一家软件公司。 🚨马斯克表示：“这可能是我们最重要的项目。你会发现现在最有价值公司的产出都是数字化的，理论上就能被模拟。这将开启一个我们难以想象的繁荣时代！”

谢嘉琪

90,467 views • 5 months ago

查理·芒格给出了一堂关于创造财富的终极大师课。这些原则不只是用来投资，也可以用来过好一生的。把这个视频收藏起来，你以后一定会回来再看的。

查理·芒格给出了一堂关于创造财富的终极大师课。这些原则不只是用来投资，也可以用来过好一生的。把这个视频收藏起来，你以后一定会回来再看的。

柴郡🔔｜Crypto+AI Plus

21,273 views • 6 months ago

今天抽空把 Google 的发布会看完了。不得不说，Google 在 AI 应用方面比 Apple 是遥遥领先。各种小功能的演示都很有启发看完都想立刻下单一台 Pixel 了... 接下来我帮大家划一下 5 个有趣的重点： 1. Google Nano 本地多模态模型 AI 助理可以识别照片中的演出信息可以安排日程可以看到屏幕，总结YouTube

今天抽空把 Google 的发布会看完了。不得不说，Google 在 AI 应用方面比 Apple 是遥遥领先。各种小功能的演示都很有启发看完都想立刻下单一台 Pixel 了... 接下来我帮大家划一下 5 个有趣的重点： 1. Google Nano 本地多模态模型 AI 助理可以识别照片中的演出信息可以安排日程可以看到屏幕，总结YouTube

Orange AI

247,935 views • 1 year ago

👏本周教程《用Claude Code开发商业化项目：完整工作流 + 最佳实践！》已发布！本周不是一个实战课，我将以一个网球小程序的项目为例，带着大家走一遍开发一个较为复杂的商业化项目流程，看一下具有小程序、管理后台、统一python后端服务的一个项目的开发工作流，以及Vibe Coding最佳实践有哪些？

👏本周教程《用Claude Code开发商业化项目：完整工作流 + 最佳实践！》已发布！本周不是一个实战课，我将以一个网球小程序的项目为例，带着大家走一遍开发一个较为复杂的商业化项目流程，看一下具有小程序、管理后台、统一python后端服务的一个项目的开发工作流，以及Vibe Coding最佳实践有哪些？

熠辉 Indie

16,599 views • 10 months ago

现在，终于可以用Nano Banana Pro 生成可编辑版本的PPT了🔥 之前在NotebookLM生成的PPT无法在线编辑，且导出后是pdf格式的，非常不方便。刚看到神佬发了Kimi海外版可以用Nano Banana Pro做PPT的消息，而且支持Agentic研究和在线编辑，立马去试了下，可用效果非常好。可以上传附件，然后按照指定主题生成PPT后，直接就可以在线编辑，然后导出为PPT格式。我总结了下步骤： 1、先打开kimi海外版这里注意一定要开启全局代理，然后通过谷歌搜索kimi，进入官网，就可以看到ppt模式，如果不通过这种方式，很大概率是进入国内模式，现在这个功能只有海外版上线了。 2、在主题框中可输入类似如下提示词：使用拉布布风格的主题来生成该附件中的PPT内容，解析附件内容，设计满足以下要求： 1、专业度高 2、排版精致 3、配图和信息图要合理搭配 4、审美在线 5、PPT内容用中文，文字不宜太多，适合为主、 3、点击生成，大纲生成结束后，选择Nano Banana Pro模式，效果就出来了。 4、点击左上角的编辑，就可以在线编辑文字，也可以直接导出PPT，直接编辑。我上传的是我做公众号的一些流量玄学和我的思考，毕竟几个月时间公众号冲到新榜最高TOP4，2个月涨粉10000+，倒是总结了一些方法论的东西。如果你想要这个PPT，可以关注并评论：公众号流量玄学我会私发你哈哈哈。

现在，终于可以用Nano Banana Pro 生成可编辑版本的PPT了🔥 之前在NotebookLM生成的PPT无法在线编辑，且导出后是pdf格式的，非常不方便。刚看到神佬发了Kimi海外版可以用Nano Banana Pro做PPT的消息，而且支持Agentic研究和在线编辑，立马去试了下，可用效果非常好。可以上传附件，然后按照指定主题生成PPT后，直接就可以在线编辑，然后导出为PPT格式。我总结了下步骤： 1、先打开kimi海外版这里注意一定要开启全局代理，然后通过谷歌搜索kimi，进入官网，就可以看到ppt模式，如果不通过这种方式，很大概率是进入国内模式，现在这个功能只有海外版上线了。 2、在主题框中可输入类似如下提示词：使用拉布布风格的主题来生成该附件中的PPT内容，解析附件内容，设计满足以下要求： 1、专业度高 2、排版精致 3、配图和信息图要合理搭配 4、审美在线 5、PPT内容用中文，文字不宜太多，适合为主、 3、点击生成，大纲生成结束后，选择Nano Banana Pro模式，效果就出来了。 4、点击左上角的编辑，就可以在线编辑文字，也可以直接导出PPT，直接编辑。我上传的是我做公众号的一些流量玄学和我的思考，毕竟几个月时间公众号冲到新榜最高TOP4，2个月涨粉10000+，倒是总结了一些方法论的东西。如果你想要这个PPT，可以关注并评论：公众号流量玄学我会私发你哈哈哈。

苍何

42,040 views • 7 months ago

给大家带来 MiniMax-M3 实测! 本次测试包含了复杂前端, 后端 Agentic Coding, Agent 能力测试, 以及我的使用经验总结. 来看结论: 前端能力上, 可以完全适配 KCORES2026p2 的前端测试题目, 无论是空间理解, 建模精确度, 场景美学都十分在线, 其中我最满意的是美学部分, 它的颜色运用非常好. 不足的地方主要体现在复杂需求不能一次性写对(比如光追引擎), 需要迭代一下就可以了. 后端能力测试这次也是突飞猛进, 得分超过了 deepseek-v4-pro 和其他一众国产大模型, 略逊于 GPT-5.4-Pro(xhigh). Agent 能力上表现同样亮眼, 达成了榜单第二的接单量, 证明它的规划能力特别强。下面是我在测试和实际使用中, 总结出来的 M3 使用经验, 供大家参考: 我的体感是 M3 特别喜欢推理, 它可以单次执行超长的推理. 在咱们的这些前端测试中, 它最长的输出甚至达到了我规定的 64k token上限, 所以, 不要上来就写一个超级复杂的 prompt 让它执行, 而是需要先把需求形成 plan, 然后让 agent 蜂群去执行, 这样才能得到理想的效果, 所以 M3 先天适合放在带 plan 模式的 Coding Agent 中使用. 如果把它嵌入到 Agent 框架中使用, 那么 prompt 编排就一定要做好, 不要一股脑把大量的 tool call 或者超大的 system prompt 丢给它. 还是需要下功夫好好编排一下的. 本次 M3 相比之前的 2.7 版本有了大幅度的提升, 模型偏好上来看, M3 是一个规划能力极强的模型, 所以特别适合用在一些规划性质的 Agent 框架中, 比如任务拆分, 日程管理, 流程设计等. 而本次暴露出来的不足则是执行过程中约束不够强, 比如 prompt 中设置的复杂规则, 一定要增加代码级别的 harness 闭环流程来进行约束, 而不能只靠模型本身来管理自己的行为. #minimaxm3 #minimax #agenticcoding #aiagent #harness

给大家带来 MiniMax-M3 实测! 本次测试包含了复杂前端, 后端 Agentic Coding, Agent 能力测试, 以及我的使用经验总结. 来看结论: 前端能力上, 可以完全适配 KCORES2026p2 的前端测试题目, 无论是空间理解, 建模精确度, 场景美学都十分在线, 其中我最满意的是美学部分, 它的颜色运用非常好. 不足的地方主要体现在复杂需求不能一次性写对(比如光追引擎), 需要迭代一下就可以了. 后端能力测试这次也是突飞猛进, 得分超过了 deepseek-v4-pro 和其他一众国产大模型, 略逊于 GPT-5.4-Pro(xhigh). Agent 能力上表现同样亮眼, 达成了榜单第二的接单量, 证明它的规划能力特别强。下面是我在测试和实际使用中, 总结出来的 M3 使用经验, 供大家参考: 我的体感是 M3 特别喜欢推理, 它可以单次执行超长的推理. 在咱们的这些前端测试中, 它最长的输出甚至达到了我规定的 64k token上限, 所以, 不要上来就写一个超级复杂的 prompt 让它执行, 而是需要先把需求形成 plan, 然后让 agent 蜂群去执行, 这样才能得到理想的效果, 所以 M3 先天适合放在带 plan 模式的 Coding Agent 中使用. 如果把它嵌入到 Agent 框架中使用, 那么 prompt 编排就一定要做好, 不要一股脑把大量的 tool call 或者超大的 system prompt 丢给它. 还是需要下功夫好好编排一下的. 本次 M3 相比之前的 2.7 版本有了大幅度的提升, 模型偏好上来看, M3 是一个规划能力极强的模型, 所以特别适合用在一些规划性质的 Agent 框架中, 比如任务拆分, 日程管理, 流程设计等. 而本次暴露出来的不足则是执行过程中约束不够强, 比如 prompt 中设置的复杂规则, 一定要增加代码级别的 harness 闭环流程来进行约束, 而不能只靠模型本身来管理自己的行为. #minimaxm3 #minimax #agenticcoding #aiagent #harness

karminski-牙医

18,765 views • 1 month ago

今年 AI 漫剧爆火，跑出来很多播放量过亿的短剧。红果等各类短剧平台都开放 IP + 大额补贴。做 AI 漫剧的公司大概率是不会亏钱的。但是目前成品 AI 漫剧还离不开人工，听说最大的一家有超过1000人的每天用 AI 手搓漫剧。与此同时，现在的 AI 短剧 Agent 也越来越强，产出的结果也越来越好。最近 Seko 发布了 2.0 版本，支持了长达 100 集的超长剧情。我很好奇完全由 AI 制作的短剧是什么水平于是在周末花了一天时间去体验了一下 AI 漫剧的制作结论就是... 真的能做出来一分钟的短剧，还可以不断做连续剧，最多支持100集，但也确实有很多问题需要解决。现在 AI 短剧的行业，工作流已经日趋完善，但多模态模型的超长思考编排能力还未得到完美解决。图片模型已经堪用，但视频模型的片段生成能力仍需要很多抽卡。这些就要等待明年的模型的技术进步来解决了。

今年 AI 漫剧爆火，跑出来很多播放量过亿的短剧。红果等各类短剧平台都开放 IP + 大额补贴。做 AI 漫剧的公司大概率是不会亏钱的。但是目前成品 AI 漫剧还离不开人工，听说最大的一家有超过1000人的每天用 AI 手搓漫剧。与此同时，现在的 AI 短剧 Agent 也越来越强，产出的结果也越来越好。最近 Seko 发布了 2.0 版本，支持了长达 100 集的超长剧情。我很好奇完全由 AI 制作的短剧是什么水平于是在周末花了一天时间去体验了一下 AI 漫剧的制作结论就是... 真的能做出来一分钟的短剧，还可以不断做连续剧，最多支持100集，但也确实有很多问题需要解决。现在 AI 短剧的行业，工作流已经日趋完善，但多模态模型的超长思考编排能力还未得到完美解决。图片模型已经堪用，但视频模型的片段生成能力仍需要很多抽卡。这些就要等待明年的模型的技术进步来解决了。

Orange AI

34,524 views • 7 months ago

项目方在推进生态进程.并指出派链商城存在的一些小问题.以及Pet.NFT.Snake所存在的一些问题.并赞誉了PCM的代币经济模型、接下来PiNetwork为启动正式的生态环境而做准备.就一些好的生态创意想法.给予建议.给予帮助.以先前的优质项目应用以点带面带动后来者加入生态、发光发热.共同推进项目进程.

项目方在推进生态进程.并指出派链商城存在的一些小问题.以及Pet.NFT.Snake所存在的一些问题.并赞誉了PCM的代币经济模型、接下来PiNetwork为启动正式的生态环境而做准备.就一些好的生态创意想法.给予建议.给予帮助.以先前的优质项目应用以点带面带动后来者加入生态、发光发热.共同推进项目进程.

提莫队长

10,382 views • 3 years ago

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,710 views • 2 years ago