Loading video...

Video Failed to Load

There was a problem loading this video. This could be due to a temporary network issue or the video might be unavailable.

Auto PY to EXE 这个可将 Python 项目打包成可执行文件的开源工具，比之前分享的 pyfuze 工具更加容易上手。提供了直观的图形界面操作，只需选择脚本文件、配置相关选项，点击转换按钮即可完成整个打包过程，告别复杂的命令行操作。 GitHub：同时可保存常用打包设置，实时显示转换进度和详细日志信息。跨平台支持 Windows、macOS 和 Linux 系统，可通过 pip install auto-py-to-exe 快速安装使用。

GitHubDaily

32,328 subscribers

21,397 views • 1 year ago •via X (Twitter)

Health & Wellness Science & Technology Education

Anya Rossi• Live Now

Private livecam show

4 Comments

gymnofghj1 year ago

@readwise save thread

Mobile Scanner1 year ago

Scan any documents, convert images into text, PDF files, etc. 👍

jack1 year ago

出个教程，大哥！！！

xiaoxin1 year ago

有教程吗

Related Videos

有位开发者把 Gemini CLI 做成了可视化聊天对话操作界面了，项目已开源，名为 “AionUi”。可以同时开多个会话，支持拖拽上传文件、预览代码改动、还提供可视化界面配置 Gemini API。 GitHub：主要功能： - 多会话管理，同时处理不同项目的 AI 对话 - 可视化文件树，拖拽选择文件一键集成到聊天 - 持久化历史记录，所有对话本地保存永不丢失 - 代码差异视图，文件变更的并排对比功能 - 富文本渲染，支持代码块和格式化内容展示跨平台支持，提供 macOS 和 Windows 安装包，安装后配置 Gemini API 即可使用。想要体验 Gemini CLI，但因复杂的终端命令，难以上手的同学，可以看下这个工具。

有位开发者把 Gemini CLI 做成了可视化聊天对话操作界面了，项目已开源，名为 “AionUi”。可以同时开多个会话，支持拖拽上传文件、预览代码改动、还提供可视化界面配置 Gemini API。 GitHub：主要功能： - 多会话管理，同时处理不同项目的 AI 对话 - 可视化文件树，拖拽选择文件一键集成到聊天 - 持久化历史记录，所有对话本地保存永不丢失 - 代码差异视图，文件变更的并排对比功能 - 富文本渲染，支持代码块和格式化内容展示跨平台支持，提供 macOS 和 Windows 安装包，安装后配置 Gemini API 即可使用。想要体验 Gemini CLI，但因复杂的终端命令，难以上手的同学，可以看下这个工具。

GitHubDaily

30,067 views • 10 months ago

首个直接集成在 IDE 中的开源 AI 设计 Agent：SuperDesign，可直接在 IDE 中生成 UI 设计。通过自然语言提示就能生成完整的 UI 界面、可复用组件和线框图，并支持 Cursor、Windsurf、VS Code 等主流 AI 编辑器。 GitHub：主要特性： - 产品界面生成：通过单个提示即可创建完整 UI 界面 - UI 组件创建：生成可直接使用的可复用组件 - 线框图绘制：快速探索低保真度布局设计 - 设计分支和迭代：轻松复制和改进现有设计 - 提示词转代码：将设计提示直接复制到 AI IDE 中通过 Cursor/VS Code 市场安装插件即可使用，其中设计文件本地存储在 .superdesign/ 目录中。

首个直接集成在 IDE 中的开源 AI 设计 Agent：SuperDesign，可直接在 IDE 中生成 UI 设计。通过自然语言提示就能生成完整的 UI 界面、可复用组件和线框图，并支持 Cursor、Windsurf、VS Code 等主流 AI 编辑器。 GitHub：主要特性： - 产品界面生成：通过单个提示即可创建完整 UI 界面 - UI 组件创建：生成可直接使用的可复用组件 - 线框图绘制：快速探索低保真度布局设计 - 设计分支和迭代：轻松复制和改进现有设计 - 提示词转代码：将设计提示直接复制到 AI IDE 中通过 Cursor/VS Code 市场安装插件即可使用，其中设计文件本地存储在 .superdesign/ 目录中。

GitHubDaily

42,801 views • 1 year ago

分享 GitHub 上一款能为 GitHub 项目一键生成交互式图表的开源工具：GitDiagram。只需将任何 GitHub 项目链接中的 “hub“ 更改为 “diagram“，即可在几秒内为项目生成交互式架构图，让我们直观理解项目。 GitHub：主要特性： - 即时可视化：快速将 GitHub 仓库结构转为系统设计/架构图 - 高度交互性：点击组件可直接导航到源文件和相关目录 - AI 驱动：由 OpenAI o3-mini 提供支持，生成快速准确的图表 - 自定义功能：可根据需求修改并重新生成图表 - 私有仓库支持：可通过 GitHub 令牌访问私有仓库

分享 GitHub 上一款能为 GitHub 项目一键生成交互式图表的开源工具：GitDiagram。只需将任何 GitHub 项目链接中的 “hub“ 更改为 “diagram“，即可在几秒内为项目生成交互式架构图，让我们直观理解项目。 GitHub：主要特性： - 即时可视化：快速将 GitHub 仓库结构转为系统设计/架构图 - 高度交互性：点击组件可直接导航到源文件和相关目录 - AI 驱动：由 OpenAI o3-mini 提供支持，生成快速准确的图表 - 自定义功能：可根据需求修改并重新生成图表 - 私有仓库支持：可通过 GitHub 令牌访问私有仓库

GitHubDaily

18,044 views • 1 year ago

一款可平替v0、Cursor、Cline的AI全栈构建工具：cofounder，通过简单提示即可生成带有界面、前端、后端、数据库的网站支持通过Web仪表盘操作，也可以直接用命令行生成项目，生成后的项目支持实时预览支持快捷键来迭代修改UI组件，可以随时对已生成的内容进行调整和优化支持并发生成，可以调整LLM并发数，支持本地开发环境 github： #AI开发 #AI开发网站

一款可平替v0、Cursor、Cline的AI全栈构建工具：cofounder，通过简单提示即可生成带有界面、前端、后端、数据库的网站支持通过Web仪表盘操作，也可以直接用命令行生成项目，生成后的项目支持实时预览支持快捷键来迭代修改UI组件，可以随时对已生成的内容进行调整和优化支持并发生成，可以调整LLM并发数，支持本地开发环境 github： #AI开发 #AI开发网站

AIGCLINK

38,639 views • 1 year ago

在不同设备间传文件时，没有 U 盘通常靠一些通讯软件发送，但大文件又传不了，确实挺麻烦。在 GitHub 上发现 Flying Carpet 这款开源的文件传输工具，无需网络也能直接在设备间传输文件。通过创建临时 WiFi 热点的方式，让两台设备直接连接并传输文件，支持 Android、iOS、Windows、macOS、Linux 全平台互传。 GitHub：同时在文件传输过程中，进行了全程 AES-GCM 加密，保护隐私安全。在 GitHub 发布页面下载对应安装包安装后，在简单易用的可视化操作界面，扫码或输入密码即可连接。

在不同设备间传文件时，没有 U 盘通常靠一些通讯软件发送，但大文件又传不了，确实挺麻烦。在 GitHub 上发现 Flying Carpet 这款开源的文件传输工具，无需网络也能直接在设备间传输文件。通过创建临时 WiFi 热点的方式，让两台设备直接连接并传输文件，支持 Android、iOS、Windows、macOS、Linux 全平台互传。 GitHub：同时在文件传输过程中，进行了全程 AES-GCM 加密，保护隐私安全。在 GitHub 发布页面下载对应安装包安装后，在简单易用的可视化操作界面，扫码或输入密码即可连接。

GitHubDaily

77,965 views • 8 months ago

用 Claude Code 写代码，想查看当前的Token 消耗、上下文长度、可用额度等信息，得来回切换查看颇为麻烦。于是找到 ccstatusline 这个开源的 Claude Code 增强工具，把各种实时信息直接显示在终端底部。支持展示模型信息、Git 分支与 PR 链接、Token 使用量、上下文占用、会话耗时、5 小时 Block 计时器、会话费用等各类指标。 GitHub：内置交互式 TUI 配置界面，可以自由增删组件、调整顺序、自定义颜色，还能配置多行状态栏。开箱即用，不需要全局安装，直接通过 npx 或 bunx 运行一条命令即可完成配置接入。使用 Claude Code 的朋友，想让相关信息更加直观，可以装上这个小工具看看。

用 Claude Code 写代码，想查看当前的Token 消耗、上下文长度、可用额度等信息，得来回切换查看颇为麻烦。于是找到 ccstatusline 这个开源的 Claude Code 增强工具，把各种实时信息直接显示在终端底部。支持展示模型信息、Git 分支与 PR 链接、Token 使用量、上下文占用、会话耗时、5 小时 Block 计时器、会话费用等各类指标。 GitHub：内置交互式 TUI 配置界面，可以自由增删组件、调整顺序、自定义颜色，还能配置多行状态栏。开箱即用，不需要全局安装，直接通过 npx 或 bunx 运行一条命令即可完成配置接入。使用 Claude Code 的朋友，想让相关信息更加直观，可以装上这个小工具看看。

GitHubDaily

13,947 views • 2 months ago

平时觉得微信、QQ 的截图功能过于简单，可以看下 Flameshot 这款开源的截图工具，已斩获了 26.5k Star！它不仅能快速截图，还内置了完整的编辑功能，画箭头、加文字、打马赛克一气呵成，甚至能直接上传分享。 GitHub：主要功能： - 支持多种绘图工具：铅笔、箭头、矩形、圆形等 - 内置文字添加和像素化打码功能 - 快捷键操作，支持延时截图和全屏截图 - 一键上传到 Imgur 或复制到剪贴板 - 自定义外观和颜色，适应个人习惯跨平台支持 Linux、Windows、macOS 系统，提供开箱即用安装包，可在其官网上下载。

平时觉得微信、QQ 的截图功能过于简单，可以看下 Flameshot 这款开源的截图工具，已斩获了 26.5k Star！它不仅能快速截图，还内置了完整的编辑功能，画箭头、加文字、打马赛克一气呵成，甚至能直接上传分享。 GitHub：主要功能： - 支持多种绘图工具：铅笔、箭头、矩形、圆形等 - 内置文字添加和像素化打码功能 - 快捷键操作，支持延时截图和全屏截图 - 一键上传到 Imgur 或复制到剪贴板 - 自定义外观和颜色，适应个人习惯跨平台支持 Linux、Windows、macOS 系统，提供开箱即用安装包，可在其官网上下载。

GitHubDaily

72,672 views • 1 year ago

Zerox ：一个简单易用的开源 GPT OCR 工具利用gpt-4o-mini 模型进行零-shot 学习，直接处理各种文档。可将 PDF、DOCX 等文件转换为 Markdown 格式支持并发处理多个页面可设置多种选项，例如选择处理特定页面、是否保持格式、以及选择使用的模型等。详细介绍：在线体验：

Zerox ：一个简单易用的开源 GPT OCR 工具利用gpt-4o-mini 模型进行零-shot 学习，直接处理各种文档。可将 PDF、DOCX 等文件转换为 Markdown 格式支持并发处理多个页面可设置多种选项，例如选择处理特定页面、是否保持格式、以及选择使用的模型等。详细介绍：在线体验：

小互

82,227 views • 1 year ago

在终端里管理文件，用 cd、ls 翻来翻去效率太低，想快速找文件还得敲一堆命令。可以看下， fzfm 这个开源文件管理器，直接在终端里用模糊搜索快速定位文件，操作起来很顺手。基于 fzf 这个强大的模糊查找工具构建，通过简洁的交互界面，让你用键盘就能完成浏览、搜索、预览、复制、移动等常见操作。 GitHub：支持实时预览文件内容，能直接查看文本、图片、PDF 和视频，还能快速跳转到常用目录，批量操作文件也很方便。通过一条命令就能安装，支持 Linux 和 macOS 系统，经常在终端工作的朋友可以试试，能省不少时间。

在终端里管理文件，用 cd、ls 翻来翻去效率太低，想快速找文件还得敲一堆命令。可以看下， fzfm 这个开源文件管理器，直接在终端里用模糊搜索快速定位文件，操作起来很顺手。基于 fzf 这个强大的模糊查找工具构建，通过简洁的交互界面，让你用键盘就能完成浏览、搜索、预览、复制、移动等常见操作。 GitHub：支持实时预览文件内容，能直接查看文本、图片、PDF 和视频，还能快速跳转到常用目录，批量操作文件也很方便。通过一条命令就能安装，支持 Linux 和 macOS 系统，经常在终端工作的朋友可以试试，能省不少时间。

GitHubDaily

14,990 views • 6 months ago

在 Linux 上干活时偏偏要用 Windows 应用，往往只能切回 Windows，一来一回把节奏全打断。现在有个更省心的办法：开源工具 WinBoat，让你在 Linux 里直接跑 Windows 应用，不必再频繁切系统。它把 Windows 作为虚拟机塞进 Docker，并和 Linux 桌面做了深度整合：Windows 应用能以原生窗口的形式直接出现在你的 Linux 桌面上，还能和本机文件系统互通。 GitHub：官网：主要功能： - 界面简洁，Windows 应用自然融入 Linux 桌面 - 安装流程自动化，选好配置即可一键部署 - 几乎可运行任意 Windows 应用，原生窗口显示 - 支持进入完整 Windows 桌面，需要时随时切换 - 文件系统集成，Linux 目录可自动挂载到 Windows 使用条件： - Linux 至少 4GB 内存 - 已开启 KVM 虚拟化 - 已安装 Docker 获取方式：到项目 Releases 页面下载 AppImage，解压安装后即可使用。

在 Linux 上干活时偏偏要用 Windows 应用，往往只能切回 Windows，一来一回把节奏全打断。现在有个更省心的办法：开源工具 WinBoat，让你在 Linux 里直接跑 Windows 应用，不必再频繁切系统。它把 Windows 作为虚拟机塞进 Docker，并和 Linux 桌面做了深度整合：Windows 应用能以原生窗口的形式直接出现在你的 Linux 桌面上，还能和本机文件系统互通。 GitHub：官网：主要功能： - 界面简洁，Windows 应用自然融入 Linux 桌面 - 安装流程自动化，选好配置即可一键部署 - 几乎可运行任意 Windows 应用，原生窗口显示 - 支持进入完整 Windows 桌面，需要时随时切换 - 文件系统集成，Linux 目录可自动挂载到 Windows 使用条件： - Linux 至少 4GB 内存 - 已开启 KVM 虚拟化 - 已安装 Docker 获取方式：到项目 Releases 页面下载 AppImage，解压安装后即可使用。

Joruno

28,545 views • 2 months ago

一个相当牛的开源项目 Windows-Use，让任何大语言模型直接控制操作 Windows 系统。支持打开应用、按钮点击、文字输入等基础交互，可自动化执行命令，实现系统级别的自动化操作。 GitHub：同时可实时捕获和理解界面状态，智能判断下一步操作，不依赖传统的计算机视觉模型。支持 Windows 7 到 Windows 11 全系列系统，可直接语音输入，动动嘴皮就能控制电脑。

Sensitive content

一个相当牛的开源项目 Windows-Use，让任何大语言模型直接控制操作 Windows 系统。支持打开应用、按钮点击、文字输入等基础交互，可自动化执行命令，实现系统级别的自动化操作。 GitHub：同时可实时捕获和理解界面状态，智能判断下一步操作，不依赖传统的计算机视觉模型。支持 Windows 7 到 Windows 11 全系列系统，可直接语音输入，动动嘴皮就能控制电脑。

GitHubDaily

35,658 views • 9 months ago

平时在终端分析日志时，手动写复杂的 grep 命令、切换不同工具、面对大量实时日志流，无论查看还是操作都让人挺头疼的。最近 GitHub 上有个 Gonzo 开源项目，试图改变我们分析日志的方式，把强大的日志分析能力直接搬进了终端界面。提供类似 k9s 的 TUI 界面，支持实时日志流处理、AI 智能分析和可视化图表，让日志分析变得更加直观高效。 GitHub：主要功能： - 实时日志流分析，支持从文件、stdin 或网络接收日志 - 原生 OTLP 支持，可直接接收 OpenTelemetry 协议日志 - 交互式仪表板，包含词频统计、严重性分布等实时图表 - AI 驱动的模式检测和异常分析，支持多种 AI 模型 - 高级过滤功能，支持正则表达式和属性搜索 - 热力图可视化，提供 60 分钟滚动窗口的时序分析可通过 Go 或 Homebrew 命令快捷安装，也提供了二进制文件，支持 Windows、macOS 以及 Linux 系统。

平时在终端分析日志时，手动写复杂的 grep 命令、切换不同工具、面对大量实时日志流，无论查看还是操作都让人挺头疼的。最近 GitHub 上有个 Gonzo 开源项目，试图改变我们分析日志的方式，把强大的日志分析能力直接搬进了终端界面。提供类似 k9s 的 TUI 界面，支持实时日志流处理、AI 智能分析和可视化图表，让日志分析变得更加直观高效。 GitHub：主要功能： - 实时日志流分析，支持从文件、stdin 或网络接收日志 - 原生 OTLP 支持，可直接接收 OpenTelemetry 协议日志 - 交互式仪表板，包含词频统计、严重性分布等实时图表 - AI 驱动的模式检测和异常分析，支持多种 AI 模型 - 高级过滤功能，支持正则表达式和属性搜索 - 热力图可视化，提供 60 分钟滚动窗口的时序分析可通过 Go 或 Homebrew 命令快捷安装，也提供了二进制文件，支持 Windows、macOS 以及 Linux 系统。

GitHubDaily

17,156 views • 9 months ago

读论文时经常被各种专业术语、复杂概念和密集信息弄得头昏脑涨，想快速理解论文核心观点或生成文献综述更是特别耗时费力。给大家推荐一款学术研究的开源效率神器：PapersGPT For Zotero，让我们能直接与论文进行对话，极大提高我们阅读论文的效率。这是 Zotero 文献工具的一款插件，通过集成了各种 AI 模型，实现了在 Zotero 界面上对文献进行提问、提取见解、生成综述，甚至能与多篇论文同时对话。 GitHub：主要功能： - Mac 用户可一键使用本地开源模型（如 DeepSeek V3、Qwen 3 等），无需额外配置； - 集成几乎所有主流 AI 模型，包括 Gemini、ChatGPT、Claude 等，只需一个 API 密钥即可使用； - 支持选择多篇 PDF 论文或整个文件夹，快速分析和同时对话； - 内置各种学术场景提示词，如生成文献综述、理论框架分析等； - 完全本地处理选项，保证敏感研究数据的隐私安全； - 与 Zotero 无缝集成，无需离开界面即可管理和聊天文档。安装只需在 GitHub 发布页面下载 .xpi 文件，并通过 Zotero 的 “文件安装附加组件” 功能安装，简单配置下即可使用。

读论文时经常被各种专业术语、复杂概念和密集信息弄得头昏脑涨，想快速理解论文核心观点或生成文献综述更是特别耗时费力。给大家推荐一款学术研究的开源效率神器：PapersGPT For Zotero，让我们能直接与论文进行对话，极大提高我们阅读论文的效率。这是 Zotero 文献工具的一款插件，通过集成了各种 AI 模型，实现了在 Zotero 界面上对文献进行提问、提取见解、生成综述，甚至能与多篇论文同时对话。 GitHub：主要功能： - Mac 用户可一键使用本地开源模型（如 DeepSeek V3、Qwen 3 等），无需额外配置； - 集成几乎所有主流 AI 模型，包括 Gemini、ChatGPT、Claude 等，只需一个 API 密钥即可使用； - 支持选择多篇 PDF 论文或整个文件夹，快速分析和同时对话； - 内置各种学术场景提示词，如生成文献综述、理论框架分析等； - 完全本地处理选项，保证敏感研究数据的隐私安全； - 与 Zotero 无缝集成，无需离开界面即可管理和聊天文档。安装只需在 GitHub 发布页面下载 .xpi 文件，并通过 Zotero 的 “文件安装附加组件” 功能安装，简单配置下即可使用。

GitHubDaily

19,226 views • 1 year ago

在 GitHub 上发现一个开源的学习工具：Get It，可帮助我们通过多种方式深度学习 PDF 文件内容。自动在 PDF 文件上标注关键概念，还可转化为 3D 模型、动画演示、公式推导等可视化内容，同时生成一张知识图谱。 GitHub：内置四种工具：对话问答、闪卡记忆、选择题测验，还有一个「费曼模式」让我们反过来教 AI。每次练习结束，系统会从记忆、理解、结构、应用四个维度给每个概念打分，分数只升不降，能直观看到自己的进步。工具可直接用 ChatGPT 账号驱动，所有数据都存在本地，不上传任何服务器。支持 macOS、Windows 和 Linux，适合经常通过 PDF 文件学习的同学使用。

在 GitHub 上发现一个开源的学习工具：Get It，可帮助我们通过多种方式深度学习 PDF 文件内容。自动在 PDF 文件上标注关键概念，还可转化为 3D 模型、动画演示、公式推导等可视化内容，同时生成一张知识图谱。 GitHub：内置四种工具：对话问答、闪卡记忆、选择题测验，还有一个「费曼模式」让我们反过来教 AI。每次练习结束，系统会从记忆、理解、结构、应用四个维度给每个概念打分，分数只升不降，能直观看到自己的进步。工具可直接用 ChatGPT 账号驱动，所有数据都存在本地，不上传任何服务器。支持 macOS、Windows 和 Linux，适合经常通过 PDF 文件学习的同学使用。

GitHubDaily

50,391 views • 18 days ago

$兄弟们，这个数字人工具感觉不错我刚安装好，正在体验一个安装包即可解决所有问题，非常适合小白用户，以往的开源数字人工具都需要自己配置环境什么的，对小白很不友好。这个一个安装包，然后下载模型即可，很容易上手可以生成带有数字人的视频，并且保持嘴型和声音是同步的。支持语音合成和声音克隆支持Windows\Linux和macOS 支持模型：比如 MuseTalk（文本到语音）和 CosyVoice（语音克隆）。可以很方便地导入各种 AI 模型，界面支持中英文，关键还是开源的。$

兄弟们，这个数字人工具感觉不错我刚安装好，正在体验一个安装包即可解决所有问题，非常适合小白用户，以往的开源数字人工具都需要自己配置环境什么的，对小白很不友好。这个一个安装包，然后下载模型即可，很容易上手可以生成带有数字人的视频，并且保持嘴型和声音是同步的。支持语音合成和声音克隆支持Windows\Linux和macOS 支持模型：比如 MuseTalk（文本到语音）和 CosyVoice（语音克隆）。可以很方便地导入各种 AI 模型，界面支持中英文，关键还是开源的。

小互

41,028 views • 1 year ago

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,710 views • 2 years ago

Gemini CLI 原生集成到 VS Code 里面了，现在可以感知当前打开的文件和选中的代码，这个太好了需要通过 CLI 命令 /ide install 安装扩展为了这个扩展还优化了 UI，可以在窄宽度显示内容

Gemini CLI 原生集成到 VS Code 里面了，现在可以感知当前打开的文件和选中的代码，这个太好了需要通过 CLI 命令 /ide install 安装扩展为了这个扩展还优化了 UI，可以在窄宽度显示内容

歸藏(guizang.ai)

51,107 views • 10 months ago

工作中经常查询数据库获取相关数据，每次都要写 SQL 语句挺烦的，如果涉及多表关联查询更麻烦。可以试下，OpenChatBI 这个开源的智能 BI 工具，用自然语言就能查询和分析数据，告别手写 SQL 的烦恼。基于 LangGraph 和 LangChain 构建，通过自然语言描述，理解后自动转换为 SQL 语句，还能执行查询、生成可视化图表。 GitHub：除此之外，还支持通过 MCP 配置接入外部工具扩展功能，以及对知识库整合可以回答复杂问题。提供了直观的 Web UI 界面，通过 pip 或 uv 安装后配置 LLM 和数据库连接即可使用。

工作中经常查询数据库获取相关数据，每次都要写 SQL 语句挺烦的，如果涉及多表关联查询更麻烦。可以试下，OpenChatBI 这个开源的智能 BI 工具，用自然语言就能查询和分析数据，告别手写 SQL 的烦恼。基于 LangGraph 和 LangChain 构建，通过自然语言描述，理解后自动转换为 SQL 语句，还能执行查询、生成可视化图表。 GitHub：除此之外，还支持通过 MCP 配置接入外部工具扩展功能，以及对知识库整合可以回答复杂问题。提供了直观的 Web UI 界面，通过 pip 或 uv 安装后配置 LLM 和数据库连接即可使用。

GitHubDaily

22,005 views • 7 months ago

GitHub 上 Social Analyzer 这个开源工具，有点厉害！只需要输入一个用户名称，它能在 1000+ 社交媒体网站上自动查找该用户的所有个人资料。并且自动提取其中数据进行详细分析，还支持多账号之间关联的分析，生成可视化关系图谱。 GitHub：除此之外，还支持按国家、类型或 Alexa 排名筛选搜索平台，精准定位到目标。提供了 Web 界面、命令行以及 API 使用方式，通过 npm 或 pip 安装即可使用。

GitHub 上 Social Analyzer 这个开源工具，有点厉害！只需要输入一个用户名称，它能在 1000+ 社交媒体网站上自动查找该用户的所有个人资料。并且自动提取其中数据进行详细分析，还支持多账号之间关联的分析，生成可视化关系图谱。 GitHub：除此之外，还支持按国家、类型或 Alexa 排名筛选搜索平台，精准定位到目标。提供了 Web 界面、命令行以及 API 使用方式，通过 npm 或 pip 安装即可使用。

GitHubDaily

102,558 views • 8 months ago

一款强大的编程助手工具：DeepSeek Engineer。集成 DeepSeek API，在命令行终端上，可读取本地项目文件内容、或创建新文件，并实时应用到对现有文件的修改。 GitHub：想尝试 DeepSeek 最新 R1 模型编码能力的开发者，不妨可以通过该工具体验下。

一款强大的编程助手工具：DeepSeek Engineer。集成 DeepSeek API，在命令行终端上，可读取本地项目文件内容、或创建新文件，并实时应用到对现有文件的修改。 GitHub：想尝试 DeepSeek 最新 R1 模型编码能力的开发者，不妨可以通过该工具体验下。

GitHubDaily

31,951 views • 1 year ago