Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

Auto PY to EXE 这个可将 Python 项目打包成可执行文件的开源工具，比之前分享的 pyfuze 工具更加容易上手。提供了直观的图形界面操作，只需选择脚本文件、配置相关选项，点击转换按钮即可完成整个打包过程，告别复杂的命令行操作。 GitHub：同时可保存常用打包设置，实时显示转换进度和详细日志信息。跨平台支持 Windows、macOS 和 Linux 系统，可通过 pip install auto-py-to-exe 快速安装使用。

GitHubDaily

32,328 subscribers

21,397 Aufrufe • vor 1 Jahr •via X (Twitter)

Gesundheit & Wellness Wissenschaft & Technologie Bildung

Anya Rossi• Live Now

Private livecam show

4 Kommentare

Profilbild von gymnofghj

gymnofghjvor 1 Jahr

@readwise save thread

Profilbild von Mobile Scanner

Mobile Scannervor 1 Jahr

Scan any documents, convert images into text, PDF files, etc. 👍

Profilbild von jack

jackvor 1 Jahr

出个教程，大哥！！！

Profilbild von xiaoxin

xiaoxinvor 1 Jahr

有教程吗

Ähnliche Videos

有位开发者把 Gemini CLI 做成了可视化聊天对话操作界面了，项目已开源，名为 “AionUi”。可以同时开多个会话，支持拖拽上传文件、预览代码改动、还提供可视化界面配置 Gemini API。 GitHub：主要功能： - 多会话管理，同时处理不同项目的 AI 对话 - 可视化文件树，拖拽选择文件一键集成到聊天 - 持久化历史记录，所有对话本地保存永不丢失 - 代码差异视图，文件变更的并排对比功能 - 富文本渲染，支持代码块和格式化内容展示跨平台支持，提供 macOS 和 Windows 安装包，安装后配置 Gemini API 即可使用。想要体验 Gemini CLI，但因复杂的终端命令，难以上手的同学，可以看下这个工具。

有位开发者把 Gemini CLI 做成了可视化聊天对话操作界面了，项目已开源，名为 “AionUi”。可以同时开多个会话，支持拖拽上传文件、预览代码改动、还提供可视化界面配置 Gemini API。 GitHub：主要功能： - 多会话管理，同时处理不同项目的 AI 对话 - 可视化文件树，拖拽选择文件一键集成到聊天 - 持久化历史记录，所有对话本地保存永不丢失 - 代码差异视图，文件变更的并排对比功能 - 富文本渲染，支持代码块和格式化内容展示跨平台支持，提供 macOS 和 Windows 安装包，安装后配置 Gemini API 即可使用。想要体验 Gemini CLI，但因复杂的终端命令，难以上手的同学，可以看下这个工具。

GitHubDaily

30,176 Aufrufe • vor 1 Jahr

首个直接集成在 IDE 中的开源 AI 设计 Agent：SuperDesign，可直接在 IDE 中生成 UI 设计。通过自然语言提示就能生成完整的 UI 界面、可复用组件和线框图，并支持 Cursor、Windsurf、VS Code 等主流 AI 编辑器。 GitHub：主要特性： - 产品界面生成：通过单个提示即可创建完整 UI 界面 - UI 组件创建：生成可直接使用的可复用组件 - 线框图绘制：快速探索低保真度布局设计 - 设计分支和迭代：轻松复制和改进现有设计 - 提示词转代码：将设计提示直接复制到 AI IDE 中通过 Cursor/VS Code 市场安装插件即可使用，其中设计文件本地存储在 .superdesign/ 目录中。

首个直接集成在 IDE 中的开源 AI 设计 Agent：SuperDesign，可直接在 IDE 中生成 UI 设计。通过自然语言提示就能生成完整的 UI 界面、可复用组件和线框图，并支持 Cursor、Windsurf、VS Code 等主流 AI 编辑器。 GitHub：主要特性： - 产品界面生成：通过单个提示即可创建完整 UI 界面 - UI 组件创建：生成可直接使用的可复用组件 - 线框图绘制：快速探索低保真度布局设计 - 设计分支和迭代：轻松复制和改进现有设计 - 提示词转代码：将设计提示直接复制到 AI IDE 中通过 Cursor/VS Code 市场安装插件即可使用，其中设计文件本地存储在 .superdesign/ 目录中。

GitHubDaily

42,801 Aufrufe • vor 1 Jahr

一款可平替v0、Cursor、Cline的AI全栈构建工具：cofounder，通过简单提示即可生成带有界面、前端、后端、数据库的网站支持通过Web仪表盘操作，也可以直接用命令行生成项目，生成后的项目支持实时预览支持快捷键来迭代修改UI组件，可以随时对已生成的内容进行调整和优化支持并发生成，可以调整LLM并发数，支持本地开发环境 github： #AI开发 #AI开发网站

一款可平替v0、Cursor、Cline的AI全栈构建工具：cofounder，通过简单提示即可生成带有界面、前端、后端、数据库的网站支持通过Web仪表盘操作，也可以直接用命令行生成项目，生成后的项目支持实时预览支持快捷键来迭代修改UI组件，可以随时对已生成的内容进行调整和优化支持并发生成，可以调整LLM并发数，支持本地开发环境 github： #AI开发 #AI开发网站

AIGCLINK

40,074 Aufrufe • vor 1 Jahr

平时觉得微信、QQ 的截图功能过于简单，可以看下 Flameshot 这款开源的截图工具，已斩获了 26.5k Star！它不仅能快速截图，还内置了完整的编辑功能，画箭头、加文字、打马赛克一气呵成，甚至能直接上传分享。 GitHub：主要功能： - 支持多种绘图工具：铅笔、箭头、矩形、圆形等 - 内置文字添加和像素化打码功能 - 快捷键操作，支持延时截图和全屏截图 - 一键上传到 Imgur 或复制到剪贴板 - 自定义外观和颜色，适应个人习惯跨平台支持 Linux、Windows、macOS 系统，提供开箱即用安装包，可在其官网上下载。

平时觉得微信、QQ 的截图功能过于简单，可以看下 Flameshot 这款开源的截图工具，已斩获了 26.5k Star！它不仅能快速截图，还内置了完整的编辑功能，画箭头、加文字、打马赛克一气呵成，甚至能直接上传分享。 GitHub：主要功能： - 支持多种绘图工具：铅笔、箭头、矩形、圆形等 - 内置文字添加和像素化打码功能 - 快捷键操作，支持延时截图和全屏截图 - 一键上传到 Imgur 或复制到剪贴板 - 自定义外观和颜色，适应个人习惯跨平台支持 Linux、Windows、macOS 系统，提供开箱即用安装包，可在其官网上下载。

GitHubDaily

72,816 Aufrufe • vor 1 Jahr

在不同设备间传文件时，没有 U 盘通常靠一些通讯软件发送，但大文件又传不了，确实挺麻烦。在 GitHub 上发现 Flying Carpet 这款开源的文件传输工具，无需网络也能直接在设备间传输文件。通过创建临时 WiFi 热点的方式，让两台设备直接连接并传输文件，支持 Android、iOS、Windows、macOS、Linux 全平台互传。 GitHub：同时在文件传输过程中，进行了全程 AES-GCM 加密，保护隐私安全。在 GitHub 发布页面下载对应安装包安装后，在简单易用的可视化操作界面，扫码或输入密码即可连接。

在不同设备间传文件时，没有 U 盘通常靠一些通讯软件发送，但大文件又传不了，确实挺麻烦。在 GitHub 上发现 Flying Carpet 这款开源的文件传输工具，无需网络也能直接在设备间传输文件。通过创建临时 WiFi 热点的方式，让两台设备直接连接并传输文件，支持 Android、iOS、Windows、macOS、Linux 全平台互传。 GitHub：同时在文件传输过程中，进行了全程 AES-GCM 加密，保护隐私安全。在 GitHub 发布页面下载对应安装包安装后，在简单易用的可视化操作界面，扫码或输入密码即可连接。

GitHubDaily

78,215 Aufrufe • vor 10 Monaten

用 Claude Code 写代码，想查看当前的Token 消耗、上下文长度、可用额度等信息，得来回切换查看颇为麻烦。于是找到 ccstatusline 这个开源的 Claude Code 增强工具，把各种实时信息直接显示在终端底部。支持展示模型信息、Git 分支与 PR 链接、Token 使用量、上下文占用、会话耗时、5 小时 Block 计时器、会话费用等各类指标。 GitHub：内置交互式 TUI 配置界面，可以自由增删组件、调整顺序、自定义颜色，还能配置多行状态栏。开箱即用，不需要全局安装，直接通过 npx 或 bunx 运行一条命令即可完成配置接入。使用 Claude Code 的朋友，想让相关信息更加直观，可以装上这个小工具看看。

用 Claude Code 写代码，想查看当前的Token 消耗、上下文长度、可用额度等信息，得来回切换查看颇为麻烦。于是找到 ccstatusline 这个开源的 Claude Code 增强工具，把各种实时信息直接显示在终端底部。支持展示模型信息、Git 分支与 PR 链接、Token 使用量、上下文占用、会话耗时、5 小时 Block 计时器、会话费用等各类指标。 GitHub：内置交互式 TUI 配置界面，可以自由增删组件、调整顺序、自定义颜色，还能配置多行状态栏。开箱即用，不需要全局安装，直接通过 npx 或 bunx 运行一条命令即可完成配置接入。使用 Claude Code 的朋友，想让相关信息更加直观，可以装上这个小工具看看。

GitHubDaily

13,947 Aufrufe • vor 3 Monaten

Zerox ：一个简单易用的开源 GPT OCR 工具利用gpt-4o-mini 模型进行零-shot 学习，直接处理各种文档。可将 PDF、DOCX 等文件转换为 Markdown 格式支持并发处理多个页面可设置多种选项，例如选择处理特定页面、是否保持格式、以及选择使用的模型等。详细介绍：在线体验：

Zerox ：一个简单易用的开源 GPT OCR 工具利用gpt-4o-mini 模型进行零-shot 学习，直接处理各种文档。可将 PDF、DOCX 等文件转换为 Markdown 格式支持并发处理多个页面可设置多种选项，例如选择处理特定页面、是否保持格式、以及选择使用的模型等。详细介绍：在线体验：

小互

82,227 Aufrufe • vor 1 Jahr

在终端里管理文件，用 cd、ls 翻来翻去效率太低，想快速找文件还得敲一堆命令。可以看下， fzfm 这个开源文件管理器，直接在终端里用模糊搜索快速定位文件，操作起来很顺手。基于 fzf 这个强大的模糊查找工具构建，通过简洁的交互界面，让你用键盘就能完成浏览、搜索、预览、复制、移动等常见操作。 GitHub：支持实时预览文件内容，能直接查看文本、图片、PDF 和视频，还能快速跳转到常用目录，批量操作文件也很方便。通过一条命令就能安装，支持 Linux 和 macOS 系统，经常在终端工作的朋友可以试试，能省不少时间。

在终端里管理文件，用 cd、ls 翻来翻去效率太低，想快速找文件还得敲一堆命令。可以看下， fzfm 这个开源文件管理器，直接在终端里用模糊搜索快速定位文件，操作起来很顺手。基于 fzf 这个强大的模糊查找工具构建，通过简洁的交互界面，让你用键盘就能完成浏览、搜索、预览、复制、移动等常见操作。 GitHub：支持实时预览文件内容，能直接查看文本、图片、PDF 和视频，还能快速跳转到常用目录，批量操作文件也很方便。通过一条命令就能安装，支持 Linux 和 macOS 系统，经常在终端工作的朋友可以试试，能省不少时间。

GitHubDaily

14,990 Aufrufe • vor 8 Monaten

在 Linux 上干活时偏偏要用 Windows 应用，往往只能切回 Windows，一来一回把节奏全打断。现在有个更省心的办法：开源工具 WinBoat，让你在 Linux 里直接跑 Windows 应用，不必再频繁切系统。它把 Windows 作为虚拟机塞进 Docker，并和 Linux 桌面做了深度整合：Windows 应用能以原生窗口的形式直接出现在你的 Linux 桌面上，还能和本机文件系统互通。 GitHub：官网：主要功能： - 界面简洁，Windows 应用自然融入 Linux 桌面 - 安装流程自动化，选好配置即可一键部署 - 几乎可运行任意 Windows 应用，原生窗口显示 - 支持进入完整 Windows 桌面，需要时随时切换 - 文件系统集成，Linux 目录可自动挂载到 Windows 使用条件： - Linux 至少 4GB 内存 - 已开启 KVM 虚拟化 - 已安装 Docker 获取方式：到项目 Releases 页面下载 AppImage，解压安装后即可使用。

在 Linux 上干活时偏偏要用 Windows 应用，往往只能切回 Windows，一来一回把节奏全打断。现在有个更省心的办法：开源工具 WinBoat，让你在 Linux 里直接跑 Windows 应用，不必再频繁切系统。它把 Windows 作为虚拟机塞进 Docker，并和 Linux 桌面做了深度整合：Windows 应用能以原生窗口的形式直接出现在你的 Linux 桌面上，还能和本机文件系统互通。 GitHub：官网：主要功能： - 界面简洁，Windows 应用自然融入 Linux 桌面 - 安装流程自动化，选好配置即可一键部署 - 几乎可运行任意 Windows 应用，原生窗口显示 - 支持进入完整 Windows 桌面，需要时随时切换 - 文件系统集成，Linux 目录可自动挂载到 Windows 使用条件： - Linux 至少 4GB 内存 - 已开启 KVM 虚拟化 - 已安装 Docker 获取方式：到项目 Releases 页面下载 AppImage，解压安装后即可使用。

Joruno

28,728 Aufrufe • vor 3 Monaten

一个相当牛的开源项目 Windows-Use，让任何大语言模型直接控制操作 Windows 系统。支持打开应用、按钮点击、文字输入等基础交互，可自动化执行命令，实现系统级别的自动化操作。 GitHub：同时可实时捕获和理解界面状态，智能判断下一步操作，不依赖传统的计算机视觉模型。支持 Windows 7 到 Windows 11 全系列系统，可直接语音输入，动动嘴皮就能控制电脑。

Sensitive content

一个相当牛的开源项目 Windows-Use，让任何大语言模型直接控制操作 Windows 系统。支持打开应用、按钮点击、文字输入等基础交互，可自动化执行命令，实现系统级别的自动化操作。 GitHub：同时可实时捕获和理解界面状态，智能判断下一步操作，不依赖传统的计算机视觉模型。支持 Windows 7 到 Windows 11 全系列系统，可直接语音输入，动动嘴皮就能控制电脑。

GitHubDaily

35,658 Aufrufe • vor 11 Monaten

平时在终端分析日志时，手动写复杂的 grep 命令、切换不同工具、面对大量实时日志流，无论查看还是操作都让人挺头疼的。最近 GitHub 上有个 Gonzo 开源项目，试图改变我们分析日志的方式，把强大的日志分析能力直接搬进了终端界面。提供类似 k9s 的 TUI 界面，支持实时日志流处理、AI 智能分析和可视化图表，让日志分析变得更加直观高效。 GitHub：主要功能： - 实时日志流分析，支持从文件、stdin 或网络接收日志 - 原生 OTLP 支持，可直接接收 OpenTelemetry 协议日志 - 交互式仪表板，包含词频统计、严重性分布等实时图表 - AI 驱动的模式检测和异常分析，支持多种 AI 模型 - 高级过滤功能，支持正则表达式和属性搜索 - 热力图可视化，提供 60 分钟滚动窗口的时序分析可通过 Go 或 Homebrew 命令快捷安装，也提供了二进制文件，支持 Windows、macOS 以及 Linux 系统。

平时在终端分析日志时，手动写复杂的 grep 命令、切换不同工具、面对大量实时日志流，无论查看还是操作都让人挺头疼的。最近 GitHub 上有个 Gonzo 开源项目，试图改变我们分析日志的方式，把强大的日志分析能力直接搬进了终端界面。提供类似 k9s 的 TUI 界面，支持实时日志流处理、AI 智能分析和可视化图表，让日志分析变得更加直观高效。 GitHub：主要功能： - 实时日志流分析，支持从文件、stdin 或网络接收日志 - 原生 OTLP 支持，可直接接收 OpenTelemetry 协议日志 - 交互式仪表板，包含词频统计、严重性分布等实时图表 - AI 驱动的模式检测和异常分析，支持多种 AI 模型 - 高级过滤功能，支持正则表达式和属性搜索 - 热力图可视化，提供 60 分钟滚动窗口的时序分析可通过 Go 或 Homebrew 命令快捷安装，也提供了二进制文件，支持 Windows、macOS 以及 Linux 系统。

GitHubDaily

17,156 Aufrufe • vor 11 Monaten

读论文时经常被各种专业术语、复杂概念和密集信息弄得头昏脑涨，想快速理解论文核心观点或生成文献综述更是特别耗时费力。给大家推荐一款学术研究的开源效率神器：PapersGPT For Zotero，让我们能直接与论文进行对话，极大提高我们阅读论文的效率。这是 Zotero 文献工具的一款插件，通过集成了各种 AI 模型，实现了在 Zotero 界面上对文献进行提问、提取见解、生成综述，甚至能与多篇论文同时对话。 GitHub：主要功能： - Mac 用户可一键使用本地开源模型（如 DeepSeek V3、Qwen 3 等），无需额外配置； - 集成几乎所有主流 AI 模型，包括 Gemini、ChatGPT、Claude 等，只需一个 API 密钥即可使用； - 支持选择多篇 PDF 论文或整个文件夹，快速分析和同时对话； - 内置各种学术场景提示词，如生成文献综述、理论框架分析等； - 完全本地处理选项，保证敏感研究数据的隐私安全； - 与 Zotero 无缝集成，无需离开界面即可管理和聊天文档。安装只需在 GitHub 发布页面下载 .xpi 文件，并通过 Zotero 的 “文件安装附加组件” 功能安装，简单配置下即可使用。

读论文时经常被各种专业术语、复杂概念和密集信息弄得头昏脑涨，想快速理解论文核心观点或生成文献综述更是特别耗时费力。给大家推荐一款学术研究的开源效率神器：PapersGPT For Zotero，让我们能直接与论文进行对话，极大提高我们阅读论文的效率。这是 Zotero 文献工具的一款插件，通过集成了各种 AI 模型，实现了在 Zotero 界面上对文献进行提问、提取见解、生成综述，甚至能与多篇论文同时对话。 GitHub：主要功能： - Mac 用户可一键使用本地开源模型（如 DeepSeek V3、Qwen 3 等），无需额外配置； - 集成几乎所有主流 AI 模型，包括 Gemini、ChatGPT、Claude 等，只需一个 API 密钥即可使用； - 支持选择多篇 PDF 论文或整个文件夹，快速分析和同时对话； - 内置各种学术场景提示词，如生成文献综述、理论框架分析等； - 完全本地处理选项，保证敏感研究数据的隐私安全； - 与 Zotero 无缝集成，无需离开界面即可管理和聊天文档。安装只需在 GitHub 发布页面下载 .xpi 文件，并通过 Zotero 的 “文件安装附加组件” 功能安装，简单配置下即可使用。

GitHubDaily

19,226 Aufrufe • vor 1 Jahr

在 GitHub 上发现一个开源的学习工具：Get It，可帮助我们通过多种方式深度学习 PDF 文件内容。自动在 PDF 文件上标注关键概念，还可转化为 3D 模型、动画演示、公式推导等可视化内容，同时生成一张知识图谱。 GitHub：内置四种工具：对话问答、闪卡记忆、选择题测验，还有一个「费曼模式」让我们反过来教 AI。每次练习结束，系统会从记忆、理解、结构、应用四个维度给每个概念打分，分数只升不降，能直观看到自己的进步。工具可直接用 ChatGPT 账号驱动，所有数据都存在本地，不上传任何服务器。支持 macOS、Windows 和 Linux，适合经常通过 PDF 文件学习的同学使用。

在 GitHub 上发现一个开源的学习工具：Get It，可帮助我们通过多种方式深度学习 PDF 文件内容。自动在 PDF 文件上标注关键概念，还可转化为 3D 模型、动画演示、公式推导等可视化内容，同时生成一张知识图谱。 GitHub：内置四种工具：对话问答、闪卡记忆、选择题测验，还有一个「费曼模式」让我们反过来教 AI。每次练习结束，系统会从记忆、理解、结构、应用四个维度给每个概念打分，分数只升不降，能直观看到自己的进步。工具可直接用 ChatGPT 账号驱动，所有数据都存在本地，不上传任何服务器。支持 macOS、Windows 和 Linux，适合经常通过 PDF 文件学习的同学使用。

GitHubDaily

52,526 Aufrufe • vor 2 Monaten

$兄弟们，这个数字人工具感觉不错我刚安装好，正在体验一个安装包即可解决所有问题，非常适合小白用户，以往的开源数字人工具都需要自己配置环境什么的，对小白很不友好。这个一个安装包，然后下载模型即可，很容易上手可以生成带有数字人的视频，并且保持嘴型和声音是同步的。支持语音合成和声音克隆支持Windows\Linux和macOS 支持模型：比如 MuseTalk（文本到语音）和 CosyVoice（语音克隆）。可以很方便地导入各种 AI 模型，界面支持中英文，关键还是开源的。$

兄弟们，这个数字人工具感觉不错我刚安装好，正在体验一个安装包即可解决所有问题，非常适合小白用户，以往的开源数字人工具都需要自己配置环境什么的，对小白很不友好。这个一个安装包，然后下载模型即可，很容易上手可以生成带有数字人的视频，并且保持嘴型和声音是同步的。支持语音合成和声音克隆支持Windows\Linux和macOS 支持模型：比如 MuseTalk（文本到语音）和 CosyVoice（语音克隆）。可以很方便地导入各种 AI 模型，界面支持中英文，关键还是开源的。

小互

41,028 Aufrufe • vor 1 Jahr

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 Aufrufe • vor 2 Jahren

GitHub 上 Social Analyzer 这个开源工具，有点厉害！只需要输入一个用户名称，它能在 1000+ 社交媒体网站上自动查找该用户的所有个人资料。并且自动提取其中数据进行详细分析，还支持多账号之间关联的分析，生成可视化关系图谱。 GitHub：除此之外，还支持按国家、类型或 Alexa 排名筛选搜索平台，精准定位到目标。提供了 Web 界面、命令行以及 API 使用方式，通过 npm 或 pip 安装即可使用。

GitHub 上 Social Analyzer 这个开源工具，有点厉害！只需要输入一个用户名称，它能在 1000+ 社交媒体网站上自动查找该用户的所有个人资料。并且自动提取其中数据进行详细分析，还支持多账号之间关联的分析，生成可视化关系图谱。 GitHub：除此之外，还支持按国家、类型或 Alexa 排名筛选搜索平台，精准定位到目标。提供了 Web 界面、命令行以及 API 使用方式，通过 npm 或 pip 安装即可使用。

GitHubDaily

102,840 Aufrufe • vor 9 Monaten

工作中经常查询数据库获取相关数据，每次都要写 SQL 语句挺烦的，如果涉及多表关联查询更麻烦。可以试下，OpenChatBI 这个开源的智能 BI 工具，用自然语言就能查询和分析数据，告别手写 SQL 的烦恼。基于 LangGraph 和 LangChain 构建，通过自然语言描述，理解后自动转换为 SQL 语句，还能执行查询、生成可视化图表。 GitHub：除此之外，还支持通过 MCP 配置接入外部工具扩展功能，以及对知识库整合可以回答复杂问题。提供了直观的 Web UI 界面，通过 pip 或 uv 安装后配置 LLM 和数据库连接即可使用。

工作中经常查询数据库获取相关数据，每次都要写 SQL 语句挺烦的，如果涉及多表关联查询更麻烦。可以试下，OpenChatBI 这个开源的智能 BI 工具，用自然语言就能查询和分析数据，告别手写 SQL 的烦恼。基于 LangGraph 和 LangChain 构建，通过自然语言描述，理解后自动转换为 SQL 语句，还能执行查询、生成可视化图表。 GitHub：除此之外，还支持通过 MCP 配置接入外部工具扩展功能，以及对知识库整合可以回答复杂问题。提供了直观的 Web UI 界面，通过 pip 或 uv 安装后配置 LLM 和数据库连接即可使用。

GitHubDaily

22,052 Aufrufe • vor 9 Monaten

初学者学习 Python，经常被引用、可变性这些概念搞得头晕，调试复杂数据结构，更是分不清变量之间的关系，非常头疼。可以看一下，memory_graph 这个可视化开源工具，它能让我们一眼看清 Python 数据结构和引用关系。通过直观清晰的图形界面，展示变量间的引用关系、数据共享情况和完整的调用栈，还支持各种 Python 环境包括 Jupyter、VS Code 调试器等。 GitHub：主要功能： - 可视化任意 Python 数据结构，包括列表、字典、自定义类等； - 清楚显示变量间的引用和共享关系，避免意外的数据修改； - 完整的函数调用栈可视化，理解程序执行流程和作用域； - 支持递归函数、二叉树、链表等复杂数据结构的动态展示。支持 VS Code、Jupyter、PyCharm 等多种开发环境，同时提供 Web 版调试器，无需安装即可在线体验和学习。

初学者学习 Python，经常被引用、可变性这些概念搞得头晕，调试复杂数据结构，更是分不清变量之间的关系，非常头疼。可以看一下，memory_graph 这个可视化开源工具，它能让我们一眼看清 Python 数据结构和引用关系。通过直观清晰的图形界面，展示变量间的引用关系、数据共享情况和完整的调用栈，还支持各种 Python 环境包括 Jupyter、VS Code 调试器等。 GitHub：主要功能： - 可视化任意 Python 数据结构，包括列表、字典、自定义类等； - 清楚显示变量间的引用和共享关系，避免意外的数据修改； - 完整的函数调用栈可视化，理解程序执行流程和作用域； - 支持递归函数、二叉树、链表等复杂数据结构的动态展示。支持 VS Code、Jupyter、PyCharm 等多种开发环境，同时提供 Web 版调试器，无需安装即可在线体验和学习。

GitHubDaily

57,015 Aufrufe • vor 10 Monaten

跟大家分享一款功能全面的 PDF 编辑器：Every PDF，完全开源免费，可离线使用。提供简洁易用的界面，支持文本添加、图片签名、文件合并拆分、页面旋转水印等所有常用功能， GitHub：主要功能： - PDF 编辑器，支持添加文字、签名、图片和复选框 - 文档分割，按页面范围或特定页码精确分割 - 文档合并，拖拽操作轻松合并多个 PDF 文件 - 水印添加，支持文字和图片水印自定义设置 - 页面管理，旋转和重新排序页面顺序提供 Windows、macOS 安装包，直接在发布页面下载即可使用。有 PDF 编辑需求又想保护数据隐私的同学可以看下。

跟大家分享一款功能全面的 PDF 编辑器：Every PDF，完全开源免费，可离线使用。提供简洁易用的界面，支持文本添加、图片签名、文件合并拆分、页面旋转水印等所有常用功能， GitHub：主要功能： - PDF 编辑器，支持添加文字、签名、图片和复选框 - 文档分割，按页面范围或特定页码精确分割 - 文档合并，拖拽操作轻松合并多个 PDF 文件 - 水印添加，支持文字和图片水印自定义设置 - 页面管理，旋转和重新排序页面顺序提供 Windows、macOS 安装包，直接在发布页面下载即可使用。有 PDF 编辑需求又想保护数据隐私的同学可以看下。

GitHubDaily

42,278 Aufrufe • vor 1 Jahr