正在加载视频...

视频加载失败

加载此视频时出现问题。这可能是由于临时网络问题，或视频可能不可用。

每次开会时，我们经常需要一边讨论，一边记录重点，但往往会有所错漏。分享一款开源免费的 AI 会议助手：Meetily，可完全本地离线使用。它能实时捕获会议音频、进行转录并生成摘要，无需服务器所有处理在本地完成，确保数据隐私安全。 GitHub：主要功能： - 实时捕获麦克风和系统音频 - 使用本地 Whisper 模型进行即时语音转录 - 支持多种 LLM 提供商，包括 Anthropic、Groq 和 Ollama - 完全本地处理，无需外部服务器，保护隐私提供 Windows、macOS 系统安装包，下载即可使用。

GitHubDaily

81,881 subscribers

25,600 次观看 • 1 年前 •via X (Twitter)

健康养生教育科学技术

Anya Rossi• Live Now

Private livecam show

10 条评论

诸如此类的头像

诸如此类1 年前

windows 版本貌似无法下载使用了

AssemblyAI 的头像

AssemblyAI1 年前

Announcing: Our most advanced speech-to-text model goes beyond accuracy to capture the real-world complexity of human conversation and deliver reliable, source-of-truth audio data. Explore Universal-2 updates 👇

OSDev 的头像

OSDev1 年前

rst @readwise save thread

币安高返佣注册申请 (Parody) 的头像

币安高返佣注册申请 (Parody)1 年前

非常棒

VailArden 的头像

VailArden1 年前

@readwiseio save

ken lu 的头像

ken lu1 年前

@readwise save

notice_u 的头像

notice_u1 年前

@readwise save thread

Ty汀屿的头像

Ty汀屿1 年前

有个疑问:完全本地离线如果只有whisper怎么实现AI会议生成摘要的？还是本地部署ASR➕LLM实现的呢？

losfnig 的头像

losfnig1 年前

@readwise save

ruilin-ryan 的头像

ruilin-ryan1 年前

Offline AI for meeting notes is a great feature for privacy.

相关视频

想要生成逼真的 AI 语音，通常使用在线 API 服务，不仅有隐私泄露风险，而且支付费用成本还不低。今天发现了一个开源免费的超逼真语音合成模型：NeuTTS Air，仅 0.5B 参数，可直接在本地电脑运行。生成的语音媲美真人，支持仅用 3 秒音频就能完成声音克隆，在手机、笔记本甚至树莓派上都能流畅运行。 GitHub：主要特性： - 超逼真语音合成，生成接近真人水平的自然语音； - 即时声音克隆，仅需 3 秒音频样本即可复制声音特征； - 完全本地运行，无需网络连接保护隐私安全； - 轻量级设计，支持手机、电脑和嵌入式设备部署； - 实时语音生成，在中等配置设备上也能流畅运行； - 内置水印技术，确保生成音频的责任可追溯性。根据 README 文档提供的详细使用教程，克隆项目安装 espeak 依赖后即可使用。

想要生成逼真的 AI 语音，通常使用在线 API 服务，不仅有隐私泄露风险，而且支付费用成本还不低。今天发现了一个开源免费的超逼真语音合成模型：NeuTTS Air，仅 0.5B 参数，可直接在本地电脑运行。生成的语音媲美真人，支持仅用 3 秒音频就能完成声音克隆，在手机、笔记本甚至树莓派上都能流畅运行。 GitHub：主要特性： - 超逼真语音合成，生成接近真人水平的自然语音； - 即时声音克隆，仅需 3 秒音频样本即可复制声音特征； - 完全本地运行，无需网络连接保护隐私安全； - 轻量级设计，支持手机、电脑和嵌入式设备部署； - 实时语音生成，在中等配置设备上也能流畅运行； - 内置水印技术，确保生成音频的责任可追溯性。根据 README 文档提供的详细使用教程，克隆项目安装 espeak 依赖后即可使用。

GitHubDaily

59,269 次观看 • 11 个月前

100%本地AI会议神器开源，隐私党狂喜！ Meetily 是完全本地运行的AI会议助手：实时转录（Parakeet/Whisper 4倍速）、说话人区分、Ollama智能总结，全程零云端、零数据泄露。数据100%留在自己电脑支持Zoom、Teams、面对面等多种场景 GPU加速，Rust底层，macOS/Windows直接用开源免费，隐私优先，企业也能放心用！

100%本地AI会议神器开源，隐私党狂喜！ Meetily 是完全本地运行的AI会议助手：实时转录（Parakeet/Whisper 4倍速）、说话人区分、Ollama智能总结，全程零云端、零数据泄露。数据100%留在自己电脑支持Zoom、Teams、面对面等多种场景 GPU加速，Rust底层，macOS/Windows直接用开源免费，隐私优先，企业也能放心用！

开发者Hailey

21,839 次观看 • 2 个月前

谷歌刚刚为 iOS 和 Mac 推出了一款免费的 AI 语音听写应用。所有高级功能无需任何订阅即可使用。 100% 免费，完全本地运行，由 Gemma 4 提供支持。

谷歌刚刚为 iOS 和 Mac 推出了一款免费的 AI 语音听写应用。所有高级功能无需任何订阅即可使用。 100% 免费，完全本地运行，由 Gemma 4 提供支持。

Jason

149,561 次观看 • 3 个月前

卧槽 OpenAI 终于干了件人事！！！🔥 2026 年第一个开源模型来了——Privacy Filter， Apache 2.0 直接放出！ 1.5B 参数的 PII（个人信息）检测神器，专门把文本里的姓名、地址、电话、邮箱、身份证这些敏感信息秒红action掉。关键是它能在你浏览器本地跑，WebGPU 直接干，完全不用传服务器！核心亮点： 1. 多语言支持 2. 完全本地运行（Transformers.js + WebGPU），无需上传服务器，浏览器即可使用 3. 实时处理文档，隐私保护优先适合合规审核、用户数据处理、本地隐私工作流等场景。演示效果非常流畅，尤其适合需要强隐私保障的团队和开发者。地址评论区👇

卧槽 OpenAI 终于干了件人事！！！🔥 2026 年第一个开源模型来了——Privacy Filter， Apache 2.0 直接放出！ 1.5B 参数的 PII（个人信息）检测神器，专门把文本里的姓名、地址、电话、邮箱、身份证这些敏感信息秒红action掉。关键是它能在你浏览器本地跑，WebGPU 直接干，完全不用传服务器！核心亮点： 1. 多语言支持 2. 完全本地运行（Transformers.js + WebGPU），无需上传服务器，浏览器即可使用 3. 实时处理文档，隐私保护优先适合合规审核、用户数据处理、本地隐私工作流等场景。演示效果非常流畅，尤其适合需要强隐私保障的团队和开发者。地址评论区👇

HankAI

185,872 次观看 • 4 个月前

读论文时经常被各种专业术语、复杂概念和密集信息弄得头昏脑涨，想快速理解论文核心观点或生成文献综述更是特别耗时费力。给大家推荐一款学术研究的开源效率神器：PapersGPT For Zotero，让我们能直接与论文进行对话，极大提高我们阅读论文的效率。这是 Zotero 文献工具的一款插件，通过集成了各种 AI 模型，实现了在 Zotero 界面上对文献进行提问、提取见解、生成综述，甚至能与多篇论文同时对话。 GitHub：主要功能： - Mac 用户可一键使用本地开源模型（如 DeepSeek V3、Qwen 3 等），无需额外配置； - 集成几乎所有主流 AI 模型，包括 Gemini、ChatGPT、Claude 等，只需一个 API 密钥即可使用； - 支持选择多篇 PDF 论文或整个文件夹，快速分析和同时对话； - 内置各种学术场景提示词，如生成文献综述、理论框架分析等； - 完全本地处理选项，保证敏感研究数据的隐私安全； - 与 Zotero 无缝集成，无需离开界面即可管理和聊天文档。安装只需在 GitHub 发布页面下载 .xpi 文件，并通过 Zotero 的 “文件安装附加组件” 功能安装，简单配置下即可使用。

读论文时经常被各种专业术语、复杂概念和密集信息弄得头昏脑涨，想快速理解论文核心观点或生成文献综述更是特别耗时费力。给大家推荐一款学术研究的开源效率神器：PapersGPT For Zotero，让我们能直接与论文进行对话，极大提高我们阅读论文的效率。这是 Zotero 文献工具的一款插件，通过集成了各种 AI 模型，实现了在 Zotero 界面上对文献进行提问、提取见解、生成综述，甚至能与多篇论文同时对话。 GitHub：主要功能： - Mac 用户可一键使用本地开源模型（如 DeepSeek V3、Qwen 3 等），无需额外配置； - 集成几乎所有主流 AI 模型，包括 Gemini、ChatGPT、Claude 等，只需一个 API 密钥即可使用； - 支持选择多篇 PDF 论文或整个文件夹，快速分析和同时对话； - 内置各种学术场景提示词，如生成文献综述、理论框架分析等； - 完全本地处理选项，保证敏感研究数据的隐私安全； - 与 Zotero 无缝集成，无需离开界面即可管理和聊天文档。安装只需在 GitHub 发布页面下载 .xpi 文件，并通过 Zotero 的 “文件安装附加组件” 功能安装，简单配置下即可使用。

GitHubDaily

19,556 次观看 • 1 年前

需要做网络架构图或者给技术文档配图，经常会使用 Visio、这类工具，但对技术小白来说上手需要点时间。恰巧，在 GitHub 上发现一个专业的等距图表制作工具：FossFLOW，完全开源可离线使用，轻松上手。内置了丰富的等距组件库，支持自定义图标导入功能，还提供自动保存、快捷键配置、多种存储方式等实用功能。 GitHub：主要功能： - 专业等距图表绘制，轻松制作 3D 风格的技术架构图 - 自定义图标导入，支持 PNG、JPG、SVG 格式自动缩放 - PWA 离线支持，可安装为本地应用随时使用 - 隐私优先设计，所有数据本地存储保护隐私 - Docker 一键部署，支持服务器存储和多设备访问 - 自动保存功能，每 5 秒保存一次防止数据丢失通过 Docker 部署或直接访问在线 Demo 即可使用，需要制作3D 风格架构图的同学可以看一下。

需要做网络架构图或者给技术文档配图，经常会使用 Visio、这类工具，但对技术小白来说上手需要点时间。恰巧，在 GitHub 上发现一个专业的等距图表制作工具：FossFLOW，完全开源可离线使用，轻松上手。内置了丰富的等距组件库，支持自定义图标导入功能，还提供自动保存、快捷键配置、多种存储方式等实用功能。 GitHub：主要功能： - 专业等距图表绘制，轻松制作 3D 风格的技术架构图 - 自定义图标导入，支持 PNG、JPG、SVG 格式自动缩放 - PWA 离线支持，可安装为本地应用随时使用 - 隐私优先设计，所有数据本地存储保护隐私 - Docker 一键部署，支持服务器存储和多设备访问 - 自动保存功能，每 5 秒保存一次防止数据丢失通过 Docker 部署或直接访问在线 Demo 即可使用，需要制作3D 风格架构图的同学可以看一下。

GitHubDaily

45,004 次观看 • 1 年前

想让 AI 帮我们自动操作浏览器，比如抓取数据或填写表单，过去需要编写复杂的 Selenium 或 Puppeteer 代码，门槛确实不低。最近在 GitHub 发现 BrowserWing 这个开源项目，可以充当了 LLM 大模型与本地浏览器之间的桥梁。支持可视化脚本录制，能像按录像机一样记录我们在浏览器的操作，随后可直接回放或转为脚本，无需我们手写代码。并且支持 MCP 和 Skills 协议，可以让 Claude 等 AI 助手直接接管浏览器，用自然语言指令完成“打开网页、搜索内容、提取数据” 等任务。另外还支持智能数据提取，利用模型做内容分析，兼容 OpenAI、Claude 等多个模型。并且提供稳定的会话管理，能处理 Cookie 和数据存储，可以一直保持登录状态。提供 npm、pnpm 安装方式，也有 Linux、macOS、Windows 的一键安装脚本，或者直接下载预编译包运行。

想让 AI 帮我们自动操作浏览器，比如抓取数据或填写表单，过去需要编写复杂的 Selenium 或 Puppeteer 代码，门槛确实不低。最近在 GitHub 发现 BrowserWing 这个开源项目，可以充当了 LLM 大模型与本地浏览器之间的桥梁。支持可视化脚本录制，能像按录像机一样记录我们在浏览器的操作，随后可直接回放或转为脚本，无需我们手写代码。并且支持 MCP 和 Skills 协议，可以让 Claude 等 AI 助手直接接管浏览器，用自然语言指令完成“打开网页、搜索内容、提取数据” 等任务。另外还支持智能数据提取，利用模型做内容分析，兼容 OpenAI、Claude 等多个模型。并且提供稳定的会话管理，能处理 Cookie 和数据存储，可以一直保持登录状态。提供 npm、pnpm 安装方式，也有 Linux、macOS、Windows 的一键安装脚本，或者直接下载预编译包运行。

GitHubDaily

20,054 次观看 • 8 个月前

今天发现一个很酷很火的新工具：Devpod 有点类似 Github Codespaces，一键部署本地开发环境或者直接链接云端环境，然后可以直接使用你喜欢的任意编辑器进行开发。但是有以下特点： * 完全开源 * 完全本地开发 - 不需要任何云服务提供商 * 客户端 - 完全可视化的使用 * 多种编辑器支持看看下面这个视频感受一下它的功能，感觉还是非常强大的：

今天发现一个很酷很火的新工具：Devpod 有点类似 Github Codespaces，一键部署本地开发环境或者直接链接云端环境，然后可以直接使用你喜欢的任意编辑器进行开发。但是有以下特点： * 完全开源 * 完全本地开发 - 不需要任何云服务提供商 * 客户端 - 完全可视化的使用 * 多种编辑器支持看看下面这个视频感受一下它的功能，感觉还是非常强大的：

Viking

155,003 次观看 • 3 年前

一款开源的 AI 网页自动化工具：Nanobrowser。 OpenAI Operator 的开源平替，在浏览器中本地运行，支持多智能体系统。完全免费、注重隐私、灵活的 LLM 选项、完全开源，让网页操作变得更加智能高效。 GitHub：从 GitHub 下载 zip 文件，轻松安装到 Chrome 中即可使用。

一款开源的 AI 网页自动化工具：Nanobrowser。 OpenAI Operator 的开源平替，在浏览器中本地运行，支持多智能体系统。完全免费、注重隐私、灵活的 LLM 选项、完全开源，让网页操作变得更加智能高效。 GitHub：从 GitHub 下载 zip 文件，轻松安装到 Chrome 中即可使用。

GitHubDaily

47,012 次观看 • 1 年前

兄弟们，这个牛P Screenpipe：全天候24小时不间断记录你的屏幕和音频数据然后利用收集的数据解答问题、帮你自动干活它可以捕捉你所有对话、屏幕内容，无需担心错过任何细节。涵盖视频会议、聊天应用等所有活动场景。本地运行、安全隐私 100%开源，提供免费和付费版本的桌面应用。它不仅是个录音录屏工具，还可以帮助你自动化很多工作。比如，你可以让它自动更新Notion笔记、生成Slack工作报告，或者自动填充客户关系管理（CRM）系统的数据，让你从繁琐的任务中解放出来。

兄弟们，这个牛P Screenpipe：全天候24小时不间断记录你的屏幕和音频数据然后利用收集的数据解答问题、帮你自动干活它可以捕捉你所有对话、屏幕内容，无需担心错过任何细节。涵盖视频会议、聊天应用等所有活动场景。本地运行、安全隐私 100%开源，提供免费和付费版本的桌面应用。它不仅是个录音录屏工具，还可以帮助你自动化很多工作。比如，你可以让它自动更新Notion笔记、生成Slack工作报告，或者自动填充客户关系管理（CRM）系统的数据，让你从繁琐的任务中解放出来。

小互

118,954 次观看 • 2 年前

$兄弟们，这个数字人工具感觉不错我刚安装好，正在体验一个安装包即可解决所有问题，非常适合小白用户，以往的开源数字人工具都需要自己配置环境什么的，对小白很不友好。这个一个安装包，然后下载模型即可，很容易上手可以生成带有数字人的视频，并且保持嘴型和声音是同步的。支持语音合成和声音克隆支持Windows\Linux和macOS 支持模型：比如 MuseTalk（文本到语音）和 CosyVoice（语音克隆）。可以很方便地导入各种 AI 模型，界面支持中英文，关键还是开源的。$

兄弟们，这个数字人工具感觉不错我刚安装好，正在体验一个安装包即可解决所有问题，非常适合小白用户，以往的开源数字人工具都需要自己配置环境什么的，对小白很不友好。这个一个安装包，然后下载模型即可，很容易上手可以生成带有数字人的视频，并且保持嘴型和声音是同步的。支持语音合成和声音克隆支持Windows\Linux和macOS 支持模型：比如 MuseTalk（文本到语音）和 CosyVoice（语音克隆）。可以很方便地导入各种 AI 模型，界面支持中英文，关键还是开源的。

小互

41,028 次观看 • 1 年前

PhoneClaw 完全离线运行在 iPhone 上的本地 AI Agent → 基于 Gemma 4 + MLX 框架在手机端完成推理，不依赖任何云端服务 → 通过 SKILL.md 文件即可扩展能力，无需重新编译 App → 所有聊天内容、图片和个人数据均不离开设备，保障隐私安全 → 内置日历、提醒事项、通讯录、剪贴板等系统级 Skill 支持自然语言操控 → 支持 E2B 和 E4B 两个模型规格，可按需在手机端下载

PhoneClaw 完全离线运行在 iPhone 上的本地 AI Agent → 基于 Gemma 4 + MLX 框架在手机端完成推理，不依赖任何云端服务 → 通过 SKILL.md 文件即可扩展能力，无需重新编译 App → 所有聊天内容、图片和个人数据均不离开设备，保障隐私安全 → 内置日历、提醒事项、通讯录、剪贴板等系统级 Skill 支持自然语言操控 → 支持 E2B 和 E4B 两个模型规格，可按需在手机端下载

Geek Lite

56,251 次观看 • 5 个月前

在做浏览器自动化脚本时，我们常常需要编写大量代码来处理复杂的网页交互，不仅耗时耗力，还难以调试和优化，要是出错更是难以精准定位问题所在。最近在 GitHub 上我发现了一款强大的开源自动化浏览器智能体：Index。它能够在浏览器上自动执行复杂的网页任务，无需编写代码脚本，简单描述任务需求即可完成各种网页操作。 GitHub：主要功能 - 基于 Claude 3.7 Sonnet 提供强大的 AI 能力，后续将支持更多模型 - 提供 API 和可视化操作 UI 界面，也支持完全自托管部署使用 - 能执行复杂的网页任务，如数据收集、表单填写和内容分析 - 支持自定义浏览器窗口大小和远程 CDP 连接安装部署简单，几行代码即可开始使用，也可直接使用托管 API 服务。

在做浏览器自动化脚本时，我们常常需要编写大量代码来处理复杂的网页交互，不仅耗时耗力，还难以调试和优化，要是出错更是难以精准定位问题所在。最近在 GitHub 上我发现了一款强大的开源自动化浏览器智能体：Index。它能够在浏览器上自动执行复杂的网页任务，无需编写代码脚本，简单描述任务需求即可完成各种网页操作。 GitHub：主要功能 - 基于 Claude 3.7 Sonnet 提供强大的 AI 能力，后续将支持更多模型 - 提供 API 和可视化操作 UI 界面，也支持完全自托管部署使用 - 能执行复杂的网页任务，如数据收集、表单填写和内容分析 - 支持自定义浏览器窗口大小和远程 CDP 连接安装部署简单，几行代码即可开始使用，也可直接使用托管 API 服务。

GitHubDaily

35,779 次观看 • 1 年前

跟大家分享一款功能全面的 PDF 编辑器：Every PDF，完全开源免费，可离线使用。提供简洁易用的界面，支持文本添加、图片签名、文件合并拆分、页面旋转水印等所有常用功能， GitHub：主要功能： - PDF 编辑器，支持添加文字、签名、图片和复选框 - 文档分割，按页面范围或特定页码精确分割 - 文档合并，拖拽操作轻松合并多个 PDF 文件 - 水印添加，支持文字和图片水印自定义设置 - 页面管理，旋转和重新排序页面顺序提供 Windows、macOS 安装包，直接在发布页面下载即可使用。有 PDF 编辑需求又想保护数据隐私的同学可以看下。

跟大家分享一款功能全面的 PDF 编辑器：Every PDF，完全开源免费，可离线使用。提供简洁易用的界面，支持文本添加、图片签名、文件合并拆分、页面旋转水印等所有常用功能， GitHub：主要功能： - PDF 编辑器，支持添加文字、签名、图片和复选框 - 文档分割，按页面范围或特定页码精确分割 - 文档合并，拖拽操作轻松合并多个 PDF 文件 - 水印添加，支持文字和图片水印自定义设置 - 页面管理，旋转和重新排序页面顺序提供 Windows、macOS 安装包，直接在发布页面下载即可使用。有 PDF 编辑需求又想保护数据隐私的同学可以看下。

GitHubDaily

42,278 次观看 • 1 年前

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 次观看 • 2 年前

在日常工作中，需要调试网络问题或监控系统流量，工具要么界面复杂难用，要么功能单一无法满足，要么需要付费。无独有偶，在 GitHub 上发现了 Oryx 这个功能强大的开源工具，可在终端上直观的监控和分析网络。通过 eBPF 在内核层面捕获网络数据包，提供实时流量可视化、统计分析和防火墙功能。 GitHub：主要功能： - 实时网络流量检测和可视化展示 - 全面的流量统计和分析报告 - 内置防火墙功能，可直接管理网络规则 - 指标浏览器，深度分析网络性能数据 - 模糊搜索功能，快速定位特定数据包 - 支持数据导出，便于后续分析处理需要 Linux 6.10+ 内核版本，通过包管理器安装或从源码编译使用，适合运维人员和网络工程师。

在日常工作中，需要调试网络问题或监控系统流量，工具要么界面复杂难用，要么功能单一无法满足，要么需要付费。无独有偶，在 GitHub 上发现了 Oryx 这个功能强大的开源工具，可在终端上直观的监控和分析网络。通过 eBPF 在内核层面捕获网络数据包，提供实时流量可视化、统计分析和防火墙功能。 GitHub：主要功能： - 实时网络流量检测和可视化展示 - 全面的流量统计和分析报告 - 内置防火墙功能，可直接管理网络规则 - 指标浏览器，深度分析网络性能数据 - 模糊搜索功能，快速定位特定数据包 - 支持数据导出，便于后续分析处理需要 Linux 6.10+ 内核版本，通过包管理器安装或从源码编译使用，适合运维人员和网络工程师。

GitHubDaily

15,459 次观看 • 1 年前

这款手机大小的设备能运行120B参数的AI模型，无需0,000的Mac Studio。它支持本地化部署，确保100%隐私，可全天候驱动开源代理如OpenClaw，甚至替代聊天机器人。无需增加成本，即可进入AI模型的深水区。关注这个新趋势，看看未来谁会被淘汰。

这款手机大小的设备能运行120B参数的AI模型，无需0,000的Mac Studio。它支持本地化部署，确保100%隐私，可全天候驱动开源代理如OpenClaw，甚至替代聊天机器人。无需增加成本，即可进入AI模型的深水区。关注这个新趋势，看看未来谁会被淘汰。

Bill The Investor

18,840 次观看 • 6 个月前

日常运维工作监控服务器网络连接，使用 netstat、ss 这些工具虽然能显示连接信息，但缺乏实时更新和直观展示。最近找到了 RustNet 这款功能强大的网络监控开源工具，专为实时网络连接分析而设计，正好解决了这个痛点。支持实时监控 TCP、UDP 等连接状态和生命周期，还能深度解析数据包内容，自动识别 HTTP、HTTPS、SSH 等协议详情。 GitHub：除此之外，还提供高性能的并发包处理能力，以及高级过滤系统，支持 Vim 风格搜索和关键词过滤。提供了多种安装方式，推荐通过 Cargo 安装，同时需要管理员权限进行网络包捕获，有需要的同学可以看一下。

日常运维工作监控服务器网络连接，使用 netstat、ss 这些工具虽然能显示连接信息，但缺乏实时更新和直观展示。最近找到了 RustNet 这款功能强大的网络监控开源工具，专为实时网络连接分析而设计，正好解决了这个痛点。支持实时监控 TCP、UDP 等连接状态和生命周期，还能深度解析数据包内容，自动识别 HTTP、HTTPS、SSH 等协议详情。 GitHub：除此之外，还提供高性能的并发包处理能力，以及高级过滤系统，支持 Vim 风格搜索和关键词过滤。提供了多种安装方式，推荐通过 Cargo 安装，同时需要管理员权限进行网络包捕获，有需要的同学可以看一下。

GitHubDaily

24,494 次观看 • 1 年前

Perplexity发布Personal Computer服务，通过一台Mac mini实现7×24小时自主运行，类似OpenClaw/龙虾。官方介绍，Personal Computer可在安全环境中访问用户的文件、应用及会话数据，并支持从任意设备远程控制。客户端部署于本地，由Perplexity的安全服务器处理核心计算任务，兼顾功能性与隐私保护。

Perplexity发布Personal Computer服务，通过一台Mac mini实现7×24小时自主运行，类似OpenClaw/龙虾。官方介绍，Personal Computer可在安全环境中访问用户的文件、应用及会话数据，并支持从任意设备远程控制。客户端部署于本地，由Perplexity的安全服务器处理核心计算任务，兼顾功能性与隐私保护。

外汇交易员

73,409 次观看 • 6 个月前