Загрузка видео...
Не удалось загрузить видео
【DeepSeek本地部署懒人包】 国内大佬NathMath自制的 DeepSeek 本地部署懒人包,一键安装,DeepSeek最近估计大概率会非常卡,整个本地部署挺有必要的,隐私上也有保障 (视频简介及一键包下载放在评论区) UP主:B站 NathMath #DeepSeek #DeepSeekV3
26,745 просмотров • 1 год назад •via X (Twitter)
Комментарии: 2

DeepSeek R1 推理模型的蒸馏模型通过LM Studio完全断网地本地部署,并使用Windows防火墙禁用入站出站规则,完全禁用网络,本地运行。使用Huggingface和LM Studio下载更多模型和Q4 Q8量化精度,使用LM Studio进行CPU GPU混合推理,让你的笔记本轻松支持32B 大模型!使用我的一键包,跟着我的教程做,再对模型推理调参提高性能,帮助你探索、科研、探索二次元~ 【本答疑视频】 这是一个更新的视频,里面详细讲解了一键包的使用,并解决了昨天以来网友提出的绝大多数问题。 原始教程视频: (LM Studio的下载/完全禁用防火墙实现超级隐私) 答疑视频1: (一键包的安装和使用/镜像站下载模型/参数调整) 答疑视频2: (疑问解答/模型选择/4GB显存实测32B Q4模型数学题) 如果按照昨天的视频没有成功安装的朋友可以参考我的一键包和这个答疑视频! 对于许多朋友说的“无婶”模型,本人正在努力寻找,找到以后必来介绍给大家! 【一键包v3.8】 很多人说国内上不了huggingface,我临时制作了一个一键包。链接如下,使用方法见txt。装好一键包后可以选装其他模型,参考底下的可选装模型链接。此外还需要跟着视频调整防火墙。 一键包基础链接: 提取码:NATH 可选装模型链接: 提取码:NATH 其他模型:见本视频介绍的镜像站和本视频介绍的模型载入方法 【重要问题】 使用Huggingface可能需要梯|子 如果没有的话可能需要大家手动从镜像站下载模型,然后复制到LM Studio的模型文件夹里,支持任何模型包括并不限于DeepSeek的模型,链接地址如下: 1.5B: 8B: 32B: 【后续】 我这两天还会根据我这边朋友的反馈和B站网友的反馈更新新的视频,如果有无法安装的朋友首先请尝试一键包,此外可以等待我之后的视频。 【模型选择】 没有GPU:1.5B Q8推理 或者 8B Q4推理 4G GPU:8B Q4推理 8G GPU:32B Q4推理 或者 8B Q4推理 16G GPU:32B Q4推理 或者 32B Q8推理 24G GPU: 32B Q8推理 或者 70B Q2推理 Qwen底模除了1.5B其他不建议,真的太辣跨;Llama底模推荐。 【tg交流群】 专供本地大语言模型爱好者 保姆级教程。祝大家AI旅程愉快。

🚀 Don't gamble with your portfolio! Use our advanced hybrid quant risk tool using on/off-chain data and make informed decisions. 📈 Acess to 1000+ charts for your crypto journey. 📚Join our Premium Telegram for daily alerts. 📊+21 projects supported. 🏗️ Beginners and experts.
