Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

iPhone上使用Gemma-4大模型 很简单,App Store上下载 Google AI Edge Gallery,打开软件点击 Agent Skills,下载相应模型,大概3G左右,下载完就可以使用了,支持中文

587,860 görüntüleme • 6 ay önce •via X (Twitter)

41 Yorum

1024 profil fotoğrafı
10246 ay önce

统一回复下: 1. 这是本地大模型,免费的,下载下来试试又没啥损失 2. 说的支持中文,是指支持中文对话,不是说软件UI有中文 3. 手机发热,可能是俺使用频率比较低,没啥太大感觉 4. 支持机型,15或以后机型都没太大问题 5. 安卓Google Play有同名软件

Ray 👽 profil fotoğrafı
Ray 👽6 ay önce

这才是开源模型真正的杀手锏——不是benchmark分数,而是能跑在你口袋里。 3G模型大小+支持中文+离线运行,意味着隐私敏感场景(个人笔记、健康数据分析、本地代码review)终于有了不依赖云端的选择。 好奇实际推理速度怎么样?iPhone 15 Pro和16 Pro差距大吗?

1024 profil fotoğrafı
10246 ay önce

主要使用的是gpu,15以后手机都应该可以用

1024 profil fotoğrafı
10246 ay önce

@BitcoinerRay 说是要4g内存起的

𝑨𝒍𝒆𝒙𝑭𝒂𝒂𝒂𝒂𝒏𝒈 profil fotoğrafı
𝑨𝒍𝒆𝒙𝑭𝒂𝒂𝒂𝒂𝒏𝒈6 ay önce

感觉还是4B好用一些,17PM用起来有一点发热,但响应速度真的太舒爽了,终于不用看Gemini 3.1转圈圈了

1024 profil fotoğrafı
10246 ay önce

开始载入速度,2b要比4b快一点

Jack profil fotoğrafı
Jack6 ay önce

搜不到啊

Tigger profil fotoğrafı
Tigger6 ay önce

@grok 详细说明安装以及使用方法!

Charlie Francis profil fotoğrafı
Charlie Francis6 ay önce

你们用这个能干啥啊;我测试了下感觉还不如qwen plus 3.5; 虽然qwen也不太聪明,但是明显一比 比这个e4B 要正常的多

Lorian Li profil fotoğrafı
Lorian Li6 ay önce

我的iPhone:终于不用只是用来刷Twitter了,现在可以光明正大地说"我在用手机训练AI"而不是"我在玩手机"了 😂

热心网友 | 进化者 profil fotoğrafı
热心网友 | 进化者6 ay önce

好好笑😀

Predon 🇪🇪 profil fotoğrafı
Predon 🇪🇪6 ay önce

刚试了 Gemma-4,在 iPhone 上离线运行超级流畅! 有人已经用它来创建 Agent Skills 或者自动化任务了吗?你们都在用什么 prompt 让它效果更好? 感谢教程 @yeahwu404 🔥

Ivan Lau profil fotoğrafı
Ivan Lau6 ay önce

效果怎么样呢?

演东寅 profil fotoğrafı
演东寅6 ay önce

没有中文吧

1024 profil fotoğrafı
10246 ay önce

说的是支持中文对话

Hiking profil fotoğrafı
Hiking6 ay önce

没办法看聊天历史,这点不爽😕

tohocl^_^ profil fotoğrafı
tohocl^_^6 ay önce

好多模型啊,下哪一个比较好?

1024 profil fotoğrafı
10246 ay önce

e2b,e4b都可以,随意

泽言 profil fotoğrafı
泽言6 ay önce

我这是什么情况呀,什么也不回答

microstrong profil fotoğrafı
microstrong6 ay önce

@RealHanyaHu 发烫和耗电严重吗

AESOP and SEA profil fotoğrafı
AESOP and SEA6 ay önce

15pm很快死机,软件卡死

DeepOcean深海 profil fotoğrafı
DeepOcean深海6 ay önce

手机上用它跟用Gemini对话有什么差别吗?只有开发部署才能体验到真正的免费服务和价值吧?🤔

Ayu profil fotoğrafı
Ayu6 ay önce

他妈的,这个App 连 markdown 渲染都做不好,谷歌是真的垃圾

菜徐坤 profil fotoğrafı
菜徐坤6 ay önce

15基础班跑得起来吗

1024 profil fotoğrafı
10246 ay önce

可以试试,应该没啥问题

ricky profil fotoğrafı
ricky6 ay önce

能干啥用?

dalviker profil fotoğrafı
dalviker6 ay önce

感谢,已经在下载。

虾米 profil fotoğrafı
虾米6 ay önce

没有什么用 手机端的openai Google 等已经做得很好了

Ming Yi profil fotoğrafı
Ming Yi6 ay önce

我也不明白能干什么用

雷昂 Leon profil fotoğrafı
雷昂 Leon6 ay önce

中文怎么设置?

1024 profil fotoğrafı
10246 ay önce

软件界面没有中文,说的是支持中文对话

Colin Rong 🔥 profil fotoğrafı
Colin Rong 🔥6 ay önce

直接上App Store搜一下,然后跟着步骤走,轻松搞定,中文还能流畅交流,就是这么容易

ImL1s profil fotoğrafı
ImL1s6 ay önce

iPhone上用Gemma-4很方便。想知道耗電量和發熱控制得怎麼樣?

Dada Liu profil fotoğrafı
Dada Liu6 ay önce

怎么让他用中文回答

华北杰瑞大王 profil fotoğrafı
华北杰瑞大王6 ay önce

@grok 这个AI与市面上主流的AI有什么区别

VitaminS profil fotoğrafı
VitaminS6 ay önce

@wyzsqyyrs 你们先用。我过几天再看好了

沙发 profil fotoğrafı
沙发6 ay önce

17基础版能装吗

1024 profil fotoğrafı
10246 ay önce

能装

肥皂 profil fotoğrafı
肥皂6 ay önce

这是一个在手机上搭建本地模型的app吗

屁事&Love❤️ profil fotoğrafı
屁事&Love❤️6 ay önce

有啥好用的agent skills吗?

ELVIN profil fotoğrafı
ELVIN6 ay önce

手机都能跑大模型了,我的手机还在为内存发愁😂

Benzer Videolar

发现一个讲的很细的大语言模型微调教程,详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。 基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。 时间轴: 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示(T4 版本) 16:52 微调操作演示(A100 版本) 19:13 在 Hugging Face 上的保存与使用方法 文字版整理: ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning): 对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调: Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调: Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集: 准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置: 在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控: 在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择: 通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用: 微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型: 用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference): 在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 görüntüleme • 2 yıl önce