Загрузка видео...

Не удалось загрузить видео

На главную

做RAG的朋友一定要看看 Google 这个新论文——MUVERA:让多向量检索与单向量搜索一样快 大家在RAG的检索内容过程都会遇到这种情况,如果用传统搜索(例如ElasticSearch),文档 = 1 个向量 → 快速但不准确。如果用向量数据库,现代多向量搜索:文档 = 数百个向量 → 准确但极其缓慢。 于是谷歌提出了 DFEs (固定维度编码) 将多个向量转换为单个固定长度的向量,同时保留相似性关系。其神奇之处在于,两个 FDE 向量之间的点积近似于多向量集合之间的原始 Chamfer 相似度。(Chamfer 相似度是啥详见文尾的文章) MUVERA 的一个关键优势是 FDE 变换是无数据的。这意味着它不依赖于特定的数据集,使其既能够抵抗数据分布的变化,又适合流式应用。此外,与模型产生的单向量不同,FDE 保证在指定的误差范围内近似真实的 Chamfer 相似度。因此,在重排序阶段之后,MUVERA 保证能够找到最相似的多向量表示。 所以这个新方法能有效地提升RAG检索阶段的效率,现阶段连Python库都有了,需要的同学可以试试。 论文地址: Chamfer 相似度: python库:

30,052 просмотров • 1 год назад •via X (Twitter)

Комментарии: 0

Нет доступных комментариев

Здесь появятся комментарии из оригинального поста

Похожие видео

Distil-Whisper:让语音识别的速度提高 5.8 倍,参数减少 51%,准确度保持在 99%。 Whisper 在语音识别方面表现卓著,但是它有一个明显的缺点:训练出来的小模型支持的语言比较少,而大模型推理速度又很慢。如果你有海量的数据需要处理,或者对实时性要求略高,那使用 Whisper 可能会让你比较头疼。 你可以使用工程手段来加速推理,例如将语音分片后并发处理然后合并结果,但这里涉及到本地计算资源瓶颈的问题,以及合并分片时容错处理的问题,工程复杂度比较高。 《Distil-Whisper: Robust Knowledge Distillation via Large-Scale Pseudo Labelling 》, Whisper 的 Large-v2 model 生成了一系列的 soft targets(也就是概率分布),然后复制 Whisper 网络的第一层和最后一层解码器,最后生成了一个更小、更快效果更好的蒸馏模型 Distil-Whisper。论文数据写的是:速度提高了 5.8 倍,参数减少了 51%,准确度保持在 99%。 这个模型的效果之所以不错,主要还是得益于训练数据的完备,它结合了九个公开可用的语音识别数据集,合并后包含 21170 小时的语音数据,涵盖超过 18260 名说话者和 10 个不同的领域;自从 Whisper 大力出奇迹(它从互联网爬取了 68w 小时的数据,未公开)以后,相信后续语音领域的论文都会配置更庞大的数据集。 Distil-Whisper 目前开源在 Hugging Face 上,模型地址: Demo: Demo 会把模型下载到本地,然后通过 WebGPU 直接在网页上跑起来,测试了下效果,还是挺不错的。 目前仅支持英文,如果想让它支持中文,需要使用同样海量的中文语料数据,重新做一次知识蒸馏,但我觉得即便是这样做,效果也不一定好,因为 Whisper 本身对中文、韩语等支持就不太优秀,这个信息可以从 Whisper 的论文中找到数据支撑。 下面这个视频是 Whisper 和 Distil-Whisper 的对比效果:

Barret李靖

124,227 просмотров • 2 лет назад

今天出差路上,突然意识到命运这东西确实存在。不然怎么解释,有人日夜奔波勉强温饱,有人却云淡风轻就拥有了一切? 那些不争不抢却拥有一切的人,绝大多数并不是天生好命,而是在某个关键节点,做了一个当时看起来不起眼、事后被证明无比正确的选择。可能是十年前咬牙买下的一套房子,可能是五年前毅然转行的一个决定,也可能是三年前认准了一个新兴平台开始深耕。 记住:你的选择决定了你会遇见谁,经历什么,成为怎样的人。在重要的十字路口,谨慎选择但不要逃避选择。因为不去选择,本身就是一种选择——你选择了让命运替你决定人生。 很多人一辈子都在埋头苦干,却从没抬头看路。他们相信勤劳致富,却不知道选择致富比勤劳致富快十倍。当新趋势来临的时候,他们的第一反应是怀疑、否定、嘲笑,等到别人已经靠这个趋势赚得盆满钵满时,他们才后知后觉地想要入场,却发现最好的时机已经过去。 选择的价值在于它是指数级的。一个正确的选择带来的不是线性增长,而是阶跃式的飞跃。就像滚雪球,最重要的不是初始的雪量,而是找到那条足够长的坡道。你的每一个选择,都是在为这个雪球选择滚动的方向。 这个时代的残酷在于,它不会因为你的努力而给予回报。真正的回报只给那些在正确方向上努力的人。在传统行业拼死拼活,可能不如一个新赛道上的简单尝试。这不是命运不公,而是认知的差距。 所以,别一味相信命运的安排。要相信选择的力量。人生的分水岭,不在起点,不在终点,而在那些关键的选择点上。选择比努力重要,方向比速度重要。你的每一个选择,都在悄悄改变你人生的轨迹。 命运或许更像是一副牌局。有人天生拿了一手好牌,这不可否认。但真正决定结局的,往往不是牌的好坏,而是出牌的选择。一个好的选择,其力量足以扭转整局游戏的走向。

免费进微信认证项目群//赚钱/网赚/挣钱/野路子/搞钱/0成本创业/非黑u搬砖跑分灰产/完全合法副业

12,965 просмотров • 10 месяцев назад

重构 Meme 资产的链上使用方式是 MemeMax 的本质。 大多数人理解 Meme,停留在两个层面。 一个是价格波动。 一个是情绪传播。 但如果你长期在链上,你会发现一个更底层的问题。 Meme 的交易量很大,但使用深度极浅。 大多数 Meme 只完成了一件事,被买卖。 一旦热度消失,它们在链上的存在感几乎归零。 MemeMax 的价值,并不在于又做了一个永续 DEX。 而在于它第一次让 Meme 资产,具备了持续被使用的结构。 在传统现货市场,Meme 的生命周期非常短。 从注意力爆发,到交易高峰,再到流动性枯竭,节奏极快。 因为现货市场只能承载单向行为,买或者卖。 MemeMax 引入永续之后,直接改变了这一点。 资产不再只在一个方向上消耗情绪。 而是开始承载双向博弈。 多头并不是为了长期持有。 空头也不只是为了对冲。 双方的存在,本身就在持续制造成交和费用。 这会带来一个非常关键的变化。 Meme 的价值开始从叙事价值,转向使用价值。 当一个 Meme 拥有足够深的合约市场时。 它就不再只是一个情绪符号。 而是一个可以被反复参与、反复交易、反复定价的资产。 MemeMax 把这一层做成了基础设施。 它不是在筛选最强的 Meme。 而是在给 Meme 一个延长生命周期的工具。 这也是为什么 MemeMax 更像 MemeCore 生态里的中枢。 不是流量入口,而是行为聚合器。 你会看到一个趋势。 随着合约深度增加, 链上讨论不再只围绕价格。 而是围绕仓位结构,资金费率,情绪倾斜。 这其实是 Meme 资产成熟的标志。 从纯粹注意力,进入可持续博弈。 如果你只把 MemeMax 当成一个交易所。 那你一定会低估它。 它真正做的,是让 Meme 从一次性叙事, 变成可以反复被使用的金融对象。 这一步一旦成立。 Meme 赛道就不再是短线玩家的游乐场。 而是会诞生真正长期存在的资产。 #Mememax #kaito

草帽 boy

86,536 просмотров • 6 месяцев назад

很多人在研究 StandX 的时候,习惯性地会把它归类为又一个永续合约交易所,然后就开始机械地对比手续费或者奖励政策。 说实话,如果你的视角只停留在这些表面参数上,那大概率会错过它真正想做的那次底层取舍。 它真正动刀子的地方,其实不在于交易撮合有多快,也不在于界面做得多华丽,而是在于清算这件事本身。 如果你在币圈待得够久,你就会发现,链上衍生品发展到今天,最大的系统性风险从来不是成交深度够不够,而是清算过程中的那种失序感。 别只盯着深度看,清算才是协议的死穴 现在的链上衍生品市场,看起来挺热闹,但其实逻辑挺脆弱的。 一旦行情出现那种极端的剧烈波动,清算价格往往会被预言机牵着鼻子走,导致大量的仓位在短时间内集中爆掉。 这时候,系统要么得靠保险基金硬扛,要么就得面对直接产生的坏账。 这也是为什么很多协议在小规模运行的时候看着挺好,可一旦交易量和持仓量上去了,整个系统就会变得特别脆。 StandX 的切入点其实挺让人意外的,甚至有点反直觉。 它并没有跟着大流去研究怎么把清算的速度做得更快,而是换了个思路,把清算这个原本是断裂的,瞬间发生的动作,拆解成了一个可以被定价,且有缓冲余地的持续过程。 它不是在火烧眉毛的时候才去救火,而是把风险管理的工作做到了最前面。 把风险前移,让保证金不再是死钱 在 StandX 的这套设计逻辑里,保证金不再是一个死气沉沉的抵押物,而是一个能持续参与系统博弈的变量。 这里就不得不提到 DUSD 的作用了。 通过这种设计,仓位在还没真正进入高风险区间的时候,其实就已经在为整个系统积累缓冲层了。 你仔细想想,这种缓冲并不是事后的补救措施,而是一种事前就已经完成的风险定价。 换句话讲,StandX 是把清算的风险给前移了。 它不需要等到你的仓位快要爆仓了才去急急忙忙处理,而是在你整个持仓的周期里面,通过收益流和资金费率的变化,不断地在吸收那些潜在的风险波动。 这就带来了一个非常关键的改变,清算不再是系统的某个断点,而是变成了一段连续过程的一部分。 它把那种爆发式的价格波动给拆解到了时间的长河里,而不是让它集中在某个特定的价格区间内爆发。 为什么低波动环境反而能体现它的优势 我们平时见到的传统永续协议,最怕的就是行情平淡。 一旦市场没波动了,交易量就会下滑,资金费率也会枯竭,最后导致提供流动性的人收益下降,整个系统的稳定性反而会变差。 StandX 在这种低波动的环境下,它的模型反而跑得更顺。 因为 DUSD 的收益流和那套做市机制是一直在工作的,风险在这里被缓慢地累积,同时也在被缓慢地消化掉。 从协议的角度来看,这其实是一次风险管理思维的彻底转向。 它不再寄希望于外部的保险基金来兜底,而是让每一笔仓位在它的生命周期里,都在为自己可能带来的清算风险买单。 最聪明的地方在于,这个成本对用户来说是隐性的,它是通过整个收益结构的优化来完成的,而不是让你直接感觉到手续费变贵了。 做一个风险定价引擎,而不是单纯的交易台 这也解释了为什么 StandX 好像并不急着去宣传那些百倍杠杆之类的噱头。 因为它更关心的是,在允许高杠杆存在的前提下,系统到底还能不能保持一种线性的响应。 你得明白,只有当清算变成了一个可控的变量,高杠杆这件事才有真正的金融意义。很多协议把风控当成了一种不得不加的限制条件,而 StandX 显然是把风控当成了它的核心产品。 所以说,StandX 的本质其实更接近一个风险定价引擎,而不仅仅是一个交易平台。 你在前端看到的那些交易行为,只是冰山露出来的尖端,而在底层跑的那套把波动转化为系统收入的机制,才是它最厚实的底座。 如果这套逻辑能在各种复杂的行情里持续跑通,那它解决的就不只是某一轮牛熊市里的流量问题,而是链上衍生品长期以来无法规模化扩张的那个根本矛盾。 在这个行业里,谁能吸引更多交易者固然重要,但谁能在不失控的情况下承载更多的风险,谁才能真正笑到最后。 这条路确实不好走,短期内可能也没法通过几个简单的数据指标来验证它的优越性。 但一旦这种模式被市场验证是可行的,StandX 的位置就不再是去参与那些同质化的竞争,而是会变成那个定义规则的人。 #StandX #kaito

草帽 boy

12,435 просмотров • 6 месяцев назад

全自动科学论文工厂,它真的来了。 你该看看这个新仓库。 之前那个中国大学生搞了个MiroFish,做实时社会模拟;字节跳动那边出了OpenViking,把记忆结构化;还有Percepta,把数学计算直接嵌进大模型的权重里;吴恩达那边也推了个Context Hub,相当于给代理加了一层自己标注的文档系统。 👉 Polymarket 官方入口: 现在,AutoResearchClaw 刚在 GitHub 上线——一个全自动的科学论文生成器。 仓库上线几个小时,就拿了差不多 4k 星。 给一个原始的想法进去,出来的就是一篇 6000 字、能直接用的 PDF 论文。关键它不是那种垃圾玩意儿。 它背后跑的是真正的代理系统: · 自己做实验:写代码、跑测试、读日志,崩了还能自己调 · 几乎没有幻觉:走硬核四层验证,对接真实科学数据库,没有假引用 · 格式也挑不出毛病:图表自动生成,LaTeX 排版,直接对标 NeurIPS / ICML 的标准 挺有意思的悖论是:这东西不会把 arXiv 搞死。 仓库: 当生成一篇论文的成本几乎为零,真正的权力就到了“筛选者”手里。行业里的新神,会是那些活人审稿人——他们要在无穷无尽的 AI 论文洪流里,手动淘出真东西。 愿安息吧,五年磨一篇的突破性论文——可能一夜之间就被批量淹没了。 把这几样东西拼在一起看: MiroFish 的集群 + OpenViking 的记忆 + Percepta 的真实数学 + Context Hub 的干净文档 + AutoResearchClaw 的自主研究 你就得到了一类代理——能自己跑完整个研究闭环,用真数学去验证假设,反复推敲,以远超人类的速度做出真正的突破。 这不就是在 Polymarket 和各类条件市场上,搭建下一代预测机器人要用的那套东西吗?代理自己去研究、模拟、验证概率,用科学的方法更新判断,而不是靠猜。 一个真正能发现、能证明的预测超级代理时代,就这么来了。 存好这套配置。 如果想在 Polymarket 上搞跟单交易,我推荐用这个: #Polymarket

区块链行情研究

62,529 просмотров • 3 месяцев назад

MiMo推出1000 Token/s超高速模型|体验测评 MiMo 推出了 MiMo V2.5 Pro UltraSpeed 超高速的模型版本,能够实现每秒输出超过 1,000 Token 的速度。 同时,这应该也是全球第一个达到这个速度的万亿(1T)参数模型。 藏师傅提前试了一下,做了三个测试,确实爽。 第一个跑了一个比较复杂的 3D 采矿小游戏测试。在没有素材的情况下,我让它全部用 Three.js 前端代码来生成素材。整体要求比较完整,虽然第一次实践时出了一些小问题,但在跟他沟通修改建议后,非常完美地实现了任务。 这次测试的各项指标如下:思考的 TPS:804 Token/s,峰值速度:810 Token/s,首次响应时间:4.71 秒。 第二个测试给了一个官网,其头部包含一个相对复杂的 3D 动画。 这次的输出速度快了非常多:峰值达到了 1426 Token/s,首次响应只用了 0.83 秒,在 32 秒内输出了 25624 个 Token,总计生成了 1000 行代码。 第三个测试给了一个更复杂的官网。我要求这个官网的 Header 头部包含以下 3D 效果:地球边缘、轨道上的飞船、星际尘埃、航线图、舷窗的 HUD 样式。 这个效果非常好,整体的视觉样式、状态、SVG 动画和驾驶卡片都非常精细,还有滚动的视差效果 这个输出的 TPS 达到了 1136 tokens/s,首次响应是 4.5 秒 官方测试平台下面有个数据展示,会显示相关信息 在流式输出的情况下,当你看着它只用 20 秒就产生一个非常复杂的 3D 游戏时,那种场景还是比较震撼的 之前的这些(比如说 Groq 之类的)超高速推理方案,在模型能力或者是整体水平上都会有所下降,但是 MiMo 这个在测试的时候,我没有看到这种迹象 最近很多公司都开始推出这种超高速的 API 服务,比如之前 OpenAI 和 Anthropic 都有 Fast 模式 在 Agent 场景下,模型输出效率的提升会直接带动每一步 Agent 操作的效率: 如果一个任务预估一分钟完成,你就会盯着它直到结束,然后立刻投入测试。如果需要五分钟才完成,你可能就会去干别的事,然后再回来看,难免会浪费一些时间 这种效率提升在 Sub-Agent 和并发场景下更加明显。因为它可以更快地产出大量结果,想象一下,如果同时启动一两百个 Sub-Agent,在模型能力没有衰减的前提下,速度提高 10 倍,体验是非常爽的 毕竟这本质上是面向那种对效率有极高要求的 To B 客户所推出的 希望后面大家卷起来,优化一下成本,让普通用户也能放开用这种 UltraSpeed 模型

歸藏(guizang.ai)

26,791 просмотров • 1 месяц назад

Google推出了一种在 StableDiffusion 图像生成中保证内容特征一致性的方式。 这个其实是现在图像生成中一个非常重要的问题,故事可视化、游戏开发资产设计、广告等都需要在生成的时候具备角色或者内容的一致性。 从演示来看效果非常好人物角色和其他内容的特征都保持的非常好,他们有一个示例是一个男人的一生十几张不同年龄段的图片都很像能看出来是一个人。 而且这个项目还可以跟 SD 已有的控制方式结合,比如局部重绘和 Controlnet 等。下面是具体的介绍: 实现方法: 身份聚类:这一步骤涉及首先生成一系列图像,然后将这些图像嵌入到一个语义空间中。接着,使用聚类算法将这些图像分组,每个组代表一种可能的角色身份。这个过程旨在识别出一组视觉上一致的图像,从而确定角色的主要视觉特征。 身份提取:在确定了一组具有高内聚性的图像之后,接下来的步骤是通过在这些图像上训练模型来提炼出一个更一致的角色身份。这意味着模型将学习到特定角色的关键视觉特征,以便在未来的生成中更准确地重现这些特征。 收敛性:方法的最后一个步骤是迭代过程,该过程在达到一定的收敛标准时停止。在每次迭代中,模型基于最新的训练数据生成新的图像,并重新进行聚类和身份提取。这个过程重复进行,直到模型能够可靠地生成具有一致视觉身份的角色为止。 效果验证: 定性和定量比较:在这一部分,作者将他们的方法与其他个性化文本到图像生成技术进行比较。这包括通过视觉和数值指标来评估生成图像的一致性和质量。 用户研究:作者还进行了一项用户研究,以评估他们的方法在实际使用中的效果。这包括让用户评价生成图像的一致性和吸引力。 消融研究:这部分是对方法中不同组件的效果进行评估。通过修改或移除方法的某些部分,作者能够理解每个组成部分对最终结果的贡献。 论文链接:

歸藏(guizang.ai)

125,770 просмотров • 2 лет назад