Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

全球最大对冲基金之一的 Man Group 把自己的数据库引擎开源了 兄弟们!这个 DataFrame 数据库是专门给量化设计的 Man Group 开源的 ArcticDB,是一个高性能、无服务器的 DataFrame 数据库,专为 Python 数据科学和量化场景打造,目前有 2.5K Star。 核心特点如下: 1️⃣ 直接读写 Pandas DataFrame,用起来很自然 2️⃣ 专为时间序列优化,能处理数十亿行数据 3️⃣ 无服务器架构,数据可存 S3、LMDB 或 Azure 4️⃣ 支持版本回溯(Time Travel)和快照 5️⃣ Schema 灵活,可随时追加和修改 6️⃣ C++ 引擎加速,查询和处理速度很快 对需要管理大规模行情、因子或回测数据的量化研究者来说,这个工具解决了“数据存取慢、管理麻烦”的痛点。 以前存行情数据:CSV 存爆硬盘 → 换数据库 → 查询慢成狗 → 放弃。现在 ArcticDB 几十亿行行情数据本地就能跑。量化人的"数据仓库",终于有正解了。

26,547 Aufrufe • vor 3 Tagen •via X (Twitter)

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

近期我们研究员正在寻找优质的全流通项目,避免了VC抛售的困扰,同时属于热门赛道,比如 #DEPIN+#AI。并且尽可能上线币安等一线交易所。 我很兴奋的给大家分享挖掘出的一颗宝石:Streamr Network ,代币名称为:#DATA ,币安上线。5000万市值,全球通,目前价格0.055。 #Streamr: 一个去中心化实时数据共享网络,旨在提供高速、可靠的数据流传输和处理。通过去中心化的 P2P 架构,无需中央服务器,避免供应商锁定和单点故障。Streamr 为开发者和企业提供了一个无需信任的环境来发布、订阅和交易数据流。其核心目标是使数据变得更加自由和开放,从而推动数据生态系统的发展。 数据传输在 #AI 和 #DEPIN 领域应用广泛。数据隐私+低延迟+安全性+抗审查至关重要,#Streamr 为此努力了6年之久,今年一季度发布了 #Streamr 1.0 主网!标志着项目的重要里程碑,将带来更稳定和高效的数据网络性能。 看好的理由: ①实时数据流 Streamr 支持实时数据的发布和订阅,用户可以创建或加入数据流,享受即时的数据更新。这在DEPIN、AI、金融市场数据分析等领域非常重要。 ②去中心化网络: 网络的P2P去中心化架构确保了数据的安全性和隐私性,消除了单点故障的风险。所有数据流和交易都是在无需信任的环境中进行,具备抗审查性。 ③数据市场: Streamr 内置了一个数据市场,允许用户自由交易数据流。数据提供者可以通过出售数据流获利,而数据消费者可以根据需要购买实时数据。 ④集成与可扩展性: Streamr 提供了强大的 API 和 SDK,使开发者能够轻松地将数据流功能集成到现有的应用程序和平台中。此外,Streamr 网络能够与其他区块链系统(如以太坊)无缝对接,进一步拓展了其应用范围。 实际使用案例: Crypto Queries: 项目利用 AI 语言工具与 Web3 数据进行交互,提供了一个强大的工具来查询和分析区块链数据。 Streamr ML Demo: 项目将 Streamr 平台与 Binance API 连接,使用 ARIMA 机器学习模型来预测未来的交易数据,并在网页上显示实时和预测数据。 Breathing Easy: 项目通过Streamr网络和 AI 聊天机器人展示实时空气污染数据,使得用户可以轻松理解空气质量信息。 Streamr+AI: AI数据源:为AI模型提供高质量的实时数据以进行训练和微调。 $DATA 激励数据提供商推动AI数据经济的发展。 同时 $DATA 可充当数据交换媒介,通过P2P网络大规模分发带宽密集型AI生成的内容(视频/音频)。 Streamr+DEPIN: DEPIN数据交换媒介:DePIN 中,Streamr 可以促进互联设备之间向去中心化数据交换的转变,使 DePIN 从中心化数据管道过渡到完全去中心化的贡献者阵列。Streamr 协议允许 DePIN 用户通过其网络和技术堆栈向上、向内或向下传输数据。 未来展望 Streamr 的去中心化实时数据共享网络具有广阔的应用前景。随着 1.0 版本的发布和更多开发者加入生态系统,Streamr 有望在AI、DEPIN、金融数据和更多领域发挥重要作用。通过不断的技术创新和社区驱动的发展,Streamr 正在努力实现其构建开放和自由数据生态系统的愿景。 👇视频详细了解:

Rocky

64,824 Aufrufe • vor 2 Jahren

别急着买数据!这 6 个 Python 工具帮你搭建量化系统 很多人刚开始做量化,策略还没跑起来,就先把钱交给了数据商。 其实你缺的,可能不是付费数据,而是这几个实用的 Python 工具。 第一期先分享最常用的 6 个 1️⃣ yfinance 25k star 输入股票代码,就能从 Yahoo Finance 获取历史行情、分时数据、基本面、期权、外汇和加密资产。画 K 线、验证想法、快速回测,它通常是最省事的起点。 2️⃣ pandas-datareader 3.2k star 不只看股价,还能把宏观指标和 Fama-French 因子直接读进 Pandas。利率、通胀、市场因子,可以和资产价格放在一起研究。 3️⃣ Alpha Vantage 4.9k star 申请免费密钥后,就能调用股票、外汇、加密资产和常用技术指标。想快速获取 RSI、MACD 等数据,很方便。 4️⃣ Nasdaq Data Link 更像一个金融数据仓库,覆盖金融、经济和另类数据。平台既有免费资源,也有付费内容,研究时可以直接筛选免费部分。 5️⃣ Alpaca-py 1.5k star 官方 Python SDK,不仅可以获取市场数据,还能订阅实时数据流,并连接模拟交易。研究、信号和执行,可以逐步接到同一套流程里。 6️⃣ Finnhub 1.1k star 通过 REST 和 WebSocket 覆盖股票、外汇与加密资产,还能补充公司新闻和基本面信息,适合做实时监控和事件策略。 这 6 个工具,不只是简单收藏。 它们可以组合成一条完整的量化研究流程: 行情数据 → 宏观因子 → 策略研究 → 回测验证 → 实时监控 → 模拟交易 免费数据不一定适合直接实盘,但足够帮助你把量化研究系统搭起来。

爱吃折耳根的Ace

22,067 Aufrufe • vor 6 Tagen

向量数据库脑电图来啦! 把一大堆文档拖进 RAG,然后提问题,结果大模型回答的驴唇不对马嘴,是不是会怀疑大模型到底是怎样在向量数据库检索的, 才能搞成这个熊样? 来看这个 RAG 可视化项目 Project Golem! 它把向量数据库从黑盒变成了一个可交互的 3D "大脑皮层"。使用 UMAP 算法将 768 维的嵌入向量降维到 3D 空间,当你输入查询时,它不只是返回文本,而是会"点亮"与你的查询相关的神经通路。 这个项目的设计初衷是作为 RAG 的诊断工具。当检索失败时,你可以亲眼看到"思考"从嵌入查询出发所走过的精确路径。 如果看到一个紧密的簇亮起,说明模型找到了一个连贯的概念。如果可视化看起来很分散,那就意味着检索到的文本块在语义上彼此相距甚远,这正是你需要的视觉提示,告诉你 RAG 正在幻觉或强求关联。 技术栈方面,嵌入模型用的是 Google 的 embedding-gemma-300m,向量数据库是 LanceDB,前端是 Three.js 和 WebGL,后端是 Flask。 项目已经在 Reddit 的 LocalLLaMA 社区获得了 200 多个赞。有用户说这看起来真的像大脑中神经细胞的激活。还有用户说这对数据库优化太棒了,当某个查询表现不佳时,能立刻调出投影,瞬间获得一把手术刀。 项目还支持对接 Qdrant、Pinecone 等外部向量数据库,架构是解耦的,3D 查看器本质上是一个位于数据之上的界面,你无需移动数据,只需将其投影出来即可。 项目地址:

karminski-牙医

33,905 Aufrufe • vor 7 Monaten