🚀 Lance：Rust力作，ML数据格式新贵🌟
License
Apache-2.0
Stars
4.2k
Forks
256
摘要
Lance是一个高性能的现代列式数据格式，专为机器学习工作流程和数据集设计，以其快速的随机访问和向量搜索功能，在ML领域引起广泛关注。
内容
Lance，一个用Rust编写的现代列式数据格式，专为机器学习和大型语言模型(ML/LLMs)设计。🔥 它以极快的随机访问速度、向量索引和数据版本控制脱颖而出，转换自Parquet仅需两行代码。👍 Lance与Pandas、DuckDB、Polars、Pyarrow和PyTorch等工具兼容，更多集成即将到来。
🌐 它支持图像、视频、3D点云、音频和表格数据，适用于任何POSIX文件系统和云存储如AWS S3、Google Cloud Storage。Lance以其100倍于Parquet的随机访问速度和无需额外基础设施的零拷贝自动版本控制而备受瞩目。🎯 它还支持构建搜索引擎、特征存储，以及大规模ML训练所需的高性能IO和数据混洗。
📈 Lance的向量搜索功能，能在毫秒级别找到最近邻，结合OLAP查询与向量搜索，为深度嵌套数据的存储、查询和检查提供强大支持。🌟 Lance正在积极开发中，欢迎贡献代码，共同推动项目发展。
关键词
Rust AI 数据库
分类
机器学习 数据存储 云计算
正文到此结束
热门推荐
相关文章
关于
微信扫码赞助本站
服务器到期 距离 1 年
致力于汇聚GitHub与HuggingFace 开源项目精华
京公网安备11010802045380号京ICP备2025104211号