开源

🚀谷歌开源AI新突破:Gemma模型,AI聊天机器人新选择!

logo

google/gemma.cpp

⭐️⭐️⭐️⭐️
logo


License

Apache-2.0, BSD-3-Clause s found s found Apache-2.0 LICENSE BSD-3-Clause LICENSE-BSD3

Stars

6.1k

Forks

518


项目图片

摘要

谷歌推出的Gemma系列AI语言模型,以其免费开源和本地运行的特性,为AI聊天机器人领域带来了新的活力。Gemma模型以其轻量级和易用性,特别适合研究和实验用途。

内容

谷歌最近宣布了一个激动人心的消息——推出了全新的AI语言模型系列Gemma。🌟 这个系列不仅免费开源,而且能在个人电脑上本地运行,这对于AI爱好者来说无疑是个巨大的福音。Gemma模型采用了与谷歌强大的Gemini模型类似的技术,但更加轻便,易于在本地部署。

Gemma项目的核心是一个轻量级的C++推理引擎,专为Gemma基础模型设计。🔧 它的目标是简化模型的嵌入和修改,拥有约2K LoC的核心实现,以及约4K LoC的支持工具。使用Google Highway Library,Gemma能够利用CPU上的SIMD指令集进行高效的推理。💻

对于想要进行实验和研究的用户来说,Gemma是一个理想的选择。它的模型权重和分词器可以从Kaggle或Hugging Face Hub获取,提供了多种模型变体,包括2B和7B参数的指令调整和预训练模型。🔍 无论是bfloat16权重还是8位切换浮点权重,用户都可以根据自己的需求选择合适的模型。

Gemma的社区非常活跃,欢迎各种大小的贡献,并且遵循谷歌的开源社区指南。👥 如果你想要参与到这个项目中来,可以通过Discord加入社区,或者直接在GitHub上提交Pull Request。

关键词

C++ AI 效率工具

分类

人工智能 研究工具 本地部署
正文到此结束
本文目录