🚀IBM开源Granite模型:AI界的新宠儿🌟-granite3.1-moe
摘要
IBM Granite 3.1-MoE模型以其高性能和开源特性在AI领域引起广泛关注,支持多语言和多种功能,但用户反馈也指出了改进空间。

内容
IBM的Granite系列在AI领域再放大招,最新Granite 3.1-MoE模型以其卓越的性能和开源精神备受瞩目👀。这款模型经过10万亿个token的训练,擅长低延迟使用场景,是即时推理应用的理想选择。
🌍支持语言横跨英、德、西、法、日等多语种,功能覆盖文本摘要、分类、问答等,还能处理代码相关任务和多模态对话。🔧
开发者IBM Research提供了详细的文档和GitHub资源,Apache 2.0许可下,用户可以自由使用和修改。📄
社区反馈显示,Granite 3.1-MoE在多个基准测试中表现突出,但也有用户指出其偶尔的“幻觉”问题,期待更完善的文档和支持。📊
Run the model locally
Id
3269ce3e31ea
df6f6578dba8
99904f51aa5c
b9cc1d12c566
42c379410ea3
d5192f2d5ded
a8308ae4333f
71c75fff374b
266333af8965
4d7713e45fcb
ce0829f9473a
d2dbb56842ff
d379b2b90641
aa86331336b3
22122ae9b16e
2c99260b2572
3269ce3e31ea
cdedb7e7b102
1ed55612e40e
27d67c12fdf2
e7baaff75b70
74aa8c50c1c0
eecc7ddd71c7
40f18a9511cc
df6f6578dba8
d3ac4ce39055
c20dd012dabd
19c6c590893c
efec60309ba6
cd3872ff6631
461cb7bb8417
038f46903bbd
Model
1b
3b
1b-instruct-fp16
1b-instruct-q2_K
1b-instruct-q3_K_L
1b-instruct-q3_K_M
1b-instruct-q3_K_S
1b-instruct-q4_0
1b-instruct-q4_1
1b-instruct-q4_K_M
1b-instruct-q4_K_S
1b-instruct-q5_0
1b-instruct-q5_1
1b-instruct-q5_K_M
1b-instruct-q5_K_S
1b-instruct-q6_K
1b-instruct-q8_0
3b-instruct-fp16
3b-instruct-q2_K
3b-instruct-q3_K_L
3b-instruct-q3_K_M
3b-instruct-q3_K_S
3b-instruct-q4_0
3b-instruct-q4_1
3b-instruct-q4_K_M
3b-instruct-q4_K_S
3b-instruct-q5_0
3b-instruct-q5_1
3b-instruct-q5_K_M
3b-instruct-q5_K_S
3b-instruct-q6_K
3b-instruct-q8_0
Size
1.4GB
2.0GB
2.7GB
512MB
711MB
659MB
598MB
768MB
849MB
822MB
775MB
929MB
1.0GB
956MB
929MB
1.1GB
1.4GB
6.6GB
1.2GB
1.7GB
1.6GB
1.5GB
1.9GB
2.1GB
2.0GB
1.9GB
2.3GB
2.5GB
2.4GB
2.3GB
2.7GB
3.5GB