🚀Nemotron-Mini-4B-Instruct:开源AI新宠🌟
摘要
Nemotron-Mini-4B-Instruct以其高效的设计和强大的性能,在开源AI领域脱颖而出,满足了用户对效率和准确性的双重期待。

内容
Nemotron-Mini-4B-Instruct是由NVIDIA推出的小型语言模型,通过剪枝技术从15B模型演变而来,专为角色扮演、检索增强生成和功能调用而优化。🎭🔍📞 它支持4,096个token的上下文长度,适合商业使用。这款模型以其小巧的体积和出色的性能,满足了开发者对高效语言处理能力的需求,无需大型模型的计算开销。🚀💻 它在Hugging Face Model Hub上占有一席之地,显示了其在开源社区的重要性。🌐 用户期待它在资源消耗最小化的同时,提供准确的语言生成和高效的推理速度。🔥🔍
Run the model locally
Id
ed76ab18784f
d0d806e9853c
71c1aed58cc4
899020cd5b1e
91b07164ba46
28cabdeeb76e
041bd339f71f
715f0114b145
ed76ab18784f
59f3d2ea76f8
e5f64c7116d1
8c244be13dfe
9e36e563dbdd
072f4b7daa17
4cf36901911e
fe86a4d04f9f
Model
4b
4b-instruct-fp16
4b-instruct-q2_K
4b-instruct-q3_K_L
4b-instruct-q3_K_M
4b-instruct-q3_K_S
4b-instruct-q4_0
4b-instruct-q4_1
4b-instruct-q4_K_M
4b-instruct-q4_K_S
4b-instruct-q5_0
4b-instruct-q5_1
4b-instruct-q5_K_M
4b-instruct-q5_K_S
4b-instruct-q6_K
4b-instruct-q8_0
Size
2.7GB
8.4GB
1.9GB
2.5GB
2.3GB
2.1GB
2.6GB
2.8GB
2.7GB
2.6GB
3.0GB
3.2GB
3.1GB
3.0GB
3.4GB
4.5GB