🚀开源AI新突破：Llama3-Gradient模型🌟
摘要
Llama3-Gradient模型以其开源性和卓越的性能，在AI社区中获得了高度评价。这款模型通过扩展上下文长度，提升了处理长文本的能力，同时保持了高效性和安全性。
内容
Llama3-Gradient模型，由Gradient公司开发，Crusoe Energy赞助，将LLama-3 8B的上下文长度从8K扩展到超过1040K！📚 这款模型展示了SOTA（State of the Art）LLMs（Large Language Models）通过适当调整RoPE theta，可以在极小的训练下学习处理长上下文。🔍 它在830M tokens上训练，总计1.4B tokens，不到Llama-3原始预训练数据的0.01%。🔥 使用256k上下文窗口至少需要64GB内存，而1M+则需要更多。💡 通过API或CLI可以轻松扩展上下文窗口，例如将窗口设置为256k。👨💻
Llama3-Gradient在多个基准测试中表现出色，特别是在帮助性和安全性基准测试中。🏆 它在中文新闻摘要等专业任务中也取得了高分。📈 用户对其性能和开源性质有很高的期待，认为它能够适应不同应用并超越专有模型。🌐 社区反馈普遍积极，认为Gradient在透明度和基准测试方面做得很好。📊
Run the model locally
Id
5d1398df5b8b
5d1398df5b8b
b5d6e9d0ae61
cfcadecc99e9
ed7c53c8b502
a03cb0882529
e4fc265d59a8
bdee3e061f75
b5d6e9d0ae61
4ecc3cc03c9a
b68ba521fab5
8c990ff8dd67
31e92584c546
feafc730ced8
a3db61871133
841f57c74a05
d224f1d529ea
65fc2ffdd713
839e683046bb
c842eda5ddd5
5a2ea82ad056
786019279b07
ac6814bccbc9
5d1398df5b8b
1e76a7e4e55b
3ba4af54f02f
419da1c2bc33
fcab91d085ad
778b4e9deda3
279429844582
a2a68d63519c
9851a7dbda92
543168ef36be
5d1398df5b8b
Model
1048k
8b
70b
70b-instruct-1048k-fp16
70b-instruct-1048k-q2_K
70b-instruct-1048k-q3_K_L
70b-instruct-1048k-q3_K_M
70b-instruct-1048k-q3_K_S
70b-instruct-1048k-q4_0
70b-instruct-1048k-q4_1
70b-instruct-1048k-q4_K_M
70b-instruct-1048k-q4_K_S
70b-instruct-1048k-q5_0
70b-instruct-1048k-q5_1
70b-instruct-1048k-q5_K_M
70b-instruct-1048k-q5_K_S
70b-instruct-1048k-q6_K
70b-instruct-1048k-q8_0
8b-instruct-1048k-fp16
8b-instruct-1048k-q2_K
8b-instruct-1048k-q3_K_L
8b-instruct-1048k-q3_K_M
8b-instruct-1048k-q3_K_S
8b-instruct-1048k-q4_0
8b-instruct-1048k-q4_1
8b-instruct-1048k-q4_K_M
8b-instruct-1048k-q4_K_S
8b-instruct-1048k-q5_0
8b-instruct-1048k-q5_1
8b-instruct-1048k-q5_K_M
8b-instruct-1048k-q5_K_S
8b-instruct-1048k-q6_K
8b-instruct-1048k-q8_0
instruct
Size
4.7GB
4.7GB
40GB
141GB
26GB
37GB
34GB
31GB
40GB
44GB
43GB
40GB
49GB
53GB
50GB
49GB
58GB
75GB
16GB
3.2GB
4.3GB
4.0GB
3.7GB
4.7GB
5.1GB
4.9GB
4.7GB
5.6GB
6.1GB
5.7GB
5.6GB
6.6GB
8.5GB
4.7GB
关键词
分类
热门推荐
相关文章
关于
京公网安备11010802045380号