🚀 22亿参数的AI新星:Solar Pro Preview来袭!-solar-pro
摘要
Solar Pro Preview是一款22亿参数的大型语言模型,专为单GPU优化,性能卓越,可与更大模型竞争。预计2024年发布的正式版将带来更多语言支持和更长上下文窗口。

内容
🌟 探索AI的新边界!Solar Pro Preview,一款拥有22亿参数的大型语言模型(LLM),以其卓越的性能和效率,在单GPU上运行自如。它不仅在参数数量上超越了30亿以下的模型,甚至能与70亿参数的Llama 3.1相媲美。🔥
💪 采用深度扩展技术,从14亿参数的Phi-3-medium模型扩展而来,专为80GB VRAM的GPU设计。在MMLU-Pro和IFEval等基准测试中,展现了其出色的知识和指令执行能力。📊
🌐 作为官方Solar Pro的预览版,虽然目前支持的语言和上下文长度有限,但它的效率和能力已经让人印象深刻。预计2024年11月发布的正式版将支持更多语言和更长的上下文窗口。🔍
📢 Hugging Face社区对Solar Pro的反馈极为重视,定期调查用户意见,不断优化模型,满足社区需求。🗣️
🚀 Solar Pro以其高效、可扩展性著称,特别适合资源受限但性能要求高的场景。💼
Run the model locally
Id
9a8c71c441ca
7f6010e2ba0f
565afa7ef255
8e88c5664027
061df9bbeb2e
f3047ccbe196
8f665c54f08a
4a090dbef5c4
9a8c71c441ca
d9240858384a
7a6422ffbdbb
e84e5da3da89
020a0e79be2e
676df95b0bea
d59107fc3b57
2cc310f73c41
9a8c71c441ca
Model
22b
22b-preview-instruct-fp16
22b-preview-instruct-q2_K
22b-preview-instruct-q3_K_L
22b-preview-instruct-q3_K_M
22b-preview-instruct-q3_K_S
22b-preview-instruct-q4_0
22b-preview-instruct-q4_1
22b-preview-instruct-q4_K_M
22b-preview-instruct-q4_K_S
22b-preview-instruct-q5_0
22b-preview-instruct-q5_1
22b-preview-instruct-q5_K_M
22b-preview-instruct-q5_K_S
22b-preview-instruct-q6_K
22b-preview-instruct-q8_0
preview
Size
13GB
44GB
8.2GB
12GB
11GB
9.6GB
12GB
14GB
13GB
13GB
15GB
17GB
16GB
15GB
18GB
24GB
13GB