开源

🚀 22亿参数的AI新星:Solar Pro Preview来袭!-solar-pro

logo

ollama/solar-pro

Local deployment of the model
logo


摘要

Solar Pro Preview是一款22亿参数的大型语言模型,专为单GPU优化,性能卓越,可与更大模型竞争。预计2024年发布的正式版将带来更多语言支持和更长上下文窗口。

项目图片

内容

🌟 探索AI的新边界!Solar Pro Preview,一款拥有22亿参数的大型语言模型(LLM),以其卓越的性能和效率,在单GPU上运行自如。它不仅在参数数量上超越了30亿以下的模型,甚至能与70亿参数的Llama 3.1相媲美。🔥

💪 采用深度扩展技术,从14亿参数的Phi-3-medium模型扩展而来,专为80GB VRAM的GPU设计。在MMLU-Pro和IFEval等基准测试中,展现了其出色的知识和指令执行能力。📊

🌐 作为官方Solar Pro的预览版,虽然目前支持的语言和上下文长度有限,但它的效率和能力已经让人印象深刻。预计2024年11月发布的正式版将支持更多语言和更长的上下文窗口。🔍

📢 Hugging Face社区对Solar Pro的反馈极为重视,定期调查用户意见,不断优化模型,满足社区需求。🗣️

🚀 Solar Pro以其高效、可扩展性著称,特别适合资源受限但性能要求高的场景。💼

Run the model locally

Id

9a8c71c441ca

7f6010e2ba0f

565afa7ef255

8e88c5664027

061df9bbeb2e

f3047ccbe196

8f665c54f08a

4a090dbef5c4

9a8c71c441ca

d9240858384a

7a6422ffbdbb

e84e5da3da89

020a0e79be2e

676df95b0bea

d59107fc3b57

2cc310f73c41

9a8c71c441ca

Model

22b

22b-preview-instruct-fp16

22b-preview-instruct-q2_K

22b-preview-instruct-q3_K_L

22b-preview-instruct-q3_K_M

22b-preview-instruct-q3_K_S

22b-preview-instruct-q4_0

22b-preview-instruct-q4_1

22b-preview-instruct-q4_K_M

22b-preview-instruct-q4_K_S

22b-preview-instruct-q5_0

22b-preview-instruct-q5_1

22b-preview-instruct-q5_K_M

22b-preview-instruct-q5_K_S

22b-preview-instruct-q6_K

22b-preview-instruct-q8_0

preview

Size

13GB

44GB

8.2GB

12GB

11GB

9.6GB

12GB

14GB

13GB

13GB

15GB

17GB

16GB

15GB

18GB

24GB

13GB


关键词

自然语言处理 文本生成 内容创作

分类

内容营销 客服聊天 虚拟助手
正文到此结束
本文目录