Deepseek v3开源，本地仅700G可轻松运行！

DeepSeek V3 正式发布，模型与技术报告全开源，非常牛，又在大模型领域掀起了一股热议，概率为2句话：

• 便宜，正式训练成本仅要557万美元（2000张H800），而GPT-4o预估一亿美金
• 编程能力超过 Claude Sonnet 3.5

• 根据多个基准测试，DeepSeek v3 在代码方面甚至优于 Claude Sonnet 3.5
• 那么671B的DeepSeek V3如何本地运行尼，由于DeepSeek的框架原生采用 FP8 训练，因此仅提供 FP8 权重，预估仅700GB+显存便可轻松运行。
• 当然也可以转换到BF16，在半精度下，需1400GB+
• 量化到int4时需要300GB+

半精度 236B的DeepSeek V2，占用 490G 显存，需要 7张 80G A100

https://huggingface.co/deepseek-ai/DeepSeek-V3-Base/tree/main
https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf