推荐最新的开源大语言模型Llama-3_1-Nemotron-Ultra-253B-v1

julie

前几天nvidia推出了新模型Llama-3_1-Nemotron-Ultra-253B-v1, 今天我试了一下, 感觉很好. 看测试数据的话, 比deepseek r1还高, 当然数字只能作为参考.

主要它是只有253B的参数, 不用太多的显存. deepseek r1是671B的参数, 本地跑的话要太多的显存了. nvidia的模型和deepseek的模型都是带思考的, 不过 nvidia的模型可以关掉, deepseek的模型不行. deepseek r1是MoE架构的, 这个不是.

要是有条件的话, 可以试一试.

奧巴马

自己部署意义何在？

kindlecon

253b就算就算4bit量化也要170g显存。
如果用CPU和内存跑，那前提是你有多通道服务器主板，否则那速度谁受得了。

吊打华伪

我昨天才听说整个，还没弄。 你实际测试了吗？

acm

有llama4 为啥用3.1,而且4需要的显存更少

julie

acm 发表于 2025-4-12 19:27
有llama4 为啥用3.1,而且4需要的显存更少

llama 4 是个很失败的模型.

julie

吊打华伪 发表于 2025-4-12 19:10
我昨天才听说整个，还没弄。 你实际测试了吗？

我只是大概地试了一些问题, 感觉不错. 你如果不本地部署的话, 可以通过openrouter测试看看.