Bitcoin86.com

FreeToken开源:一张5090跑DeepSeek-V4-Flash,最高25Token/s

币界网消息,FreeToken开源项目由伯克利、MIT等研究者推出,旨在为本地设备设计的混合专家模型推理引擎,解决超大模型显存不足的问题。该引擎将部分权重放在系统内存,允许CPU和GPU一起参与推理。实测显示,配备RTX 5090的台式机运行284B参数的DeepSeek-V4-Flash,速度可达22–25 Token/s而在8GB显存的RTX 4060笔记本上,35B模型的速度达到39.3 Token/s。项目目前支持超过20款MOE模型,并已采用Apache 2.0许可证开源。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。