速度2.6倍提升，TencentOS 支持满血版DeepSeek
2025-03-17 13:32:59i黑马
TencentOS Server AI全面支持满血版DeepSeek R1,在双机16卡的硬件环境上,分别在短输入场景(如知识问答)以及长输入场景(如企业私有信息的检索增强生成)均获得超过2.6倍的推理性能提升!
本性能评估采用2台8卡服务器,显存总量共1536GB,部署TencentOS Server AI版,2台服务器采用RDMA高速网络互联,测试样本采用通用的数据集。分别测试输入200tokens/输出500tokens以及输入6144tokens/输出1024tokens下的吞吐能力,测试结果如下:
TencentOS Server AI是腾讯云发布的一款针对AI场景的操作系统,提供了从基础架构到AI框架以及模型的全栈式AI环境,一方面简化部署,另一方面通过高性能的AI框架,实现大模型如DeepSeek推理效率成倍的增加。
-
传播易是如何破局广告营销和广告投放的
热点05-14,16:33信息 -
比亚迪2025款秦PLUS EV 510KM标准版上市，专注网约车市场
热点03-17,17:58互联网 -
realme多款机型将升级支持旁路充电技术
热点03-17,17:53通信 -
戴尔科技集团渠道“数智同行者计划”招募开始啦！
热点03-17,13:27资讯 -
创新无界,登峰有为——浦东科创-海望登峰(二期)CEO特训营招募开启
热点03-13,16:27资讯 -
《魔法少女小圆Magia Exedra》定档3月27日：魔法少女们的全新战斗篇章即将开启
热点03-10,16:05生活 -
《死亡搁浅2》全新预告片震撼发布：小岛秀夫携PS5版6月震撼归来
热点03-10,16:00探索 -
《英雄联盟》2025全球先锋赛：电竞盛宴今日启幕，新赛制引领潮流
热点03-10,15:51时评 -
免费AI律师法行宝携手多家品牌致敬女性：爱自己，就现在！
热点03-10,11:32资讯