IT 之家 3 月 14 日音信99BT工厂最新地址，清华大学高性能计较商讨所翟季冬栽植团队、清华系科创企业清程极智本日聚集通知，大模子推理引擎"赤兔 Chitu "现已开源。

据先容，该引擎初度终了在非英伟达 Hopper 架构 GPU 及千般国产芯片上原生启动 FP8 精度模子，终了 DeepSeek 推理老本缩短一半、性能翻番。其定位为"分娩级大模子推理引擎"，提供如下特质：

多元算力适配：不仅营救 NVIDIA 最新旗舰到旧款的多系列居品99BT工厂最新地址，也为国产芯片提供优化营救。

全场景可伸缩：从纯 CPU 部署、单 GPU 部署到大鸿沟集群部署，赤兔引擎提供可推广的处罚有计划。

永久清醒启动：可运用于本色分娩环境，清醒性足以承载并发业务流量。

官方示意，现时开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时，在 A800 集群的测试中，比较部分国际开源框架，终显著 GPU 使用量减少 50% 的同期，推理速率擢升 3.15 倍。

IT 之家附开源地址：https://github.com/thu-pacman/chitu99BT工厂最新地址