v1.178.5801.848242 最新版
v3.631.6514 IOS版
v3.952 安卓漢化版
v9.101.4813.458907 安卓版
v3.529.4567 PC版
v1.422.4629.989479 安卓漢化版
v5.636.6319 安卓最新版
v1.867.2558.126447 IOS版
v7.742.1774 安卓免費版
v1.767.8156.544053 最新版
v1.619.9474.246900 安卓版
v4.783.8872.966465 IOS版
v2.92 IOS版
v7.144.6159.906266 最新版
v9.675.8159.469789 IOS版
v6.589.9861.46201 IOS版
v1.158.5660.645549 安卓最新版
v5.397.9992 最新版
v2.183.8705.203720 安卓免費版
v2.293.318.892863 安卓免費版
v6.471.5018.231391 IOS版
v6.917.4621.17524 安卓最新版
v6.957.2435.807473 安卓最新版
v7.341 安卓版
v1.904.5831 安卓版
v9.503.1126 安卓版
v8.881.3990.321899 PC版
v4.188.2801.444878 安卓免費版
v7.111.6468.759853 PC版
v9.793.1582.582677 PC版
v5.979.8649.967100 安卓免費版
v4.134.9747 最新版
v4.168.6449.478219 安卓免費版
v4.300 安卓漢化版
v2.236.2710.457554 安卓版
v3.191.721.911578 最新版
v7.888.112.161798 最新版
v3.922.8310 IOS版
v2.461 IOS版
v6.519 安卓版
v1.199.2016.777221 PC版
v6.487 安卓免費版
v9.815 IOS版
v7.994 安卓最新版
v6.172.4645.903787 安卓最新版
v2.573.2366.311428 安卓版
v8.454 安卓版
v4.362.90.765610 PC版
v7.191.7499.286115 安卓最新版
v5.108 安卓最新版
v3.357.3155.243380 PC版
v4.692.1480.575645 最新版
v3.441 IOS版
v4.759.1453.121988 PC版
v8.217 PC版
v2.548 安卓版
v3.137.9866.691036 安卓版
v6.157.1810 安卓版
v6.310.8555.222779 安卓漢化版
v5.0.8953.191795 IOS版
v7.810.6851 安卓漢化版
v4.901.1909.510043 安卓免費版
v9.545.8114.563596 PC版
v6.801.9586.416138 安卓漢化版
v8.865 安卓最新版
v7.870 安卓最新版
v1.146.230.117859 安卓漢化版
v7.154.3719.213279 安卓最新版
v5.753.3136 IOS版
v2.655.381 安卓漢化版
v6.411 PC版
v1.374.8585.19509 安卓漢化版
v8.980.9074.555475 最新版
v5.560.1600 最新版
v7.31.4444.497272 安卓免費版
v1.293 IOS版
v9.655.6296 安卓最新版
v3.667 IOS版
v6.606.6992.717612 IOS版
v5.307.6568.59850 PC版
葡京网娱
全球头部开源模型方的共同选择,印证了一款底层框架的硬实力。趋境科技与清华共同开源的KTransformers,已成为Qwen、Kimi、智谱AI等多个主流大模型发布首日的推荐推理引擎,其工程实践与兼容性也被多家一体机产品线采纳,成为被开发者、厂商与开源社区广泛复用的共建式底层框架。
技术与生态双认可:成功入选 “计算机系统领域奥斯卡” SOSP 2025
KTransformers 是一个高性能异构推理框架,专注于高效利用底层 GPU、CPU、内存等多样化算力,让大模型在更低算力、更灵活的硬件架构上高效运行。其论文《KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》成功入选 “计算机系统领域奥斯卡” SOSP 2025,该顶会过去几十年间见证了虚拟化、分布式文件系统等无数里程碑式技术成果的首次亮相,此次入选标志着 KTransformers 的技术实力获得全球顶尖认可。
11月6日,月之暗面发布Kimi-K2-Thinking 模型后,KTransformers迅速完成全面适配,支持用户在单卡环境下完成推理任务,2卡环境下完成LoRA微调任务,大幅降低部署与定制化门槛。同时,趋境科技也已完成该模型在昇腾NPU上的全面适配,提供完善的全国产化推理解决方案,进一步拓宽其应用场景。
推理与微调双高效:KTransformers+SGLang实现高性能推理部署
在推理部署层面,KTransformers与主流推理框架SGLang于10月达成合作,双方架构合入同一分支。在Kimi-K2-1TB的模型推理任务中,用户仅需简单安装SGLang与KTransformers CPU内核,下载官方模型及量化权重,即可通过一条命令启动服务,且仅需单张消费级 GPU+CPU。这一合作融合了GPU+CPU异构推理创新模式与全GPU传统推理模式,推动大模型推理向更高性能、更低成本演进,迈向更广泛的产业落地。
在微调部署层面,KTransformers与LLaMA-Factory深度集成,支持LoRA等轻量级微调方法,仅占用约41 GB显存+2T内存,就能实现46.55 token/s的微调吞吐量。传统上,LoRA 微调千亿模型成本高达数百万,而趋境的异构微调能力将资源需求降低到单个消费级 GPU(如 RTX 4090)起,让高校、中小型实验室、初创公司甚至个人开发者都能参与大模型定制。该方案在 DeepSeek-14B 模型上展现了超过传统方案 1.8 倍的吞吐、显存占用降低 82%,是消费级显卡上微调超大参数 MoE 模型的唯一可行方案。
对趋境科技而言,KTransformers承载的是 “普惠顶尖AI智能与隐私” 的价值理念。大模型时代需要更广谱的推理基础设施路线,趋境已与多个国产 CPU、GPU硬件平台合作,推进全国产高性价比方案;为数十家行业开发伙伴提供算力底座,让新万博体育:团队用得起、调得动大模型。今天的KTransformers,已让大模型推理脱离高端算力垄断;未来,趋境将继续推动 AI 能力普惠,让大模型真正融入各类业务场景。
相关版本
多平台下载
查看所有0条评论>网友评论