Man体育

电脑版下载

18657
2

Man体育截图Q8X2R7L1T4J5M9B6W3

内容详情

Man体育

全球头部开源模型方的共同选择，印证了一款底层框架的硬实力。趋境科技与清华共同开源的KTransformers，已成为Qwen、Kimi、智谱AI等多个主流大模型发布首日的推荐推理引擎，其工程实践与兼容性也被多家一体机产品线采纳，成为被开发者、厂商与开源社区广泛复用的共建式底层框架。

技术与生态双认可：成功入选 “计算机系统领域奥斯卡” SOSP 2025

KTransformers 是一个高性能异构推理框架，专注于高效利用底层 GPU、CPU、内存等多样化算力，让大模型在更低算力、更灵活的硬件架构上高效运行。其论文《KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》成功入选 “计算机系统领域奥斯卡” SOSP 2025，该顶会过去几十年间见证了虚拟化、分布式文件系统等无数里程碑式技术成果的首次亮相，此次入选标志着 KTransformers 的技术实力获得全球顶尖认可。

11月6日，月之暗面发布Kimi-K2-Thinking 模型后，KTransformers迅速完成全面适配，支持用户在单卡环境下完成推理任务，2卡环境下完成LoRA微调任务，大幅降低部署与定制化门槛。同时，趋境科技也已完成该模型在昇腾NPU上的全面适配，提供完善的全国产化推理解决方案，进一步拓宽其应用场景。

推理与微调双高效：KTransformers+SGLang实现高性能推理部署

在推理部署层面，KTransformers与主流推理框架SGLang于10月达成合作，双方架构合入同一分支。在Kimi-K2-1TB的模型推理任务中，用户仅需简单安装SGLang与KTransformers CPU内核，下载官方模型及量化权重，即可通过一条命令启动服务，且仅需单张消费级 GPU+CPU。这一合作融合了GPU+CPU异构推理创新模式与全GPU传统推理模式，推动大模型推理向更高性能、更低成本演进，迈向更广泛的产业落地。

在微调部署层面，KTransformers与LLaMA-Factory深度集成，支持LoRA等轻量级微调方法，仅占用约41 GB显存+2T内存，就能实现46.55 token/s的微调吞吐量。传统上，LoRA 微调千亿模型成本高达数百万，而趋境的异构微调能力将资源需求降低到单个消费级 GPU（如 RTX 4090）起，让高校、中小型实验室、初创公司甚至个人开发者都能参与大模型定制。该方案在 DeepSeek-14B 模型上展现了超过传统方案 1.8 倍的吞吐、显存占用降低 82%，是消费级显卡上微调超大参数 MoE 模型的唯一可行方案。

对趋境科技而言，KTransformers承载的是 “普惠顶尖AI智能与隐私” 的价值理念。大模型时代需要更广谱的推理基础设施路线，趋境已与多个国产 CPU、GPU硬件平台合作，推进全国产高性价比方案；为数十家行业开发伙伴提供算力底座，让新万博体育：团队用得起、调得动大模型。今天的KTransformers，已让大模型推理脱离高端算力垄断；未来，趋境将继续推动 AI 能力普惠，让大模型真正融入各类业务场景。