v1.918.9402 PC版
v3.358.8132 安卓漢化版
v1.37.6841 安卓漢化版
v6.468.2381 PC版
v2.546.1677 安卓漢化版
v9.528 IOS版
v8.748 PC版
v9.880.8985.133896 安卓版
v6.57.7087.550957 IOS版
v9.975.2448.569085 PC版
v6.64.5990.612711 安卓免費版
v2.851.2269.325100 安卓版
v5.140 安卓版
v6.143.265 PC版
v3.454.4260.598379 IOS版
v4.308.4092 安卓版
v8.87.2380.569102 IOS版
v6.481 安卓免費版
v6.133.9467 IOS版
v8.748.5113.821910 安卓免費版
v6.361.9539.1350 安卓漢化版
v7.135.3810.271481 PC版
v4.775 安卓漢化版
v3.398.8118.806152 安卓版
v4.884.3265.844285 安卓免費版
v2.532.4523.915669 IOS版
v3.475.2938.560720 最新版
v7.19.9482 最新版
v3.874.6931.355138 安卓版
v3.664 安卓版
v9.442.5430 PC版
v8.132.9436.226234 安卓漢化版
v2.677.4981 PC版
v9.869.6600.95132 安卓漢化版
v1.822.2307.219800 最新版
v2.625.7310.225327 PC版
v4.317.7715 IOS版
v8.767 IOS版
v9.124.1252.435715 安卓版
v7.54.5978.897465 安卓漢化版
v3.592 安卓免費版
v4.836 安卓最新版
v3.514.9940.985835 安卓免費版
v4.499 安卓版
v5.525.1515 安卓版
v8.836.1955 最新版
v2.899.9132.929305 安卓版
v5.82.4647.535241 安卓漢化版
v8.767.4819.490375 IOS版
v7.737.592.353851 安卓漢化版
v4.261.9047.100858 PC版
v9.95.3425.590518 PC版
v3.699.6524.507312 安卓免費版
v5.996.4920.685236 安卓免費版
v2.420 IOS版
v7.66.8157.250317 IOS版
v3.910.7551.964647 安卓版
v8.600.4185.62586 安卓版
v2.304 安卓版
v3.110 最新版
v2.993.8176.508290 安卓漢化版
v5.718.3858.34922 IOS版
v6.272.8676.544834 安卓免費版
v8.866 PC版
v1.7.2490.131512 安卓最新版
v2.889 IOS版
v7.268 IOS版
v3.889 安卓免費版
v6.13.8393 安卓漢化版
v1.622.889 IOS版
v3.765.7965 安卓最新版
v1.586.8320.143742 PC版
v6.978 安卓漢化版
v3.20.645 IOS版
v8.729.6311.848959 安卓漢化版
v3.204.5901.838077 IOS版
v9.170.7398 安卓免費版
v3.811 PC版
v9.884.6020.224489 安卓版
v9.909.8655.547246 安卓版
日韩精品无码人成视频
就在一周前,全宇宙最火爆的推理框架 SGLang 官宣支持了 Diffusion 模型,好评如潮。团队成员将原本在大语言模型推理中表现突出的高性能调度与内核优化,扩展到图像与视频扩散模型上,相较于先前的视频和图像生成框架,速度提升最高可达 57%:
模型支持:覆盖主流开源视频和图像生成模型,包括 Wan 系列、Hunyuan、Qwen-Image、Qwen-Image-Edit、Flux 等。
性能加速:在多种工作负载上实现最高57%的推理加速。
多种接口:提供 OpenAI 兼容 API、CLI 和 Python 接口,降低使用门槛。
完整生态:与 FastVideo 团队合作,打造从模型训练到生产部署的端到端解决方案。
Roadmap:https://github.com/sgl-project/sglang/issues/12799Slack 频道:https://sgl-fru7574.slack.com/archives/C09P0HTKE6A官方博客:https://lmsys.org/blog/2025-11-07-sglang-diffusion/GitHub:https://github.com/sgl-project/sglang/tree/main/python/sglang/multimodal_gen
从 LLM 到 Diffusion:
SGLang 的「多模态统一引擎」
过去两年,SGLang 借助高效调度与自研内核,在大模型推理场景建立了「高性能推理引擎」的口碑。
而在图像与视频生成领域,扩散模型(Diffusion Models)逐渐成为领域基石——无论是视频模型 Wan / FastWan / 混元(Hunyuan),还是图像模型 Qwen-Image / Flux,都被广泛应用。
社区中一直有强烈诉求:「能否用同一套高性能基础设施,同时跑 LLM 和扩散模型?」/「我们已经在用 SGLang 推理 LLM,可不可以用同一套引擎,把图像和视频也一起加速?」
SGLang 团队给出了肯定的回答:SGLang Diffusion。
更深层的原因在于,未来的生成式 AI,很可能不再是「单一架构」的世界,而是自回归(AR)+ 扩散(Diffusion)的混合架构:
字节跳动的 Bagel、Meta 的 Transfusion 等等模型:用一套 Transformer 同时做 AR 和 Diffusion。NVIDIA 的 Fast-dLLM v2:让 AR 模型走向并行生成。
要支撑这种「多架构融合」的新时代,需要一个统一的高性能推理底座,能同时处理语言任务与扩散任务。SGLang Diffusion 的目标,是成为面向未来的高性能多模态底座。
ComposedPipelineBase + USP,
赋能高性能推理
具体实现上,SGLang Diffusion 采用了独立优化架构与底层生态共享的策略:
设计专用的生成调度器:实现了独立的调度器(Scheduler),专门针对图像/视频生成的「多步迭代去噪」特性进行任务编排管理,以替代 LLM 的 Token 级调度逻辑。复用深度优化后的高性能算子库:深度集成 sgl-kernel 底层库,覆盖 Attention 等核心算子。
为了适配扩散模型复杂多变的结构,SGLang 团队提出了ComposedPipelineBase。可以理解为把扩散推理过程拆成一个个可复用的 Stage,再用ComposedPipelineBase把它们按需「拼起来」。
典型 Stage 包括:
DenoisingStage:封装扩散过程中的去噪循环;DecodingStage:封装 VAE 解码等步骤;其他可插拔子模块。
这套顶层设计给开发者和有魔改的用户都带来几个明显好处:
组件化:常用功能封装为 Stage,构建新 pipeline 时只需「拼积木复用性:不同模型之间复用同一类 Stage,减少重复代码;可扩展:新增模型仅需接好「接口」,不必重造整条流水线。
为了追求极致性能,SGLang Diffusion 还在扩散推理中引入了先进的并行技术:
USP(Unified Sequence Parallelism):这是 Ulysses-SP 与 Ring-Attention 的结合,专门加速核心 Transformer Block;CFG-Parallel(Classifier-Free Guidance Parallel):同时计算条件 / 无条件分支,减少冗余;Tensor Parallel(TP)等常规并行:加速其他模型组件。
注意到,SGLang Diffusion 底层仍由 sgl-kernel 承载,这也为未来引入了量化等高性能内核提供了天然扩展位。
效果展示
为了提供无缝的使用体验,SGLang Diffusion 提供了多种熟悉的接口形式,包括:
命令行界面(CLI)Python 引擎 API兼容 OpenAI 的 API
对于已有基于 OpenAI API 的应用而言,引入 SGLang Diffusion 几乎是「零改动」级别,开发者可以以最小改动将扩散生成能力集成到现有工作流中。
Text-to-Video | 文本转视频(Wan-AI/Wan2.1)
sglang generate \
--model-path Wan-AI/Wan2.1-T2V-1.3B-Diffusers \
--prompt "A simple, natural shot of an ordinary jeep driving along a quiet forest road. Trees line both sides of the road, sunlight filtering softly through the leaves. The camera follows the jeep from a gentle forward or side angle, with calm, steady motion. Realistic lighting, relaxed atmosphere, and smooth, subtle movement." \
--save-output
Image-to-Video | 图生视频(Wan-AI/Wan2.1-I2V)
sglang generate --model-path=Wan-AI/Wan2.1-I2V-14B-480P-Diffusers \
--prompt="Summer beach vacation style, a white cat wearing sunglasses sits on a surfboard. The fluffy-furred feline gazes directly at the camera with a relaxed expression. Blurred beach scenery forms the background featuring crystal-clear waters, distant green hills, and a blue sky dotted with white clouds. The cat assumes a naturally relaxed posture, as if savoring the sea breeze and warm sunlight. A close-up shot highlights the feline's intricate details and the refreshing atmosphere of the seaside." \ --image-path="https://github.com/Wan-Video/Wan2.2/blob/990af50de458c19590c245151197326e208d7191/examples/i2v_input.JPG?raw=true" \
--num-gpus 2 --enable-cfg-parallel --save-output
Text-to-Image | 文生图(FLUX)
sglang generate --model-path black-forest-labs/FLUX.1-dev \
--prompt "A Logo With Bold Large Text: SGL Diffusion" \
--save-output
Text-to-Image | 文生图(Qwen-Image)
sglang generate --model-path=Qwen/Qwen-Image
--prompt='A cute cat'
--width=720 --height=720
--save-output
Image-to-Image | 图像编辑(Qwen-Image-Edit)
sglang generate --model-path=Qwen/Qwen-Image-Edit \
--prompt="Convert 2D style to 3D style" \
--image-path="https://github.com/lm-sys/lm-sys.github.io/releases/download/test/TI2I_Qwen_Image_Edit_Input.jpg" \
--width=1024 --height=1536
--save-output
输入
输出
性能基准
对比 Huggingface Diffusers 等开源基线(Baseline),SGLang Diffusion 实现了显著的性能提升:
H100 GPU:在不同模型和并行配置下均有优势。多种并行方案:CFG 并行和 USP 都展现了相比单 GPU 设置的显著加速。
SGL Diffusion Performance Benchmark on an H100 GPU(横坐标为多次平均后的推理耗时,越短意味着性能越高)
SGLang Diffusion Performance Benchmark on an H200 GPU(横坐标为多次平均后的推理耗时,越短意味着性能越高)
社区与未来规划
SGLang Diffusion 团队专注于持续创新,这些升级都指向一个目标:在扩散推理中复刻甚至超越 SGLang 在 LLM 场景中已有的性能优势:
模型支持与优化
持续优化:Wan / FastWan / Hunyuan、Qwen-Image 系列、FLUX。新增支持:LongCat-Video 等长视频生成模型。
内核支持与算子融合
引入量化内核。引入 Rotary Embedding kernels。在 sgl-kernel 中集成 Flash Attention 4(面向 Blackwell GPU)。
系统能力增强
支持云端存储上传生成文件(便于服务化部署与前后端解耦)。加强 Batching 支持,提升高并发场景下的吞吐。融合新万博体育:并行与量化策略,形成可配置的性能策略组合。
架构优化
简化新模型接入流程,降低社区贡献门槛。加强缓存与注意力后端,进一步减少重复计算与显存开销。
结语
从长上下文 LLM,到图像与视频扩散模型,再到未来的多模态统一架构,SGLang 正在把「高性能推理」这件事做得越来越系统化、工程化。
对于研究者和工程师来说,SGLang Diffusion 至少带来三件有价值的事:
同一套基础设施同时跑 LLM + Diffusion,减少运维和工程复杂度;兼容 OpenAI API / CLI / Python,方便快速接入现有工作流;与 FastVideo 的协同,为蒸馏、训练到推理的一体化闭环打下基础。
如果你正在做视频生成、图像生成,或者在探索 AR + Diffusion 融合路线,欢迎尝试 SGLang Diffusion!
相关版本
多平台下载
查看所有0条评论>网友评论