猫眼电影
猫眼电影记者 胡艳 报道Q8X2R7L1T4J5M9B6W3
就在一周前,全宇宙最火爆的推理框架 SGLang 官宣支持了 Diffusion 模型,好评如潮。团队成员将原本在大语言模型推理中表现突出的高性能调度与内核优化,扩展到图像与视频扩散模型上,相较于先前的视频和图像生成框架,速度提升最高可达 57%:
模型支持:覆盖主流开源视频和图像生成模型,包括 Wan 系列、Hunyuan、Qwen-Image、Qwen-Image-Edit、Flux 等。
性能加速:在多种工作负载上实现最高57%的推理加速。
多种接口:提供 OpenAI 兼容 API、CLI 和 Python 接口,降低使用门槛。
完整生态:与 FastVideo 团队合作,打造从模型训练到生产部署的端到端解决方案。
Roadmap:https://github.com/sgl-project/sglang/issues/12799Slack 频道:https://sgl-fru7574.slack.com/archives/C09P0HTKE6A官方博客:https://lmsys.org/blog/2025-11-07-sglang-diffusion/GitHub:https://github.com/sgl-project/sglang/tree/main/python/sglang/multimodal_gen
从 LLM 到 Diffusion:
SGLang 的「多模态统一引擎」
过去两年,SGLang 借助高效调度与自研内核,在大模型推理场景建立了「高性能推理引擎」的口碑。
而在图像与视频生成领域,扩散模型(Diffusion Models)逐渐成为领域基石——无论是视频模型 Wan / FastWan / 混元(Hunyuan),还是图像模型 Qwen-Image / Flux,都被广泛应用。
社区中一直有强烈诉求:「能否用同一套高性能基础设施,同时跑 LLM 和扩散模型?」/「我们已经在用 SGLang 推理 LLM,可不可以用同一套引擎,把图像和视频也一起加速?」
SGLang 团队给出了肯定的回答:SGLang Diffusion。
更深层的原因在于,未来的生成式 AI,很可能不再是「单一架构」的世界,而是自回归(AR)+ 扩散(Diffusion)的混合架构:
字节跳动的 Bagel、Meta 的 Transfusion 等等模型:用一套 Transformer 同时做 AR 和 Diffusion。NVIDIA 的 Fast-dLLM v2:让 AR 模型走向并行生成。
要支撑这种「多架构融合」的新时代,需要一个统一的高性能推理底座,能同时处理语言任务与扩散任务。SGLang Diffusion 的目标,是成为面向未来的高性能多模态底座。
ComposedPipelineBase + USP,
赋能高性能推理
具体实现上,SGLang Diffusion 采用了独立优化架构与底层生态共享的策略:
设计专用的生成调度器:实现了独立的调度器(Scheduler),专门针对图像/视频生成的「多步迭代去噪」特性进行任务编排管理,以替代 LLM 的 Token 级调度逻辑。复用深度优化后的高性能算子库:深度集成 sgl-kernel 底层库,覆盖 Attention 等核心算子。
为了适配扩散模型复杂多变的结构,SGLang 团队提出了ComposedPipelineBase。可以理解为把扩散推理过程拆成一个个可复用的 Stage,再用ComposedPipelineBase把它们按需「拼起来」。
典型 Stage 包括:
DenoisingStage:封装扩散过程中的去噪循环;DecodingStage:封装 VAE 解码等步骤;其他可插拔子模块。
这套顶层设计给开发者和有魔改的用户都带来几个明显好处:
组件化:常用功能封装为 Stage,构建新 pipeline 时只需「拼积木复用性:不同模型之间复用同一类 Stage,减少重复代码;可扩展:新增模型仅需接好「接口」,不必重造整条流水线。
为了追求极致性能,SGLang Diffusion 还在扩散推理中引入了先进的并行技术:
USP(Unified Sequence Parallelism):这是 Ulysses-SP 与 Ring-Attention 的结合,专门加速核心 Transformer Block;CFG-Parallel(Classifier-Free Guidance Parallel):同时计算条件 / 无条件分支,减少冗余;Tensor Parallel(TP)等常规并行:加速其他模型组件。
注意到,SGLang Diffusion 底层仍由 sgl-kernel 承载,这也为未来引入了量化等高性能内核提供了天然扩展位。
效果展示
为了提供无缝的使用体验,SGLang Diffusion 提供了多种熟悉的接口形式,包括:
命令行界面(CLI)Python 引擎 API兼容 OpenAI 的 API
对于已有基于 OpenAI API 的应用而言,引入 SGLang Diffusion 几乎是「零改动」级别,开发者可以以最小改动将扩散生成能力集成到现有工作流中。
Text-to-Video | 文本转视频(Wan-AI/Wan2.1)
sglang generate \
--model-path Wan-AI/Wan2.1-T2V-1.3B-Diffusers \
--prompt "A simple, natural shot of an ordinary jeep driving along a quiet forest road. Trees line both sides of the road, sunlight filtering softly through the leaves. The camera follows the jeep from a gentle forward or side angle, with calm, steady motion. Realistic lighting, relaxed atmosphere, and smooth, subtle movement." \
--save-output
Image-to-Video | 图生视频(Wan-AI/Wan2.1-I2V)
sglang generate --model-path=Wan-AI/Wan2.1-I2V-14B-480P-Diffusers \
--prompt="Summer beach vacation style, a white cat wearing sunglasses sits on a surfboard. The fluffy-furred feline gazes directly at the camera with a relaxed expression. Blurred beach scenery forms the background featuring crystal-clear waters, distant green hills, and a blue sky dotted with white clouds. The cat assumes a naturally relaxed posture, as if savoring the sea breeze and warm sunlight. A close-up shot highlights the feline's intricate details and the refreshing atmosphere of the seaside." \ --image-path="https://github.com/Wan-Video/Wan2.2/blob/990af50de458c19590c245151197326e208d7191/examples/i2v_input.JPG?raw=true" \
--num-gpus 2 --enable-cfg-parallel --save-output
Text-to-Image | 文生图(FLUX)
sglang generate --model-path black-forest-labs/FLUX.1-dev \
--prompt "A Logo With Bold Large Text: SGL Diffusion" \
--save-output
Text-to-Image | 文生图(Qwen-Image)
sglang generate --model-path=Qwen/Qwen-Image
--prompt='A cute cat'
--width=720 --height=720
--save-output
Image-to-Image | 图像编辑(Qwen-Image-Edit)
sglang generate --model-path=Qwen/Qwen-Image-Edit \
--prompt="Convert 2D style to 3D style" \
--image-path="https://github.com/lm-sys/lm-sys.github.io/releases/download/test/TI2I_Qwen_Image_Edit_Input.jpg" \
--width=1024 --height=1536
--save-output
输入
输出
性能基准
对比 Huggingface Diffusers 等开源基线(Baseline),SGLang Diffusion 实现了显著的性能提升:
H100 GPU:在不同模型和并行配置下均有优势。多种并行方案:CFG 并行和 USP 都展现了相比单 GPU 设置的显著加速。
SGL Diffusion Performance Benchmark on an H100 GPU(横坐标为多次平均后的推理耗时,越短意味着性能越高)
SGLang Diffusion Performance Benchmark on an H200 GPU(横坐标为多次平均后的推理耗时,越短意味着性能越高)
社区与未来规划
SGLang Diffusion 团队专注于持续创新,这些升级都指向一个目标:在扩散推理中复刻甚至超越 SGLang 在 LLM 场景中已有的性能优势:
模型支持与优化
持续优化:Wan / FastWan / Hunyuan、Qwen-Image 系列、FLUX。新增支持:LongCat-Video 等长视频生成模型。
内核支持与算子融合
引入量化内核。引入 Rotary Embedding kernels。在 sgl-kernel 中集成 Flash Attention 4(面向 Blackwell GPU)。
系统能力增强
支持云端存储上传生成文件(便于服务化部署与前后端解耦)。加强 Batching 支持,提升高并发场景下的吞吐。融合新万博体育:并行与量化策略,形成可配置的性能策略组合。
架构优化
简化新模型接入流程,降低社区贡献门槛。加强缓存与注意力后端,进一步减少重复计算与显存开销。
结语
从长上下文 LLM,到图像与视频扩散模型,再到未来的多模态统一架构,SGLang 正在把「高性能推理」这件事做得越来越系统化、工程化。
对于研究者和工程师来说,SGLang Diffusion 至少带来三件有价值的事:
同一套基础设施同时跑 LLM + Diffusion,减少运维和工程复杂度;兼容 OpenAI API / CLI / Python,方便快速接入现有工作流;与 FastVideo 的协同,为蒸馏、训练到推理的一体化闭环打下基础。
如果你正在做视频生成、图像生成,或者在探索 AR + Diffusion 融合路线,欢迎尝试 SGLang Diffusion!
??时事1:nc18嫩草入口页.com
??11月20日,上海:“国粹”破圈融合 岐黄丹青推动中华文明创造性转化,
雨蒙惊恐大叫,道:“你们不将我押回去,而直接这样草率斩杀,皇都的人会怎么说?你们没有铁证,这是草菅人命。”
,18禁 又黄又爽网站。??11月20日,光明说经济丨中国外贸顶住压力走出上扬曲线,
小不点指尖符文闪烁,兽牙串灿灿若星辰,颗颗剔透,缠上了雪亮的大剑,喀嚓几声,将其绞碎,化成一地废铁,这就是宝具的威力。
,激情aaaaa,欧美黄片基站,男女做爱视频18。??时事2:秋霞电影网手机版在线观看
??11月20日,外媒:波兰外长称或将关闭俄罗斯驻波剩余领事馆,
但这一切都与小不点无关了,他带着清风进入了大荒中,他们已经与海氏父子分手。
,免费男女超黄,看黄片的视频,99超碰在线公开视。??11月20日,安徽合肥今年地区生产总值目标增长6%左右,
“头角峥嵘,第一奇才,曾在我们天才营呆过,极其强悍,潜力惊人。”
,国模大胆自慰gogo,手机色网,精品国产群3p在线观看91。??时事3:精品视频福利在线导航
??11月20日,【奋力谱写中国式现代化新篇章——习近平总书记今年以来治国理政纪实】中国式现代化 民生为大,
而且,他还在精修骨文,造诣已经极深。以这个速度成长下去,很难想象他会达到何等境地!
,咒术回战需要灌满才能出去的房间,中国你大学生的逼,美女裙子底部偷拍秘。??11月20日,诺如病毒感染进入高发季 全人群普遍易感,
毕业了,学校送给你们一个礼物,一位校友设计的茶杯,希望大家注意身体,多喝水,当然别忘了“上善若水”。
,自拍一二区,国产精品系列,亚洲AV无码秘 蜜桃香奈。??时事4:羞羞漫画在线观看无遮挡
??11月20日,“港澳成果+南沙转化+湾区应用”协同创新链正在形成 改革扎实落地,
(一)村干部要践行群众路线,甘为孺子牛。 人民群众是我们的力量源泉,密切联系群众是我党最大的政治优势。广大村干部成长在基层,生活在基层,工作在基层,与群众接触最为密切,对他们的所思所想所盼最为清楚,要始终践行党的群众路线,甘为孺子牛。要坚持从群众中来,到群众中去,真正和群众打成一片,听民声、访民意、察民情、排民忧、解民难,不断增进与人民群众的真情实感。要大力学习弘扬焦裕禄精神,特别是他 “ 心中装着全体人民、唯独没有他自己 ” 的公仆情怀,大兴服务群众之风,想群众之所想,急群众之所急,帮群众之所需,认真解决民生问题,努力把为群众排忧解难的各项工作落到实处。要以 “ 积极奉献 ” 为座右铭,把人生价值与党和人民事业的发展紧密结合起来,多想群众少想自己,多想事业少想名利,坚持在其位、谋其政、尽其责,真正把全部心思和精力用在干事创业上,做到为官一任、造福一方。
,爽爽爽男女爽免费视频,美女黄18以下禁止观看,人人人操97。??11月20日,拉萨文旅上半年成绩亮眼,
同学们,努力吧,为缔造祖国美好的明天,为开创人生美好的未来而奋斗吧!
,亚洲一区二区视频在线播放,激情五月丁香五月婷婷五月,三级片视频图片小说。责编:靳总理
审核:伍吉第
责编:司业韦












