徐天乐

AI Infra · 大模型推理与系统优化

复旦大学 · 上海 / Fudan University, Shanghai

/ now

目前在中科寒武纪研发与维护面向 MLU 的大模型推理引擎。

工作横跨 vLLMSGLang 的模型适配、调度与 Cache,以及 CUDA / Triton / BangC 算子优化。

ENGINE推理引擎

vLLM_MLU · SGLang_MLU

SYSTEM系统优化

调度 · Cache · MTP

KERNEL算子开发

Triton · CUDA · BangC

/ work

/ notes