以 SincNet Conv1d 为例,串联模型对称性、混合精度、矩阵映射与软件流水,解释如何把模型语义转化为硬件性能收益。
最新文章
16 篇笔记-
国产芯片算子优化:Rejection Sampling
复盘 Rejection Sampling 在自研 AI 加速器上的数据流与软件流水优化,以及快速数学指令引入的采样偏差诊断。
-
LLVM 跨层优化与诊断复盘
沿 LLVM IR、分析、变换与后端调度逐层追踪,定位优化未发生或未提速的原因,并用实验验证判断。
-
sglang-runtime
沿一次 Eager decode 梳理 SGLang 执行运行时的对象关系、资源所有权与数据流,厘清 ModelRunner、runner 和 backend 的分工。
-
sglang架构概览
从请求接入、调度到执行与底层实现,梳理 SGLang 的职责分层,建立定位源码问题的架构地图。
-
SGLang Issue
通过 SGLang Issue 36886,分析 DCP 场景中 KV 缓存容量与地址映射失配的根因及修复思路。