20.大模型推理加速

1. PagedAttention技术

技术细节可以参考文章图解大模型计算加速系列之：vLLM核心技术PagedAttention原理 (opens new window)