APB（Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs）是清华大学等机构联合提出的分布式长上下文推理框架。通过稀疏注意力机制和序列并行推理方式，有效解决了大模型处理长文本时的效率瓶颈。APB采用更小的Anchor block和Passing block，结合查询感知的上下文压缩技术，减少计算开销的同时，精准传递关键信息，实现长距离语义依赖的高效处理。在128K文本上，APB推理速度比Flash Attention快约10倍，比英伟达的Star Attention快1.6倍，且性能优异。具备卓越的兼容性，能适应不同分布式设定和模型大小。

APB – 清华联合腾讯等机构推出的分布式长上下文推理框架 第1张
（图片来源网络，侵删）
APB – 清华联合腾讯等机构推出的分布式长上下文推理框架 第2张
（图片来源网络，侵删）