CascadeLUT: Information-Ordered Streaming Inference for Bandwidth-Constrained FPGAs
CascadeLUT 是一个面向带宽受限 FPGA 的信息有序流式推理框架。它将特征划分为有序子集，并随子集到达逐步细化预测，通过静态控制层消费特征实现确定性流式推理，无需运行时分支。与先前 LUT 基线相比，CascadeLUT 在数据集上实现了 4.0 至 12.5 倍更低的延迟、3.0 至 5.0 倍更高的吞吐量，以及高达 13.8 倍更低的每样本能耗，同时使用了 1.2 至 4.4 倍的资源。
发展脉络
- 首次出现CascadeLUT: Information-Ordered Streaming Inference for Bandwidth-Constrained FPGAsarXiv cs.LG
- 当前判断CascadeLUT 表明，在带宽受限的流式场景中，数据移动成为主要瓶颈，而不仅仅是计算。这提示行业在边缘推理中需要重新考虑数据流设计，而不仅仅是计算优化。Agent Pulse · 分析
CascadeLUT 是一个面向带宽受限 FPGA 的信息有序流式推理框架。它解决了先前 LUT 模型假设全样本可用、导致流式场景中流水线停顿的问题。通过将特征划分为有序子集并逐步细化预测，CascadeLUT 静态控制层消费特征，实现确定性流式推理，无需运行时分支。与先前 LUT 基线相比，它在数据集上实现了 4.0 至 12.5 倍更低的延迟、3.0 至 5.0 倍更高的吞吐量，以及高达 13.8 倍更低的每样本能耗，同时使用了 1.2 至 4.4 倍的资源。
CascadeLUT 的核心创新在于将特征调度与硬件数据流协同设计，将推理组织为信息有序的级联结构。它通过静态控制层消费特征，避免了运行时分支，实现了确定性流式推理。这种方法将瓶颈从计算转移到数据移动，通过减少数据移动来提升吞吐量和能效。
CascadeLUT 表明，在带宽受限的流式场景中，数据移动成为主要瓶颈，而不仅仅是计算。这提示行业在边缘推理中需要重新考虑数据流设计，而不仅仅是计算优化。
CascadeLUT 为带宽受限的 FPGA 推理提供了显著性能提升，可能降低边缘设备的延迟和能耗，从而提升实时推理应用的商业价值。
未来可验证的信号包括：CascadeLUT 在更多数据集上的表现，以及其是否被集成到 FPGA 推理工具链中。