FinHardBench: Can LLMs Generate Latency-Aware Hardware for Financial Computing?
论文提出 FinHardBench，一个包含 33 个金融计算任务的基准，用于评估 LLM 生成延迟感知硬件（FPGA）的能力。实验涵盖 1530+ 轮，涉及 6 个 LLM。结果显示功能正确率 19-61%，特定任务时序退化高达 13.7 倍；在系统级设计空间探索中，顶级 LLM 在 24 轮预算内 5/5 种子收敛到最优配置，优于随机搜索、模拟退火和贝叶斯优化（0-4/5）。策略级规格变更对多数模型仍未解决。
发展脉络
- 首次出现FinHardBench: Can LLMs Generate Latency-Aware Hardware for Financial Computing?arXiv cs.CL
- 当前判断金融 FPGA 设计中，5-10 纳秒延迟决定竞争优势，且设计需随协议、策略和法规持续迭代。FinHardBench 显示 LLM 在硬件生成和系统级优化上具有潜力，但时序和适应性仍是瓶颈。这暗示 LLM 辅助硬件设计可能先从系统级调优切入，而非完全自动化生成。Agent Pulse · 分析
该论文提出 FinHardBench，一个包含 33 个金融计算任务的基准，用于评估 LLM 生成延迟感知硬件（FPGA）的能力。实验模拟真实 FPGA 迭代周期，包括从规格生成新模块、调整 6 阶段交易流水线的系统级配置，以及根据规格变更调整现有模块。对 6 个 LLM 进行 1530+ 轮评估，发现：功能正确率 19-61%，特定任务时序退化高达 13.7 倍；在系统级设计空间探索中，顶级 LLM 在 24 轮预算内 5/5 种子收敛到最优配置，优于随机搜索、模拟退火和贝叶斯优化（0-4/5）。策略级规格变更对多数模型仍未解决。
LLM 在生成功能正确的硬件模块方面已有一定能力（19-61%），但时序性能差距显著，特定任务退化达 13.7 倍，表明模型缺乏延迟感知。在系统级配置搜索中，LLM 的收敛可靠性优于传统优化方法，暗示其能利用跨任务知识。策略级变更的失败表明模型对规格演化的适应性不足。
金融 FPGA 设计中，5-10 纳秒延迟决定竞争优势，且设计需随协议、策略和法规持续迭代。FinHardBench 显示 LLM 在硬件生成和系统级优化上具有潜力，但时序和适应性仍是瓶颈。这暗示 LLM 辅助硬件设计可能先从系统级调优切入，而非完全自动化生成。
对金融科技公司，LLM 辅助 FPGA 设计可缩短迭代周期并降低设计成本，尤其在系统级调优上可能提供优于传统方法的可靠性。但当前功能正确率和时序性能限制了直接应用，需结合人工审查。
未来可关注：LLM 在硬件生成中时序感知能力的提升，例如通过强化学习或专用训练数据；系统级 DSE 的可靠性是否能在更大规模任务中保持；以及策略级变更的解决是否依赖更强大的推理或外部工具。