ts-1.15.0
OpenLIT 发布 TypeScript SDK 1.15.0,新增按评估类型设置阈值分数、API 密钥认证的离线评估创建/更新端点,并在 EvalType 接口中增加 thresholdScore 字段。同时为 OpenAI、Anthropic、Bedrock、Groq、Google AI、Vertex AI、Azure AI Inference、Claude Agent SDK、Cursor SDK 和 Strands 添加缓存 token 定价支持,实现包含与排除的缓存 token 计费模式。修复 AssemblyAI 成本计算,改用音频时长而非 URL 字符长度,并更新包装器与测试以匹配 Python SDK 的按秒计费行为。
发展脉络
- 首次出现ts-1.15.0OpenLIT Releases
- 当前判断OpenLIT 作为可观测性工具,其 SDK 更新反映了 AI 行业对成本可见性和评估能力的重视。缓存 token 定价支持表明缓存机制在降低推理成本中的重要性,而评估阈值功能则体现了对模型性能的精细化监控需求。这些功能有助于企业在生产环境中更好地管理 AI 应用的成本和质量。Agent Pulse · 分析
OpenLIT 的 TypeScript SDK 1.15.0 版本引入了多项功能与修复。功能方面,新增了按评估类型设置阈值分数的能力,以及通过 API 密钥认证的离线评估类型创建和更新端点,并在 EvalType 接口和 fetchEvalTypes 响应中加入了 thresholdScore 字段。此外,该版本为多个主流 AI 提供商(包括 OpenAI、Anthropic、Bedrock、Groq、Google AI、Vertex AI、Azure AI Inference、Claude Agent SDK、Cursor SDK 和 Strands)添加了缓存 token 定价支持,并实现了包含与排除两种缓存 token 计费模式。修复方面,解决了 AssemblyAI 成本计算错误,改为使用音频时长而非 URL 字符长度,并更新了包装器和测试以匹配 Python SDK 的按秒计费行为。这些更新旨在提升 SDK 的功能完整性和成本计算的准确性。
缓存 token 定价支持覆盖了多个主流 AI 提供商,表明 SDK 正在统一不同提供商的计费模型,这有助于开发者更准确地估算推理成本。包含与排除两种缓存 token 计费模式反映了不同提供商对缓存命中的定价策略差异,SDK 需要适配这些差异。AssemblyAI 的修复表明成本计算需要基于实际使用量(如音频时长)而非请求元数据(如 URL 长度),这提醒开发者注意计费逻辑的准确性。
OpenLIT 作为可观测性工具,其 SDK 更新反映了 AI 行业对成本可见性和评估能力的重视。缓存 token 定价支持表明缓存机制在降低推理成本中的重要性,而评估阈值功能则体现了对模型性能的精细化监控需求。这些功能有助于企业在生产环境中更好地管理 AI 应用的成本和质量。
对于使用 OpenLIT 的企业,此更新提供了更准确的成本核算和评估能力,有助于优化 AI 应用的运营成本。缓存 token 定价支持使企业能够更好地利用缓存机制降低推理成本,而评估阈值功能则有助于确保模型性能符合业务要求。
未来,可观测性工具可能会进一步集成更多提供商的计费模型,并支持更细粒度的成本分析。评估功能可能会扩展到更多维度,如延迟、错误率等。开发者应关注 SDK 的更新,以利用新的成本优化和评估能力。