清华系明星创企掏出AI应用开发利器,接入500多个大模型,API成本降低37%

欧美明星 1 0

作者 | 程茜

编辑 | 云鹏

智东西1月29日报道,今日下午,清华系AI Infra明星创企清程极智发布一站式大模型服务测评与API调用平台AI Ping。该平台目前覆盖了500多个主流大模型及30多个大模型服务商。

这一平台可以为开发者的两大核心需求提供支持:一是通过7×24小时专业的持续评测,为开发者提供可验证的大模型性能榜单;二是借助统一API接口、智能路由调度等功能,帮助需通过云端调用大模型的开发者缩快速选定高性价比模型、大模型API服务商等。

清程极智联合创始人、产品副总裁师天麾透露,在可用性方面,AI Ping的服务路由功能可以将API服务调用成功率提升到99.99%以上,在性价比方面,开发者使用服务路由功能,相比于直接调用模型,API的平均成本可以降低37%、延迟降低超20%、吞吐量提升超90%。

AI Ping已经于2025年9月9日开启公测,今天正式发布,师天麾称,公测至今,该平台累计注册了数万名用户,承载了单日500亿token的消耗与请求量。

未来,AI Ping的升级重点将围绕接入更多模型和服务商、更全面的评测体系和更丰富的评测指标、更强稳定性和高性价比的智能路由展开。

一、7×24小时不间断测评,智能路由使调用成本降低37%

AI Ping有三大核心优势,其接入了30多家大模型服务商和500多个大模型;并且会对大模型API服务进行7×24小时的不间断测试;智能路由能力会根据用户需求提供高性价比大模型。

其中,师天麾谈道,AI Ping的评测有以下几个特点,他们的评测会从真实用户视角出发,进行端到端评测;模型会在同模型、同输入、同时段进行对比;通过动态输入设计,规避缓存的干扰;7×24小时的多地域分布式监测;评测结果还会与厂商的后台数据进行交叉验证。

AI Ping平台上会展示大模型的延迟吞吐等基本性能,以及多个热门模型在7天内的指标。如下图所示,其中纵轴是延迟、横轴是吞吐。开发者可以根据这样的图表,快速选择低延迟、高吞吐的大模型。

在每个模型的详情页面下,其还会汇总各个服务商七天内的评测指标。对于用户关心的大模型服务指标,AI Ping会对上下文长度、最大输入输出长度进行汇总,并对模型厂商提供的指标进行测试验证。

AI Ping也会为开发者提供筛选、排序功能。开发者可以根据关键词筛选、按照一定顺序排序等,快速找到符合自己需求的大模型。

师天麾提到,为了让用户更方便、快捷选择模型,AI Ping还提供了智能路由功能。

智能路由的第一个阶段是模型路由。他补充说,假设这样一个场景,A模型便宜但只能回答80%的问题、B模型贵但能回答95%的问题。模型路由就可以将这两个模型混合成一个模型,提供价格适中、准确率更高的模型。

研究人员在AI Ping上选择了当前较热门的几个模型进行了实验,其中的成本优先、均衡模式、效果优先三个路由模型证明,模型路由的纵坐标性能高于任何一个单一模型,且成本并不是非常高。

第二个阶段是选择大模型API服务商,也就是服务路由。

AI Ping可以帮助用户把每一条请求发送给当前满足用户需求、性价比高的大模型API服务商。开发者可以在AI Ping里描述自己的请求,如延迟在3秒以内等,网页上就会自动弹出符合这些需求的服务商。

师天麾透露,在可用性方面,AI Ping的服务路由功能可以将API服务调用成功率提升到99.99%以上,在性价比方面,开发者使用服务路由功能,相比于直接调用模型,API的平均成本可以降低37%、延迟降低超20%、吞吐量提升超90%。

二、AI应用开发平终极目标:用户提需求就能自动匹配

大模型API的服务形式对开发者和应用AI的企业有不少优势。

师天麾谈道,其中有低门槛、低使用成本,可扩展性强,开箱即用,免费的安全部署等增值服务四大优势。

基于此,开发者既可以低成本部署模型,也可以避免自己部署模型带来的安全风险。

国际市研机构IDC的数据显示,2025年上半年,国内大模型API服务呈现爆发式增长态势,同比增长421.2%。

大模型API服务在国内发展迅猛背后有两大关键原因。首先在供给侧,中国拥有最繁荣的开源模型生态,且国产AI算力增长飞速,其次在需求侧,企业希望大模型服务能够做到低成本、低门槛。

但在真正的AI应用开发过程中,想要选择合适的大模型以及大模型API服务并不容易。

师天麾称,AI应用开发大致可以分为分析问题、设计工作流、选择大模型、选择大模型API服务商、输出结果、优化效果几个环节。但企业和开发者在选择大模型、选择大模型API服务时有较多痛点。

首先在模型层面,模型更新迭代速度快,开发者需要在多家平台反复切换模型、互相对比、验证效果,还要考虑模型定价、上下文窗口长度、使用场景等的影响。

其次,大模型API服务商即使提供相同模型,但服务性能的差距也会很大。再加上需求侧企业的关注点各不相同,需要和大模型服务商的产品相匹配。

因此,在师天麾看来,未来开发者需要一个统一的平台,用户可以在此之上查看、使用模型,以数据评测驱动为企业提供科学的标准,最后基于评测数据提供进一步服务。

这样的平台比较理想的终极目标就是,用户发送请求,平台可以直接匹配最适合的模型服务商。

三、清程极智已围绕大模型训练、推理、应用全栈布局

清程极智作为AI Infra创企,目前已经围绕大模型训练、大模型推理、大模型应用推出了不同的产品。

八卦炉解决的是大模型训练与微调的场景需求。

此前,由于国内大模型研究机构受限于海外先进算力难获取、国内算力软件生态相对不够完善,清程极智构建了智能计算软件栈八卦炉,围绕跨体系架构的算子适配、集群通信、负载均衡等进行了优化。

清程极智创始人、CEO汤雄超透露,该产品已经在多个重大项目中落地,支撑大模型的大规模集群训练需求。

在大模型推理层面,清程极智推出了大模型推理引擎赤兔。汤雄超称,目前只需要一台国产智算服务器就可以部署DeepSeek超大参数量的模型。

去年年底,该公司进一步发布了针对大规模集群进行特定深度优化的版本,支持了包括华为CM384超节点等多种集成环境。

该推理引擎已经在金融、能源安全等领域落地,满足企业在华为昇腾、海光、沐曦、英伟达等多种算力平台上部署高性价比大模型的需求。

此次AI Ping平台,是清程极智围绕大模型规模化应用落地、AI智能体爆发的行业背景推出的。

汤雄超认为,在大模型应用场景中,最关键的AI Infra需求是智能路由,基于此,海量应用可以找到最好、最快、最稳定、最便宜的大模型服务。

结语:一站式搞定大模型选型与调用,普惠中小开发者

从大模型应用生态视角看,清程极智AI Ping的出现,或有望破解大模型服务碎片化、选型难、成本高、稳定性差的行业痛点,进一步加速大模型从技术到商业落地的全链路效率。

其采用一站式评测+智能路由的方式,开发者无需自行测试、对比多家服务商,可快速锁定高性价比模型,直接降低大模型应用的试错与研发成本。这将进一步普惠中小开发者与创业团队,其无需自建算力、精通底层Infra,就能通过API调用低成本使用顶级大模型能力。