一、背景
作为大模型产业规模化应用和商业化运营的重要基础服务形态,各类词元服务近年来加快落地,已广泛应用于人工智能模型调用、智能内容生成、智能代码辅助等场景。据国家数据局统计,国内日均词元调用量已由2024年初的约1000亿次增长至2026年3月的140万亿次,两年间增长超过千倍,表明我国词元经济已进入规模化、常态化和高增速发展阶段。
随着词元服务加速渗透,部分服务仍存在边界不清晰、质量评价口径不统一、计费规则不透明、性能适配能力差异较大、安全合规风险突出等问题。为建立科学、统一、可量化、可复现的词元服务评价体系,规范词元服务市场发展秩序,引导服务商提升技术能力和服务保障水平,中国工业互联网研究院启动词元服务专项评测工作,构建覆盖词元质量、性能效率、稳定适配、经济能效和安全合规五个维度的全流程标准化测试体系,为服务能力验证、企业采购选型、行业监督治理及相关标准研制提供技术依据。
二、评测体系
1. 词元质量评测
词元质量评测主要评价词元服务的能力覆盖范围、词元生成质量与权威渠道的一致性、输出质量的时间一致性、长上下文场景一致性等指标,为判断服务能否进入实际生产环境提供依据。
2. 性能效率评测
性能效率主要衡量词元服务在实际工程环境中的响应速度、并发承载能力、数据处理能力和资源调度效率。评测通过设置不同输入长度、输出长度、并发等级和请求批次,采集首词元响应时间、端到端响应时间、请求吞吐率、缓存命中率等指标,形成负载与性能变化曲线,识别服务性能上限、长尾延迟及性能拐点。
3. 稳定适配评测
以服务等级协议为主要依据,重点评价词元服务在持续运行、高并发、突发流量、网络波动、节点故障及多终端接入条件下的可靠性、连续性、容错能力和兼容能力。评测通过运行监测、压力测试、故障注入、恢复测试和兼容性测试,验证服务商是否具备稳定交付、异常处置和跨环境适配能力。
4. 经济能效评测
围绕完成单位任务的词元消耗和链路能源消耗,综合评价服务成本、计算资源利用率、能源消耗效率、计费准确性等指标。核算模型推理、算力调度、服务器运行、存储、网络传输和运维等环节产生的综合成本,识别无效输出、重复调用和计费偏差造成的隐性支出。
5. 安全合规评测
安全合规评测是词元服务进入市场和开展规模化运营的基础要求,重点评价平台在内容安全、数据安全、个人信息保护、合法合规审计等方面的技术能力和管理机制。评测通过风险样本测试、对抗攻击测试、敏感数据测试和合规核查等方式,检测违法违规内容生成、敏感信息泄露、越权访问、提示词攻击和服务滥用等风险。
三、评测成效
评测完成后,中国工业互联网研究院将根据评测结果,为符合要求的参评单位出具评测报告和证明材料,客观反映被测产品在基础完备能力、智能执行能力、任务交付能力和运行保障能力等方面的综合表现。
根据评测结果,中国工业互联网研究院将推荐其入驻人工智能赋能新型工业化供需对接服务平台(https://ai-bridge.cn),提升企业可信品牌影响力,拓宽供需对接渠道,助力企业与产品出海。
四、报名方式
请有意参与评测的单位认真填写评测报名表(详见附件),并准备企业产品信息、待测产品说明等材料,于2026年9月30日前,将电子版材料通过邮件反馈至联系人邮箱(邮件标题命名方式为“词元服务评测_单位名称”)。
联系方式:
李老师
18519316049
liyou@china-aii.com
邱老师
18823660419
qiuwenying@china-aii.com
温馨提示