自然语言处理系统测评规范 (T/SAITA 001-2023) 团体名称为上海市人工智能技术协会
主要起草人:朱伟民、陈敏刚、赵春昊、丁敏捷、汪未雅、王文广、刘彩霞、谢芳艺、王士 进、邱锡鹏、瞿晶晶、贺樑、张志忠、陈玉珑、宋海涛、王资凯、刘权、贺梦洁、马永宁、赵迎功、吴 蕾、钱程、曹嘉彦、杨长林、朱俊杰、吴良敏、李媛媛、穆泽林、隋言东
起草单位:上海市人工智能技术协会、上海计算机软件技术开发中心、上海依图网络科技有 限公司、达观数据有限公司、公安部第三研究所、科大讯飞股份有限公司、复旦大学、上海交通大学、 上海人工智能实验室、华东师范大学、上海人工智能研究院有限公司、竹间智能科技(上海)有限公司、 上海乐言科技股份有限公司、澳鹏数据科技(上海)有限公司、上海依图智安人工智能科技有限公司、 虎博网络技术(上海)有限公司、上海工程技术大学、木心智能科技集团有限公司
范围:规定了自然语言处理系统的基本框架、测评指标体系、测评流程、测评方法,并提供了自然语言处理系统的评价指南。
内容简要 规定了自然语言处理系统的基本框架;提出了包含10个一级指标和36个二级指标的自然语言处理系统测评指标体系,涵盖功能有效性、性能、兼容性、可维护性、可解释性、安全…