2023 年 12 月 15 日,智能解决方案服务商 中科闻歌 发布了政企大模型 雅意 2.0。
成立于 2017 年的中科闻歌,是中国科学院科技成果转化企业。公司定位为数据、算法和决议计划智能服务商,为媒宣、安全、城市和金融等范畴供给多语言、跨模态和深度认知智能大数据和AI根底渠道及解决方案。
自 2022 年起,借 AI 的春风,从 To G 发家的中科闻歌加快了 B 端商场的布局,为公司能够供给标准化 SaaS 产品服务。
此前,在 2023 年 6 月 3 日,中科闻歌发布了大模型雅意 1.0,聚集于实时联网问答、范畴常识问答、多语言内容了解、杂乱场景信息抽取、多模态内容生成 5 种才能。依托于雅意大模型,中科闻歌在 6 月 3 日推出了数字人 智己 ,为公司能够供给数字职工、虚拟主播、智能客服、在线教师等场景下的数字人兼顾定制服务。
相较于 1.0,雅意 2.0 大模型将参数扩展到了 300 亿,上下文窗口从 4k 扩展到了 8k 和 128k 两个尺度,词表从 64000 扩展到 81920,支撑 128k 长文本阅览和多轮对线 支撑多模态智能交互和智能插件调用,并在安全层面经过人类价值观对齐能技能,加强了风控。
根据雅意 2.0,中科闻歌发布了 4 款 AI 软件产品:MaaS 服务渠道 YAYI CHAT、杂乱信息抽取东西箱 YAYI FILE、企业内部非结构化数据智能处理东西 YAYI UIE、专家级职业帮手 YAYI BOT。
中科闻歌董事长王磊以为,大模型落地分为三个阶段:数据工程、模型工程、范畴工程。
数据工程和模型工程,聚集在大模型的预练习和微调阶段。王磊介绍,雅意 2.0 的练习首要根据两个数据集:自主安全的海量高质量数据集,以及范畴微调指令集。
所谓的指令微调(Instruct Tuning),是改善模型可控性的重要办法,指的是将大模型在由 输入 - 输出 数据对组成的数据集进步一步练习。现在,中科闻歌 YAYI UIE 渠道聚合了通用、安全、金融等上百种场景的百万级指令数据,并在 Huggingface 上开源。
而范畴工程,则决议了大模型落地到职业的作用。王磊以为,范畴工程的关键是要将职业模型的参数规划做小,使命履行功率更加高的一起,帮企业节约算力和布置本钱。
跟着雅意 2.0 才能的提高,中科闻歌将事务触角延伸到了 GI(政府智能)和 BI(商业智能)。在发布会上,中科闻歌对舆情感知、媒体宣扬、金融剖析、政务管理、医药问诊等多个范畴的职业大模型在多模态内容了解、数据剖析等多个视点进行了才能的提高。
这些职业模型的另一个特征是,相较于基座模型雅意参数的扩展,职业模型的参数都进行了不同程度的减缩。王磊表明,落地到各范畴,企业对模型的要求是 经济的算力、更低的本钱、更高的功率 ,因而, 更小、更精、更准 将是未来职业模型的发展趋势。