荔枝新闻讯（上海工作部记者/常瓅、胡逸乔、王晟）

　　在9月1日开幕的2022世界人工智能大会上，大会最高奖项“SAIL奖”（“卓越人工智能引领者”）颁奖仪式举行。中科院自动化所基于昇腾AI的全球首个三模态大模型“紫东·太初”成为获得该荣誉的项目之一。

　　中科院自动化所研究员、武汉人工智能研究院院长王金桥在AI领SHOW栏目演讲中，展示了基于昇腾 AI 基础软硬件平台打造的全球首个三模态大模型“紫东·太初”。“紫东·太初”通过跨模态多任务自监督学习，实现了图像、文字、语音和视频等不同模态数据之间的统一表示和互相生成的，且形成了完整的智能表示、推理和生成能力。

　　王院长向与会嘉宾讲述道：“传统人工智能学习当中，通过视觉模型可以实现人脸的识别，但是并不知道机器怎么表征每个人的特征差异，只能从图像中间结果的特征图解释机器学习的过程，而通过“紫东·太初”三模态的模型，可以把图像、语音等实现跨模态的统一到人类语言的维度，更接近于人类的理解和思考方式。”

　　细数“紫东·太初”四大突破

　　1.多任务多层次的跨模态自监督学习

　　提出了多任务多层次的跨模态自监督学习的训练框架，支持词条级别、模态级别和样本级别的训练，实现了跨模态理解与生成的统一建模。

　　2.首次使“以图生音”和“以音生图”成为现实

　　“紫东·太初”首次贯通了语音、图像、文字这几种信息，形成了完整的智能表示、推理和生成能力，是当前数据智能领域的最新发展趋势，为探索人类智能本质提供了一个极佳的平台。

　　3.首个千亿参数多模态预训练大模型

　　“紫东·太初”作为全球范围内首个千亿参数的三模态大模型，标志着我国从限定领域的弱人工智能正式迈向通用人工智能路径的重要探索。

　　4.“一专一能”突破至“多专多能”

　　“紫东·太初”多项算法指标性能全球第一。让AI从“一专一能”迈向“多专多能”的同时，在多项下游任务中超越业界最好的性能，构建了全自主人工智能技术体系。

　　除了向线上线下参会嘉宾展示“紫东·太初”的技术优势，王院长还表示已经实现基础模型开源和大模型的服务开放，近期将开放“紫东·太初”服务平台新的版本，支持低代码人工智能模型的训练、微调和部署，通过API调用的模式，自动上传数据，自动标注模型，自动形成推理部署的工具，自动体验效果。