速途网消息,在近日举行的2023 世界人工智能大会上,联汇科技发布了基于大模型能力的自主智能体(Auto AI Agent)——OmBot欧姆智能体,并首次发布针对智能体的 OmBot OS操作系统,同时并针对典型场景需求,推出了首批应用—— 视频小欧、文档小欧和AIGC小欧,其自主研发的欧姆大模型也升级至3.0版本。
联汇科技发布OmBot欧姆智能体
何为自主智能体?联汇科技给出了明确的回答——智能体是能够感知环境、自主决策并且具备短期与长期记忆的计算机模型,它能够模仿人类大脑工作机制,根据任务目标,主动完成任务。
联汇自主智能体包含了认知、记忆、思考、行动四大核心能力,作为一种自动、自主的智能体,它以最简单的形式中在循环中运行,每次迭代时,它们都会生成自我导向的指令和操作。因此,它不依赖人类来指导命令,具备高度可扩展性。
![](https://www.sootoo.com/wp-content/uploads/2023/07/2023070901151559.png)
自主智能体核心能力
据了解,视频小欧可以成为新零售场景中的智慧店长。通过与摄像头视觉信息结合,利用欧姆大模型智能识别店内发生的一切,形成机器人记忆,并自主决策提示交互信息。
文档小欧可以成为个人和企业的学习助理。面对电力、石油、医学等行业专业知识学习成本高、查询困难的痛点,文档问答机器人可以将专业知识有效集成到向量数据库,并存储记忆,形成专业机器人,通过多模态内容理解与内容生成,智能回复用户问题,并给出专业的回答。
AIGC小欧可以成为媒体、文化、游戏等行业的剪辑助手。通过 AIGC 实现媒体视频素材的一键成片,针对视频主题,语言模块完成视频内容文案生成,随后拆分为更加细节的视频镜头描述,依托语言理解能力,对素材库视频进行搜索、剪辑和生成,最终大幅降低视频制作门槛。
现场,联汇科技行还发布了基于 OmBot 欧姆智能体与大模型技术的行业级智慧文旅底座,为文旅全行业提供包含元宇宙、AIGC、智慧助手等典型场景快速赋能。
正式推出欧姆大模型 3.0
值得一提的是,联汇科技正式推出欧姆大模型 3.0。欧姆大模型支持对视觉图像、视频进行标签全开放识别。预训练中已经包含了数十亿的高质量图文匹配数据,包含大量的环境背景,目标类型,目标属性与行为特征,叠加全图细粒度级别的理解,图文的语义匹配,图文问答等多任务的训练,使欧姆大模型 3.0 具备了能力涌现的保障。
可以说,欧姆大模型 3.0 不再局限于固定的目标类型清单,而是通过语义理解去理解视觉中的任意目标,甚至是描述的方式去定义目标。
![](https://www.sootoo.com/wp-content/uploads/2023/07/2023070901152894.png)
OmModel V3 正式发布
视觉问答方面,构建了私有的十亿级媒体数据和物联网数据,包括无人机视角,监控视角等,通过多任务训练,欧姆大模型 3.0 将包括自然语言解析、逻辑推理、图像理解以及自然语言生成等 AI 能力进行深度融合。将视觉模型和语言模型进行细粒度的对齐,让其可以理解人类指令,并合理作答。
另外,欧姆大模型可以在针对图片进行问答之后进行多轮对话推理,并扩充视觉之外的信息。
认知推理方面,通过不断提升欧模大模型的内容理解与多模态的语义对齐的能力,结合语言模型的能力,欧模大模型能够做到基于视觉认知的推理,并由此支撑智能体所需要的认知与推理能力。
在开放识别、视觉问答的基础上,认知推理的能力能够赋能智能体从被动的识别转为主动推理,进行思考与决策,并提出相应的智能解决方案。
高效微调方面,针对传统全参数微调消耗大量 GPU 计算与存储资源的情况,联汇从模型训练和模型推理两方面入手,使得欧姆大模型能够好用、易用。
在模型训练上,联汇自主设计 PEFT 羽量微调技术,与标准全参数微调相比,仅微调模型参数的一小部分,训练参数量小于 1%,在大幅降低计算和存储成本的同时,实现媲美全参数微调的性能表现。这样的做法能够真实降低大模型的微调训练门槛,快速适配用户长尾场景的训练需求。
![](https://www.sootoo.com/wp-content/uploads/2023/07/2023070901153672.png)
训练参数量小于 1%
在模型推理上,联汇推出针对多模态大模型的推理运行系统 ——Hydra 九头蛇部署架构,通过多卡集群部署蛇身,由多个公用的底座模型组成,而各个算法任务只需要部署羽量级的蛇头模型,实现 MaaS 架构。在推理时,蛇头模型可与任意公用蛇身模型结合产生识别结果,且新增算法任务只需增加羽量级蛇头模型。从而实现了 GPU 集群资源的高效利用,并突破算法任务部署显存资源的上限。
基于由效果评估、升级策略、数据回流、优化升级构成的人在环路指令学习进化体系,欧姆大模型可以对底座模型进行有效的指令学习、迭代升级,从而在现有的算法任务上有更好的表现。这也意味着每隔几个月,欧姆大模型都会迭代进化得更加强大。
此外,为了帮助用户更好、更快的使用大模型技术与产品,联汇正式发布欧姆大模型工具软件集合,并首次发布针对智能体的 OmBot OS 操作系统。开发者可以基于灵活的模块配置,将多模态大模型、向量数据库、人机交互认知架构进行深度融合,为构建基于多模态数据感知、认知、思考与行动的智能体奠定基础。