无界 AI 首席技术官张飞彪:未来将开放生态服务,拥抱更多的开发者丨中国 AIGC 产业应用峰会

2024-01-08 11:07

免责声明 免责声明:内容来源于网络收集,不构成任何投资建议!

人工智能新智界消息,1月5日,“智谋共赢中国AIGC产业应用峰会暨无界AI生态合作伙伴大会”隆重召开杭州未来科技城举办。大会由杭州未来科技城管委会、余杭区科技局、余杭区企业联合指导(人才)综合服务中心,由时代科技主办,AI 新智界提供专题媒体支持。会上,无界人工智能首席技术官张飞彪发表了《无界人工智能企业服务:一站式AIGC解决方案》的主题演讲。

根据张飞彪、无界AI提供一站式产品、模型、算力AIGC解决方案,包括软件、模型、开放平台、算力、赛事、培训6大内容项目。谈及未来计划,张飞彪表示,无界AI将开放生态服务,拥抱更多开发者,支持定制化工作流程、插件、模型等;同时,无界://10012.com/AI将支持企业协同管理,包括账户、专用算力、网盘管理、数据罗盘等。

无界 AI 首席技术官张飞彪:未来将开放生态服务,拥抱更多的开发者丨中国 AIGC 产业应用峰会

以下是AI新智界根据速记整理的演讲内容,为方便阅读已进行部分删减:

今天给大家介绍一下无界AI的企业服务。我们的定位是“一站式产品、模型、算力AIGC解决方案”。

首先我们先来全面了解一下无界AI提供的整体服务。

软件服务方面,有可供外部使用的通用版本,包括PC网站、H5网站以及相关的Android和iOS应用程序;专业版软件的功能非常丰富,包括工作流程机制以及相关的插件功能。除此之外,我们还支持漫画、视频和3D的生成。另外,我们还导出了无界自主开发的大语言模型集对应的agent。

无界 AI 首席技术官张飞彪:未来将开放生态服务,拥抱更多的开发者丨中国 AIGC 产业应用峰会

今天主要讲模型服务、API服务和算力服务。此外,我们还提供相关的创意活动服务和培训服务。

模型服务

首先我们看一下无界的行业模式。张柴刚刚详细介绍了这个模型,这里不再赘述。我一直认为,如何利用行业模型解决专业领域的问题,是AIGC落地的关键。 无界AI本身的基础也是我们的行业模型。我们会针对每个细分领域训练相应的行业模型。

行业模型的训练主要分为三大步骤:

首先是数据部分。大家一定知道,数据对于模型的质量至关重要。它也是AIGC的基本燃料。在这个过程中,模型管理者会收集数据并评估数据质量,然后交给算法同学进行尺寸处理,因为不同的尺寸会对应不同的需求场景,比如1:1更适合头像。16:9更适合做壁纸。之后进行相应的数据清理,包括去水印和整体后台优化。另外,我们还会对特定场景下的数据进行针对性的优化,其中也包括本地数据的优化。大家都知道,在AI绘画中,手、耳朵、眼睛容易出现问题,所以我们在这方面也做了专门的优化,后面也会训练相应的LoRA,稍后再给大家介绍。

有了数据部分之后,如何对数据进行标注也非常关键。与常规模型训练不同的是,除了使用图像中包含的信息外,我们还使用图像相关的描述信息,例如标题、文本描述和客户标签。经过无界的大的多模态模型,转换为自然语言描述,然后利用无界的自然语言模型进行数据标注,最终输出是一个系统的结构标签。强调一下,无界这个标签不仅用于训练阶段和强化学习,还可以作为生成阶段的触发词,辅助我们精准控制,减少盲盒打开的影响。目前我们也会对外提供完整的数据标注服务功能。如果您有这方面的需求,也可以关注一下。

数据和数据标准到位后,最后一步就是进入相应的模型训练阶段。在训练模型时,非常重要的是使用什么样的基础模型。因为现在有SD 1.5、SDXL、SD 2.1。应该使用哪个相关模型?我们将基于多融合消融实验进行对比测试,最终确定最优的训练模型。在此之上,使用相关的模型训练算法,例如微调模式、Dreambooth、LoRA、融合实验等,这是我们常见的训练模式。另外,不同的模型、不同的数据有不同的特征,我们会根据相应的特征调整训练参数。这一部分需要再次强调。 无界大概有十几个行业模型,所以我们投入了大量的资源。目前训练算力主要以高端A800、H800为主。总体来说使用的算力比较充沛;另外,在训练方式上,我们也有标准化的训练模型,也可以实现分布式训练。

目前,无界提供的模型训练服务主要有以下几种:

一方面是大模型训练。我们与一些大型汽车公司和快速消费品品牌以及万事利和3D Home都有合作。我们也有相应的LoRA培训,我们也使用了一些前沿技术。都支持,比如目前流行的潜在一致模型(LCM),可以大大提高训练和推理效率。相应的,手和眼睛也容易塌陷。我们将结合LoRA的优化来辅助模型预测。

理生成,减少这类情况的出现。最后,重点提一下个性写真服务,我们结合了自己的人脸融合算法,去提升图像的相似度。这方面主要是高阶版,使用多张图片(目前是 6 张以上),可以训练一个精美的写真,最终可以媲美线下影楼的效果,它结合的是人脸 LoRA 以及底层私人影像模型。我们还有一个是基础版,或者叫快捷版,可以用单张或多张图在 3 分钟内完成 LoRA 训练,整体效果也很不错,而且模板可以自定义。刚才提到的神隐活动,使用的就是这种快捷模式。

开放平台

接下来是整体的开放平台,也就是对应的相关的 API 服务。

首先是企业账号的开通,包含密钥、接口的整体调试。完了之后,可能需要做业务相关的参数配置,比如存储、内容审核选择等。再来是套餐选择,包含积分和时长模式,之后商务同学会重点介绍。

在管理平台部分,为了方便企业使用,我们也提供企业控制台,方便客户做好系统管理、对应的参数配置以的数据看板和监控告警服务。

上面只是简要的列举,实际上整个 API 服务要丰富得多,大体可以分为:基础作画相关、模型相关,还有现在比较火热的视频。视频服务目前还处于初级阶段,大家可以根据自己的实际业务和场景来选用,包括文生视频、图生视频、视频转视频等。训练上,除了前面提到的个性相机、LoRA 训练,我们还支持训练素材的管理以及数据标注服务。另外还有比较特色的功能,比如说咒语生成器、咒语解析器,这都是无界的特色服务。另外我们还有大语言模型,能把自然语言转化为相关的绘画提示词,同时进一步推荐绘画模型及参数配置。

前面提到的这么多功能,如果没有稳定可靠的服务支撑,就很难保障良好的用户体验。这里,我们快速看一下无界 AI 的架构图,最上层还是相关的软件服务及开放平台,也就是 API 部分;业务部分,主要包含绘画、训练以及视频相关的。往后还有一些插件和工作流机制。再往下则是后端服务。其中比较特色的,就是算力调度及管理平台。

无界 AI 首席技术官张飞彪:未来将开放生态服务,拥抱更多的开发者丨中国 AIGC 产业应用峰会算力调度上,最关键的是我们自研了一套模型动态切换算法。大家知道绘画的时间跟算力配置、模型数量有一定关系。我们在这一块做了自动启停服务,当队列排队较多的时候,我们会自动启动新的机器来加入到创作的服务。当有闲置资源的时候,我们又会逐步释放,以提升 GPU 算力的利用率。而模型动态切换上,目前使用的是大内存的缓存方案。经过缓存以后的模型,A 模型切换到 B 模型,加载和卸载,我们能大致做到 3 秒完成。如果是磁盘或者网盘的模型,比如刚才提到的个性相机训练,一般是 30 秒内就可以完成模型切换。通过这一套机制,我们可以在充分保障用户良好体验的情况,也进一步提升 GPU 算力的利用率,同时把成本做到更低。

接下来是数据看板和监控告警服务,这是非常关键的。比如异常告警,我们不可能永远看监控看板,只能配置一定的阈值,当出现异常的时候,它会通过告警服务收到通知,再灵活作出对应的处理。乃至到后面,可以做到自动化的运维。在数据看板上,主要包含对应的业务指标和技术指标。

算力服务

无界 AI 首席技术官张飞彪:未来将开放生态服务,拥抱更多的开发者丨中国 AIGC 产业应用峰会在介绍完开放平台后,最后给大家介绍一下算力服务。我们的算力主要由无界 AI 子业务矩池云承接。矩池云成立于 2019 年,比无界 AI 还要早,也是专注于人工智能领域的 GPU 云平台。目前,对外能够提供分布式的 AI 计算服务,包含网盘、弹性调度算力等。另外,在技术上我们也有自研的轻量级容器技术,以及内核机的微 GPU 技术。像常见的 AI 框架,目前都是支持的。因为它本身是一个比较完整的云服务平台,我们也能够提供开源的大语言模型的镜像,以及 SDXL 文生图的镜像。

在以往的合作中,有一类客户有自建算力的需求,我们提供了从硬件的采购,再到整个系统的设计的全链路解决方案,帮助把本地资源上云,做到整体的混合调度,相当于把私有云和公有云整体结合起来使用。这个服务经过了五年的打磨和迭代,整体非常成熟。如果有企业比较看重数据保护,需要做一些数据隐私的考虑,比如说系统隔离的话,可以考虑算力的私有化部署方案。

最后就是我们的混合云弹性调度。我们能够根据实时算力需求,去灵活调度多家云厂商的算力需求,能够灵活应对大型活动的波峰波谷。通过一个平台,去对接多家厂家。我们现在也跟市面上常见的华为云、腾讯云、火山引擎都做了对接,包括国内外的软件系统以及芯片都做的兼容支持,能够通过一个平台去灵活调度公有云、私有云及专有云。

介绍完模型服务、开放平台以及算力服务,其实无界还做好了一些相关服务。在未来,我们希望能开放生态,拥抱更多的开发者和企业,一起加入到无界的生态体系中,由各自开发者和企业来做相关定义;还有模型的训练和托管,乃至到最后做到低代码平台,灵活搭建产品和管理平台。最后还有在企业协同方面提供的服务,包含企业账号、子账号、虚拟账号,以及相关企业算力的租用和网盘管理。在数据上,希望能给对应企业提供更好的数据洞察以及分析能力。

我的演讲到这里,也期待新的一年里,无界 AI 能给大家提供更加优质的企业服务。