模子是告白体系中的一个庞大且主要的构成部门。之以是说它很庞大，不只在于宏大的用户量及告白场景，也在于告白这类自然的多模态数据，请求模子具有壮大的拟合才能。

　　考虑一下，假如你是一位工程师，如何才气让你的模子了解告白的内容、主题、目的受众？关于手机、电脑等差别装备，食物、汽车等不偕行业，销量、名声等差别目的，模子如何才气了解差别的告白场景？又如何才气从百万条告白中为受众挑选适宜的推送？面临流量合作加重的大情况，告白体系怎样用手艺破局，经由过程模子才能的提拔助力告白主告竣买卖目的，同时统筹用户体验，完成多赢场面？

　　那末业界顶尖的告白体系，它究竟是怎样做的呢？本文将从腾讯告白混元AI大模子及告白大模子动身，引见腾讯告白体系背后的手艺，和怎样带来告白体系的硬目标——商品买卖总额（GMV）的提拔。

　　在理解腾讯告白体系详细细节之前，我们先要有一个观点：大范围预锻炼模子，大概说大模子，不只是 NLP、CV 的将来，同时也是告白体系的魂灵。

　　而这两点，恰正是大模子可以处置的。一方面，多模态大模子能充实了解告白内容；另外一方面，告白保举大模子，能充实思索宏大的用户与告白库，找到最适宜的保举。

　　混元AI大模子充实编码文本、图片、视频等各品种型的告白数据，并了解它们都是甚么，和想要表达甚么；腾讯告白大模子则基于之前了解的告白内容，考虑到底要保举给哪些人群，才气既帮告白主告竣营销目的，又能让信息满意受众的需求。

　　在告白体系中，告白的视频、图片、案牍是自然的多模态数据，能充实了解它们的也一定是最新的大范围多模态锻炼。BERT证实了Transformer无监视预锻炼能了解天然言语，MAE证实了Transformer无监视预锻炼能了解图象数据。这类状况下，同一用 Transformer建模图象与笔墨等数据，构建一种同一的大范围多模态预锻炼模子就成了炙手可热的范畴。

　　为此，针对内容了解，混元AI大模子利用大批无监视告白内容，构建一个通用的多模态内容了解预锻炼模子，并预期它能为各类下流了解使命供给更强的根底才能。

　　该内容了解模子次要基于Transformer构造，并按照实在营业场景与告白数据特征，提出多标准视觉特融、条理化留意力交互、大范围对立锻炼等诸多改良和设想。

　　上图所示为混元AI大模子针对多模态了解构建的Transformer架构。该模子会经由过程多种使命，比方猜测被粉饰的言语（MLM）、图象文本能否婚配（ITM）和视频文本能否婚配（VTM）等等，让模子同时学会了解多种情势的告白。腾讯告白的混元AI大模子，曾经霸榜了多个多模态内容了解榜单，包罗VCR、CLUE、MSR-VTT等11个公然测评集，这也充实表现了其锻炼方法的有用性。

　　别的，腾讯告白还经由过程多种战略以增强模子的了解才能。比方在上图「Image」部门接纳了多标准视觉特融，即特性同时接纳主体Region、Patch特性，以便获得更丰硕的视觉语义信息。

　　其次在Transformer层级中增长了条理化留意力交互，经由过程接纳全局+部分留意力的方法，在不丧失主要信息交互进修下，节流计较开消，提拔锻炼服从。最初就是每种数据都增长了对立噪声（Adversarial Noise），停止大范围对立锻炼，此次要针对大模子鄙人游使命简单呈现过拟合征象，因而在预锻炼和微调两阶段都增长了对立噪声，从而提拔模子的妥当性。

　　固然，除要了解多模态告白内容，混元AI大模子还需求完成天生案牍、搜刮 / 保举类似告白等使命，这些使命仿佛其实不克不及间接利用之前的多模态内容了解模子。腾讯的做法是接纳更适宜的架构，为它们打造自力的「内容了解」模子。比方跨模态检索，就更合适利用双塔Transformer构造，从而获得差别模态之间的对应干系。

　　混元AI大模子的双塔 Transformer，经由过程层级化比照进修，进修视频和文本两种模态的差别粒度的类似度。

　　关于告白体系来讲，不只需求精确了解告白所表达的信息，同时也要将下流使命做好。在浩瀚下流使命中，保举体系又是最为凸起的部门，究竟结果它负担着将适宜的内容推送给适宜的受众，是告白投送方与告白领受方最能感知的部门。

　　将适宜的内容推送给适宜的受众，听上去很简朴，但背后的告白大模子实践上涵盖了召回、粗排、精排等告白投放环节的一系列办法。简而言之，召回卖力从百万量级告白中挑选出某类的告白；粗排在召回成果的根底长进一步挑选出数万量级的告白，挑选某一典范的告白汇合；最初，也是最主要的精排模子，则对粗排挑选的成果进一步排序，从而挑选终极要向受众暴光的告白。因而，告白大模子需求在思索哪一个告白最能逢迎用户诉求的同时，为告白主带来最大的效益。

　　总的来讲，告白大模子能够完成千亿参数目的高效锻炼与推理，并供给牢靠的告白婚配成果。得益于告白大模子的才能，腾讯告白团体的商品买卖总额完成大幅提拔。关于告白主来讲，商品买卖总额的提拔，就是告白大模子实打实的才能。

　　算法工程师们需求思索的是，千亿参数的告白大模子，如何设想、优化才气处理告白营业中的本性化、场景化、行业化这三浩劫点。

　　本性化说的是，告白场景需求更精准、更本性化的表征，从而打破小模子的表征才能天花板。经由过程改特性维度、Attention机制、让模子了解更长的时序跨度等办法，腾讯告白团队提拔了模子对「本性」的建模才能。

　　场景化说的是，关于腾讯上万的告白位，场景差别出格大。小模子只能引入场景特性，大概分场景建模，如许结果既达不到最好，保护起来也艰难重重。而告白大模子，经由过程构建场景化模子，集成了多个算法特征组合，从而处理多场景结合建模成绩。

　　另有行业化，深化行业转化目的多达上百个且数据稠密，大模子参加大批高维特性，形成样底细对特性参数空间不敷。这里腾讯经由过程提出Multi-Embedding Net，接纳多种差别尺寸的嵌入组合进修来减轻这个成绩，同时也经由过程显现婚配（match）特性，低落特性稠密度。

　　腾讯告白在召回、粗排和精排算法上都有许多主要立异，再借助千亿参数大模子的壮大进修才能，它们配合为处理如上告白三浩劫点做缺勤奋。

　　精排模子是一种典范的稠密神经收集架构，参数次要集合在Embedding层，大概说暗示层。从前的小模子由于算力、表征才能等受限，原始举动特性会先经由过程降维算法，再输入到模子，这一定招致信息的丧失。

　　来到大模子时期，腾讯告白团队间接把用户暴光、点击、转化、文章浏览等举动高维特性植入模子，削减了信息丧失。可是研发团队也发明，简朴增长原始举动序列特性其实不克不及使模子完善进修，为此进一步提出了AutoAttention，即经由过程留意力机制，主动且高效地抽取用户举动序列中主要的部门，增长模子表达才能。

　　研发团队也与阿里开源的DIN（Deep Interest Network）点击率预估模子做了比照，AutoAttention有以下两项劣势：

　　比拟DIN的外积+MLP方法，AutoAttention仅接纳内积，更高效，且更节流计较量。

　　由于特性维度从亿级别提拔到十亿级，线上结果也比力明显，此中伴侣圈页面会见点击率模子（pCTR）商品买卖总额也显现提拔。

　　腾讯的告白位多，且差别大，它们是一种高度不服衡的样本散布，甚最多样的场景在锻炼中会带偏少样本的场景。为此，腾讯告白团队叠加使用一系列子收集设想本领处理该成绩：

　　1）暗示层：进修同享Embedding在差别范畴下的权重，并经由过程地位偏置收集和度场景穿插特性强化场景差别；

　　2）躲藏层：接纳Partitioned layer normalization，对差别范畴的样本别离停止归一化，加强模子分范畴的收敛速率；

　　经由过程叠加一系列算法优化，之前由于范畴差别拆开的模子能从头合起来，这不只会低落保护本钱，如公家号页面点击预估如今只需求一个模子，同时也获得GMV的提拔。

　　跟着行业化深化，细粒度行业特性增加，与此同时，转化链路变长。固然链路长的目的样本更稠密，但其也更主要。腾讯告白团队提出的Multi-Embedding Net构建了三种差别的Embedding子收集，并等待从Embedding Size大的子收集协助浅层目的更精确，Embedding Size小的子收集协助深层目的收敛更快。

　　腾讯告白团队暗示，以伴侣圈pCVR为例，接纳Multi-Embedding模子后，差别目的AUC都有较明显的提拔，线上的模子今朝均已接纳该构造。

　　为了共同精排模子的立异与提拔，召回算法、粗排算法都挑选了排序进修（Learn to Rank, LTR），它们以精排成果为进修目的，期望能更好地对接终极的精排模子。

　　召回候选告白行列达百万级，需在全库告白中择优，因而存在较大的挑选性偏向成绩。为此，腾讯告白团队引入用户和告白自监视比照进修，并与原有监视进修使命结合锻炼，提拔了模子泛化才能。其次，团队还对负采样停止了优化，并在告白比照进修中引入 Momentum Contrast机制，提拔了全库感知。

　　粗排在业界持久以来接纳相似精排、但更简朴的LiteCXR模子。但是，思索到粗排的定位是典范的汇合挑选成绩，其中心优化目的该当是排序分歧性。以是，研发团队转向排序进修LTR 模子。比照传统做法，LTR模子愈加简约高效，之前数据稠密、样本挑选偏向成绩也获得大幅减缓。

　　与算法划一主要的是计较平台，特别是关于告白体系，在线进修、高并发低提早的揣度，都离不开计较平台的撑持，否则前文大模子的各类计划与立异，都只是梦幻泡影。

　　从计较平台方面，起首需求它能撑持千亿参数目模子的在线进修，也即告白大模子要能 7*24小时及时迭代优化本人的结果；其次在公布模子时，需求快速将300多GB的模子权重文件推送到天下上百个推理效劳器，并启动、加载到计较装备中；最初，计较平台还要有才能撑持快速推理，别看说的简朴，但当模子到达千亿量级，优化推理速率但是难之又难。

　　太极机械进修平台由腾讯TEG云架构平台部的机警平台和数据平台部的Tesla平台合作共建而成，是该公司首个大范围云原活力器进修平台，更在中国信通院举行的2021云原消费业大会上得到了「云原生使用优良案例」奖项。

　　先从手艺上来看，经由过程整合与高效操纵资本，太极机械进修平台旨在供给同一的机械进修框架和加快计划。该平台接纳散布式参数效劳器架构，具有业内抢先的模子锻炼才能，供给GPU算力和锻炼加快框架，是业界第一梯队企业们公认的最好挑选。

　　太极机械进修平台在锻炼上的手艺打破。除此以外，平台的大模子公布机制、推理机制都在手艺上有素质的打破。

　　再从使用上来看，太极机械进修平台今朝为多个公司级的营业供给锻炼平台与加快效劳，此中针对告白使用处景及依靠的大模子手艺停止了机能优化，并获得了充实的产业使用查验。

　　太极机械进修平台在手艺上具有独占劣势，又能落地到实践使用处景中。那末，面临具有优化锻炼速率和推理需求的混元AI大模子和告白大模子手艺，该平台是怎样基于本身才能停止针对性优化和提拔的呢？

　　告白模子的开辟凡是触及特性与样本消费、模子锻炼、模子效劳等次要环节，在已往的体系中，这些环节的操纵需求触及多个子体系，算法开辟者需求在多个别系之间切换，招致操纵庞大，工夫长本钱高。为此，太极机械进修平台针对告白场景打造了一站式告白平台，将次要的模子开辟流程停止集成，已往多个子体系收拢到一处进口，大幅提拔平台的易用性，进步模子研发的服从。

　　混元AI大模子属于CV/NLP类预锻炼模子，基于太极机械进修平台停止研发。借助GPU算力，完成快速算法迭代和模子锻炼。该平台的预锻炼大模子锻炼框架撑持数据并行和模子并行等散布式锻炼战略，此中模子并行包罗张量并行、流水并行和专家并行，和多种组合优化战略。

　　腾讯告白大模子属于告白保举类稠密大模子，太极机械进修平台对它接纳了散布式参数效劳器（Parameter Server, PS）架构。这类架构的劣势在于存储模子参数和施行模子计较在各自的效劳器上运转，云云一来，增长更多效劳器意味着能够撑持更大、计较需求更高的模子。这就为赋能腾讯亿级用户、海量告白内容的大模子供给了架构支持。

　　别的，腾讯基于这类架构自研了参数效劳器体系AngelPS，如今能够撑持10TB级模子的锻炼。

　　一方面，太极机械进修平台的模子锻炼硬件加快才能十分凸起。我们就以混元AI大模子的锻炼为例，太极的加快计划高于业界其他计划3.7倍，可以有用提拔模子的锻炼服从。

　　另外一方面，该平台具有超大模子在线推理效劳的才能。推理计较方面撑持通例 CPU 计较和庞大模子的GPU计较加快；存储上，按照在线推理模子巨细，自顺应挑选小模子当地内存加载和大模子AngelPS长途查询的布置战略。

　　就结果而言，今朝在太极机械进修平台上，千亿参数、TB范围锻炼、百GB范围猜测的腾讯告白大模子可以长工夫内完成计较，并供给牢靠的告白婚配成果。

　　能够如许说，太极机械进修平台完成了对混元AI大模子和告白大模子的助力，并终极提拔了腾讯告白本身的保举服从和面向受众的保举结果。

　　很较着，在模子上，混元AI大模子对多模态的了解才能曾经登顶各大榜单，告白大模子又间接展示出提拔商品买卖总额（GMV）的才能。算法上必定属于抢先程度了。

　　同时，计较平台能撑持千亿参数模子的重度利用，锻炼、推理、布置公布趁热打铁，能够说独此一份了。两大手艺缺一不成，软硬结合起来，才能才气够获得最大水平的开释。

　　告白主能更精准、准确地将信息通报给目的受众，告竣买卖目的，用户也真正获得到本人想要的信息，构成共赢。

　　固然，GMV只是一个目标，只是大模子在当前阶段期望极力提拔的功效。我们还需求看到将来，腾讯告白大模子如今也不断在进修，它期望能更好地完成「广而告之」这一任务，将准确的信息通报给需求的人。或许当模子愈来愈壮大，商品、效劳信息能快速而精准地婚配给需求的人群，那全部社会的经济生机都将由于大模子而变得差别。

　　浏览原文出格声明本文为磅礴号作者或机构在磅礴消息上传并公布，仅代表该作者或机构概念，不代表磅礴消息的概念或态度，磅礴消息仅供给信息公布平台。申请磅礴号请用电脑会见。