2020-04-22_064420.jpg

Google研究人员描述了DynamicEmbedding,该技术将Google的TensorFlow机器学习框架扩展为具有任意数量的功能(例如,搜索查询)的“大规模”应用程序。根据Google的说法,在其上开发的AI模型在两年的时间里已经实现了显着的精度提高,这表明它们可以“不断地”增长,而无需工程师不断调整。

目前,DynamicEmbedding模型正在向Google Smart Campaigns中的广告商建议关键字,通过“巨大”搜索查询(使用Inception)注释图像,以及将句子翻译成多种语言的广告描述(使用Neural Machine Translation)。Google表示,许多工程团队已将算法迁移到DynamicEmbedding,以便他们无需进行大量数据预处理就可以对其进行训练和重新训练。

如果将重点放在最频繁出现的数据上而可能会丢弃太多有价值的信息,则DynamicEmbedding可能会很有用。那是因为该框架通过从可能不受限制的新颖输入中学习而成长,从而使其能够通过模型训练技术自我发展,例如转移学习(将在一项任务上训练的模型重新用于相关任务)和多任务学习(其中有多个学习任务)同时解决)。

将DynamicEmbedding构建到TensorFlow中需要在Python API中添加一组新的操作,这些操作在运行模型时将符号字符串作为输入并“拦截”上游和下游信号。这些操作与称为DynamicEmbedding Service(DES)的服务器对接,以处理模型的内容部分。这涉及到DynamicEmbeding Master模块,该模块在代理之间划分和分配工作-称为DynamicEmbedding Worker。工作人员主要负责分配内存和计算并与外部云存储进行通信,并确保所有DynamicEmbedding模型保持向后兼容。

由称为EmbeddingStore的组件提供,DynamicEmbedding与诸如Spanner和Bigtable的外部存储系统集成。数据可以存储在本地缓存和远程可变数据库中。由于DynamicEmbedding无需等待所有先前的数据加载完毕再接受新请求,因此可以从工作人员故障中快速恢复。

谷歌表示,在实验中,DynamicEmbedding在训练称为Seq2Seq的模型体系结构中可以显着减少内存使用,该体系结构将一个序列转换为另一序列。与TensorFlow的242GB RAM相比,拥有100个TensorFlow工作者和297,781个词汇量,它需要123GB至152GB的RAM。

在一个单独的实验中,基于DynamicEmbedding的Smart Campaign模型(已在生产中部署了一年多)在诸如20种语言的点击率等指标方面优于非DynamicEmbedding模型。实际上,基于DynamicEmbedding的模型在Google用于评估的数十个不同国家的72个重估指标中赢得了49个。

该论文的合著者写道:“我们的[Smart Campaign]模型每个月都会收到新的培训数据,并且它的大小……在不到六个月的时间里已从几GB自动增长到数百GB。” 他们指出,截至2020年2月,Google Smart Campaign模型包含超过1240亿个参数(根据数据估算并在模型进行预测时需要配置变量)。“我们希望[DynamicEmbedding]可以用于各种机器学习应用程序,这些应用程序面临着数据输入规模不断扩大的挑战。”

发布评论

分享到:

创世资讯

我的微信号:57018158(左侧二维码扫一扫)欢迎添加!

Bodhala获1000万美元A轮融资,通过AI优化公司的法律支出
你是第一个吃螃蟹的人
发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。