如何自动生成不重复的10位数编码（通过自标记条件变分自动编码器）
如何自动生成不重复的10位数编码（通过自标记条件变分自动编码器）文档链接：Submitted on 26 Mar 2019Yuchi Zhang Yongliang Wang Liping Zhang Zhiqiang Zhang Kun Gai来源：Accepted as a conference paper in ICASSP 2019
通过自标记条件变分自动编码器，提高文本生成的多样性
题目：
Improve Diverse Text Generation by Self Labeling Conditional Variational Auto Encoder
作者：
Yuchi Zhang Yongliang Wang Liping Zhang Zhiqiang Zhang Kun Gai
来源：
Accepted as a conference paper in ICASSP 2019
Submitted on 26 Mar 2019
文档链接：
https://arxiv.org/abs/1903.10842
摘要
多样性在许多文本生成应用程序中起着至关重 近年来，条件变分自动编码器（CVAE）已经显示出用于该任务的有希望的性能。然而，他们经常遇到所谓的KL消失问题。先前的工作通过启发式方法减轻了这样的问题，例如在优化CVAE目标函数的同时加强编码器或弱化解码器。然而，这些方法的优化方向是隐含的，很难找到应该应用这些方法的适当程度。在本文中，我们提出了一个明确的优化目标，以补充CVAE，直接摆脱KL消失。实际上，该客观术语指导编码器朝向解码器的“最佳编码器”以增强表现力。引入标记网络来估计“最佳编码器”。它在CVAE的潜在空间中提供连续标签，以帮助在潜在变量和目标之间建立紧密联系。整个提出的方法被命名为Self Labeling CVAE~（SLCVAE）。为了加速不同文本生成的研究，我们还提出了一个大的本地一对多数据集。对两项任务进行了大量实验，结果表明，与现有算法相比，我们的方法在很大程度上改善了生成多样性，同时实现了可比较的精度。我们还提出了一个大的本地一对多数据集。对两项任务进行了大量实验，结果表明，与现有算法相比，我们的方法在很大程度上改善了生成多样性，同时实现了可比较的精度。我们还提出了一个大的本地一对多数据集。对两项任务进行了大量实验，结果表明，与现有算法相比，我们的方法在很大程度上改善了生成多样性，同时实现了可比较的精度。
图1:连衣裙的推荐文本示例。
有的注重亚麻面料，有的注重色彩等。
图2:所提议方法的概述。顶部为标记阶段，底部为CVAE阶段。优化后的模型在两个阶段之间交替训练。SRC和TGT是源和目标的缩写。R-Net和P-Net是用于重新参数化技巧的识别网络和先验网络。Lre为ELBO中的重构损失，LKL为KL散度项。
图3:生成文本的示例。尽管参考文献的覆盖范围相似，SLCAVE在词汇和表达方面有更好的多样性。
表1:每日对话框(DD)的结果。下面三行是基于CVAE的方法。
表2:EGOODS的结果。下面三行是基于CVAE的方法。
表3:人类评价结果。
英文原文
Diversity plays a vital role in many text generating applications. In recent years Conditional Variational Auto Encoders (CVAE) have shown promising performances for this task. However they often encounter the so called KL-Vanishing problem. Previous works mitigated such problem by heuristic methods such as strengthening the encoder or weakening the decoder while optimizing the CVAE objective function. Nevertheless the optimizing direction of these methods are implicit and it is hard to find an appropriate degree to which these methods should be applied. In this paper we propose an explicit optimizing objective to complement the CVAE to directly pull away from KL-vanishing. In fact this objective term guides the encoder towards the "best encoder" of the decoder to enhance the expressiveness. A labeling network is introduced to estimate the "best encoder". It provides a continuous label in the latent space of CVAE to help build a close connection between latent variables and targets. The whole proposed method is named Self Labeling CVAE~(SLCVAE). To accelerate the research of diverse text generation we also propose a large native one-to-many dataset. Extensive experiments are conducted on two tasks which show that our method largely improves the generating diversity while achieving comparable accuracy compared with state-of-art algorithms.
