深度生成式模型试图把概率论与数理统计的知 识与强有力的深度神经网络的表示学习能力相结 合, 在最近几年取得了显著进步, 是当前主流的深 度学习方向. 本文对深度生成式模型的主要类型进 行了梳理, 给出了模型的构造过程、优缺点以及模 型存在的问题. 深度生成式模型虽然大有潜力, 但 也存在很多挑战:

1) 评估指标与评估系统 和判别式模型、基于 矩阵与线性代数的模型、基于几何的模型相比, 深 度生成模型存在训练过程复杂、结构不易理解和使 用、训练速度慢等问题, 在大规模数据上学习模型 很困难, 在不同的应用领域应该有相应的有效评估 指标和实用的评估系统是急需研究的问题.

2) 不确定性 深度生成模型的动机和构造过程 通常有严格的数学推导, 但在实际过程往往限于求 解的难度不得不进行近似和简化, 使模型偏离原来 的目标. 训练好的模型难以在理论上分析透彻, 只 能借助实验结果反向判断调整方法, 对生成模型的 训练造成很大困扰, 是限制模型进一步发展的重要 因素. 因此了解模型的近似和简化对模型性能、误 差和实际应用的影响是发展生产模型的重要方向

3) 样本多样性 如何使深度生成模型生成的图 像、文本和语音等样本具有多样性是一个值得研究 的问题. 度量多样性最基本的标准是熵, 因而把生 成模型与最大互信息结合的 Info-VAE 和 Info-GAN[121] 等模型既能限制生成模型的灵活性又能提升样本的 多样性; 把训练样本看作多个概率分布的噪声混合 后的随机变量, 提取不同噪声的特征表示, 得到不 同层次的特征表示, 在训练目标函数里显式地引入 不同的归纳偏置.

4) 泛化能力 机器学习理论认为好的模型要具 有更好的泛化能力. 重新思考深度学习的泛化能力, 从模型复杂性、偏差-方差权衡等观点, 理论上讨论 各种深度生成模型的学习机制, 丰富模型的理论基 础, 从而真正确立深度生成模型在深度学习中的显 著地位是值得思考的问题.

5) 更高效的模型结构和训练方法 代表着最先 进的一批生成模型如 BigGAN、Glow 和 VQ-VAE[60−61] 等已经可以生成足够清晰的图片样本, 但这样的大 型模型背后是远超常规的计算量, 是所有大型生成 模型的弊端: 高昂的计算机硬件设备以及长时间的 训练让很多人难以进入该领域的前沿研究, 所以更 加高效的模型结构和训练方法是未来发展方向之一.

6) 应用领域扩展 深度生产模型的应用范围相 对较小, 如何将其他深度生成模型的思想以及成果 运用在常见场景中、如何加速与这些领域的融合, 是未来进一步发展深度生成模型的关键方向, 如智 能家居物联网和自动驾驶等领域都有待深度生成模 型的使用. 目前生成模型通常用于传统机器学习和 人工智能专属领域, 对于工业生产等其他领域的应 用也有待进一步开发.

7) 生成离散数据 如 GAN 等深度生成模型的 训练依赖于参数的完全可微, 因此无法直接生成如 独热编码等离散数据. 这个问题限制了此类深度生 成模型在 NLP 领域的应用, 目前已经有初步的解 决办法, 例如使用 Gumbel-softmax[148]、用连续函数 近似[149] 等, 但效果有待进一步提升. 因此研究深度 生成模型生成离散数据是提高文本生成能力的关键 问题, 是值得深入研究的领域.

8) 度量方法 生成模型可以使用不同的度量方法, 例如 GAN 使用的是 KL 散度和 JS 散度, WGAN 使用 Wasserstein 距离替换了原来的散度, 可以提 升模型的生成能力和训练稳定性. 因此通过理论分 析, 使用新的度量方法可能会进一步提高模型性能。