标题：Generating Text via Adversarial Training
作者：Yizhe Zhang, Zhe Gan, Lawrence Carin
发表：NIPS 2016

论文使用LSTM作为生成器，CNN作为判别器来进行对抗训练生成文本，在训练生成器时，使用匹配特征分布的方法。另外，论文还使用了多种预训练的方法并解决了离散变量的问题。

文本生成一个简单的方法就是通过基于 RNN 的 encoder-decoder 学习表示句子的隐藏空间，然后通过解码隐藏空间的随机样本来生成句子。但是用autoencoder将句子映射到潜在向量空间时，映射往往只会覆盖很小的结构性的区域，所以如果选择嵌入空间的任意向量的话，解码很可能得到无意义的句子。另外一个不足是因为RNN的结构很可能导致错误的累计，就致使句子的前半部分较合理但后半部分偏差就比较大。而用GAN模型就能很好解决以上问题。

标题：GANS for Sequences of Discrete Elements with the Gumbel-softmax Distribution
作者：Matt J. Kusner, José Miguel Hernández-Lobato
发表：2016

GAN在生成文本等离散元素序列时有着局限性，因为从如多项式这样的离散分布中取样是无法对参数求导的。对此，论文提出了使用Gumbel-softmax分布来对多项式分布作连续的拟合。

最近一周时间都在肝国创论文，因为国创做的东西也比较简单，一时之间不知道论文写些什么，想了想，还是写篇综述吧，水一点好凑字数能够对知识有全局的总结。于是就写了一篇关于知识图谱技术的综述，在这里选取一些有用的内容记录一下。

知识图谱的定义与构成

知识图谱的定义

知识图谱是结构化的语义知识库，由相互连接的实体以及实体的属性构成，实体与实体的连接即代表了他们之间的关系，形成网状的知识结构，可以有效地描述物理世界中的概念及其相互关系。知识图谱由一条条知识组成，一般采用三元组的形式来描述，所使用的描述语言有RDFS、OWL等。其基本组成单位是“实体-关系-实体”三元组，以及实体及其相关属性-值对。

第一篇关于GAN的论文笔记博客磕磕绊绊地写完了。在此期间，不仅论文看得我头疼，初次使用Markdown写文章与部署博客也遇到了许多问题，让我抓耳挠腮，现在做个简单的总结。

数学公式

用HEXO搭建的这个博客本身是支持MathJax公式的，但是由于其渲染器设计得有点问题，导致稍微复杂的公式无法正常渲染。之后更换Markdown引擎解决了该问题。

插入图片

在博客中插入图片主要有两种方法，一种是将图片上传到图床，使用图床的链接进行引用，第二种是直接将图片存储在本地，引用时使用本地的链接。虽然前者可能在加载网页时有更快的速度，但是我想着也不会有太多图片，为了简单起见就直接放本地了，本地方法需要修改配置，安装插件，插件容易搞错，需要注意。

在实际插入图片时，Markdown语言不能控制图片的大小和位置，可以采用内嵌HTML标签来实现。

图片后缀（坑）

插入图片后在本地预览能够正常显示，但是部署到github上后却一直404找不到文件无法显示，搜索和尝试了几乎所有可能的方法都不管用。到最后发现我使用截图工具得到的图片后缀名是“.PNG”（大写），而引用时使用的是小写后缀名，虽然在本地能够正常引用，github上却是区分的。最后无语凝噎自是不必言说……

标题：Generative Adversarial Nets
作者：Ian Goodfellow, Jean Pouget-Abadie, etc.
发表：NIPS 2014

论文提出了一个利用对抗过程进行生成的模型，主要有两个部分组成：一个生成模型G来学习数据的分布，一个判别模型D来评估一个样本来自训练数据而不是D的概率。G的训练目标就是最大化D给出错误判断的概率。对于这个模型论文给出了一个形象的比喻，G就像制造假钞的人，而D是警察，D的目标是检验出哪些是“假钞”，哪些是“真钞”，G的目标则是制作出足够真实的“假钞”来骗过D。论文证明了对于可取任意函数的G和D，存在特殊的解使得G能够模拟出训练数据的分布并使D在任何取值上都等于 \(\frac{1}{2}\)。

离我写第一篇博客过去了20天，一眨眼就到了开学的日子。在这期间我还是不孚所望地什么事都没干，唉~~ 国创3月8日开始申报，3月22日开始结项；毕设3月15开始中期检查（完成论文75%），我的天呐，之前还没觉得什么，现在一看通知和今天的日期，时间怎么这么紧啊！我现在已经没脸见龙哥了。

现在真的是没办法了，鸡血不顶用，deadline可还是实打实地摆在那儿，我面临着严重地的假期后的焦虑，必须得做点事了。

现状

现在2021年2月初，我已经在家里舒舒服服的度过了大半个大四寒假。在家里吃了玩，玩了睡的生活固然惬意，但是跟导师许下的研究进展承诺和悬而未办的国创论文报告却总让我感到焦虑。从明天开始学习到下周开始学习，转眼一月就过去了，面对龙哥的push也只能说研究ing，我觉着再这样下去可能要完犊子了，于是便乘着这短暂的焦虑和热情开始着手我的正经事儿。

关于博客

本来我是在枯燥无聊地做着调研工作，却在搜索资料的时候无意中看到了TobiasLee的一篇博客:

SeqGAN 这一框架下的 GAN-based 文本生成模型，work 很大程度上是 training trick 的堆砌，并不适合工程应用，但依旧值得探索，或者蹭热点发 Paper

能如此高屋建瓴的得出这样的结论，想必一定是NLP领域的大牛吧。怀着这样的好奇心我拜读了他的博客文章，结果却发现这竟然是人家大二写的一篇文章！！！而现在是一名北大的研究生。我翻着他的博客，通过文字走进了另一个人的生活，真是奇妙啊。有如此知识、文笔、勤奋，我真的十分羡慕他。相比起来，我的学习和生活简直平庸的不行。

在本就焦虑的情况下再受到了这样的比较刺激，我感觉我又有动力了（鸡汤真香）。成为大佬的第一步就是向大佬学习，于是我在网上找了许多资料和教程，建了这样一个大佬同款博客，督促自己好好读论文、写笔记。就算无法实现，多看看书、打打字不也美哉？

后续工作

寒假已经所剩无几了，但我却始终无法进入状态，干了这碗热鸡汤，我得将注意力转移到学习工作上来了。从现在开始，一天至少阅读一篇论文，写点笔记，学习一些知识，国创和毕业论文早日做出点东西，Fighting！！！