zhaosf123(zhaosf123发布网180)

摘要

随着人工智能技术的不断发展，人们对于欧氏空间数据的处理能力不断提升，但在生活中很多数据是属于非欧式空间的数据，例如社交网络、知识图谱、点云结构之类的，我们统称这样的数据为图，对于这些数据传统的CNN无法对其进行局部的卷积提取特征，主要是因为这些数据具有非结构化的特点，即每个顶点的邻居结点的个数可能不一样，因此不能用传统的离散卷积去提取特征。因而如何从复杂的图中学习到潜在的知识是非常有挑战性的任务，图作为知识的存储媒介，深度学习作为信息抽取的重要工具，二者结合是必然趋势，其在未来也必将成为神经网络的重要组成部分，接下来就来好好聊一聊什么是图卷积神经网络。

目录

1.为什么需要图卷积神经网络

2.什么是图卷积神经网络

3.图卷积神经网络的表示

4.应用

5.挑战

6.结语

1.为什么需要图卷积神经网络

介绍图卷积神经网络的文字定义(附带少量公式)

自2012年以来，深度学习在计算机视觉以及自然语言处理两个领域取得了巨大的成功。与传统的图形学方法相比较，深度学习充分利用数据优势，进行计算，取得了巨大的突破，尤其是卷积神经网络的出现与应用。

举个简单的例子，假设对于一张图，要做分类。传统方法需要手动提取一些特征，比如纹理、颜色或一些更高级的特征。然后再把这些特征放到例如随机森林等分类器，给到一个输出标签，告诉它是哪个类别。而深度学习是输入一张图，经过神经网络，直接输出一个标签。特征提取和分类一步到位，避免了手工提取特征或者人工规则，从原始数据中自动化地去提取特征，是一种端到端（end-to-end）的学习。相较于传统的方法，深度学习能够学习到更高效的特征与模式。

这其中所用到的卷积神经网络的研究对象限制在Euclidean domains的数据。这类数据有着规则的空间结构比如图片是规则的正方形栅格，比如语音是规则的一维序列。而这些数据结构能够用一维、二维的矩阵表示，卷积神经网络处理起来很高效。

但是，我们的现实生活中有很多数据并不具备规则的空间结构，称为Non Euclidean data。比如推荐系统、电子交易、计算几何、脑信号、分子结构等抽象出的图谱。这些图谱结构每个节点连接都不尽相同，有的节点有三个连接，有的节点有两个连接，是不规则的数据结构。

例如在图1中所示，图谱的结构是不规则的数据，这个时候我们很难用传统的卷积神经网络对数据进行处理。

图1.不规则数据结构

所以在图数据里面，我们要同时考虑到节点的特征信息以及结构信息，如果靠手工规则来提取，必将失去很多隐蔽和复杂的模式，那么有没有一种方法能自动化地同时学到图的特征信息与结构信息呢？——图卷积神经网络

2.什么是图卷积神经网络

图卷积神经网络顾名思义就是在图上进行卷积运算的网络。

最核心的是图卷积算子，下面是图卷积算子的公式：

图卷积的流程可以理解为以下三个过程：

第一步：发射（send）每一个节点将自身的特征信息经过变换后发送给邻居节点。这一步是在对节点的特征信息进行抽取变换。

图2.图卷积”发射”过程

第二步：接收（receive）每个节点将邻居节点的特征信息聚集起来。这一步是在对节点的局部结构信息进行融合。

图3.图卷积”接收”过程

第三步：变换（transform）把前面的信息聚集之后做非线性变换，增加模型的表达能力。

图4.图卷积”变换”过程

以上三步是对图卷积神经网络初步的理解，其本质还是卷积的过程，只是将其应用在图结构数据上进行计算，因而对于不同的图结构，我们也有着不同的图卷积方式。

3.图卷积神经网络的表示

目前图上的卷积定义基本上可以分为两类，一个是基于谱的图卷积，它们通过傅里叶变换将结点映射到频域空间，通过在频域空间上做乘积来实现时域上的卷积，最后再将做完乘积的特征映射回时域空间。而另一种是基于空间域的图卷积，这就和我们传统的CNN很像了，只不过在图结构上更难定义结点的邻居以及与邻居之间的关系。

3.1基于谱的图卷积

基于谱的图卷积主要利用的是图傅里叶变换(Graph Fourier Transform)实现卷积。简单来讲，它利用图的拉普拉斯矩阵(Laplacian matrix)导出其频域上的的拉普拉斯算子，再类比频域上的欧式空间中的卷积，导出图卷积的公式。其中涉及到大量的数学公式计算，感兴趣的同学可以自行搜索。

3.2基于空间域的图卷积

基于空间域的图卷积与深度学习中的卷积的应用方式类似，其核心在于聚合邻居结点的信息。比如说，一种最简单的无参卷积方式可以是：将所有直连邻居结点的隐藏状态加和，来更新当前结点的隐藏状态，例如图6所示。

图5.基于空间域的图卷积示意

4.应用

随着近几年来图卷积网络的研究不断深入，其应用范围也在不断的扩大，今天我们简单地介绍四种常用的应用场景，分别是知识图谱、人体姿态识别、时间序列预测以及多标签图像识别。

4.1 推荐系统

推荐系统是利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。

传统的推荐系统大多是基于协同过滤类的方法，但其具有众多问题，例如数据稀疏与冷启动问题。为缓解部分问题，当前大多采用知识图谱（KG）的思路，即将物品属性，用户信息，社交网络关系等多种可以辅助决策的属性（attribute）通过知识图谱的方式结合，以得到能够较好融合 side information 的网络，并同时建立各个实体之间，实体与属性之间的关系。其具有以下优点：

1、利用更多的 side information 数据信息以帮助决策，可以更好地发掘用户的潜在兴趣。

2、此时各个实体之间存在多种多样的关系，能够帮助提高用户推荐的多样性（diversity）。

3、推荐结果具有较好的解释性。

在论文《Graph Convolutional Neural Networks for Web-Scale Recommender Systems》中提出一种如6所示的图卷积，图片左侧是一个图数据的输入样例，右侧是一个2层的图卷积神经网络示例。

图6.图卷积模型示意图

只看图6可能对于模型的理解还不够深刻，因而在下方给出了具体的伪代码。输入是当前计算的节点u的embedding，以及它所对应的领域节点的embedding。而具体的卷积操作是一些全联接构造成的映射。

这里的计算流程是邻居节点的embedding经过一层神经网络，然后按照权重规则pooling，而后将当前节点的embedding和邻居节点结合之后的embedding进行concate操作，再次经过一层神经网络。

作者对比了自用视觉特征和文本特征，组合特征，和各种邻居节点pooling方式的效果。本文提出的综合方法都有巨大提升，利用图卷积的推荐系统算法与其他算法可视化结果如图7所示。

图7.不同算法推荐结果

4.2 文本分类

在自然语言处理中，文本分类是一个重要和经典的问题。已经有大量将卷积神经网络（规则网络、序列的卷积）应用与分类的研究。同时，目前有更多的目光投向探索更灵活的图卷积神经网络（任意图上的卷积）任务。

在论文《Graph Convolutional Networks for Text Classification. 》中提出了一种基于图神经网络的文本分类方法。改方法将语料库构建成为一张大图，其中包含了词和文档构成的节点。首先使用图卷积网络（GCN）对图进行建模，可以捕获高阶邻域信息。两个词节点之间的边是通过词的共现信息来建立的，词节点和文档节点之间的边是通过词的频率和词的文档频率来建立的。之后将文本分类问题转化为节点分类问题。该方法只需少数的标注文档，就可以实现较强的分类功能，并学习词和文档节点的嵌入。

在该方法中，简单地令特征矩阵为单位矩阵，这意味着每个词或者文档被表示为one-hot向量作为网络的输入。根据文档中词的出现（文档节点-词节点的边）和整个语料库中的词共现（词节点与词节点的边）在节点之间建立边。文档节点和词节点之间的边的权重是文档中该单词的词频逆文档频率（TF-IDF）。同时，定义两个词节点之间边的权重用点互信息PMI如下：

正的PMI值意味着语料库中词汇的语义相关性很高，而负的PMI值则意味着语料库中词汇的语义相关性很小或没有。因此，我们只在PMI值为正的词节点对之间添加边。在构建文本图之后，我们将该图输入到一个简单的两层 GCN中，如图8所示。

图8.两层GCN用于文本分类示意图

图8是文本分类中图神经网络的示意图，其中以“O”开头的节点是文档节点，其他是单词节点。黑色粗体边缘是文档-词边，灰色细边是词-词边缘。R（x）是指x的表示（嵌入）。不同的颜色意味着不同的文档类（为了避免混乱，只显示了四个示例类）。两层 GCN 可以允许在最大两步之外的节点之间进行消息传递。因此，尽管图中没有直接的文档与文档之间的边，但是两层 GCN 允许在文档对之间交换信息。在同时作者指出两层 GCN 的性能优于一层 GCN，而更多的层并不能提高性能。

在这个方法中并没有对图卷积神经网络进行大规模的改进与优化，而是通过对于图卷积神经网络的应用实现更高效的文本分类任务，在这里给出源码地址https://github /yao8839836/text_gcn，感兴趣的同学可以自己动手尝试。

4.3 时间序列预测

时间序列预测(TSF)是最受欢迎，也是最具挑战性的任务之一。 几十年来，它在统计、机器学习、数据挖掘、计量经济学、运筹学等广泛领域发挥了重要作用。在现有的TSF方法中，差分移动平均自回归模型(ARIMA)(Box and Jenkins 1968)由于其统计特性和灵活性，是最受欢迎且被广泛使用的线性模型之一。张量分解可以从张量数据中提取有价值信息。利用这一技术，可以提高张量的计算速度，也可以同时处理多个时间序列。 现实世界中的时间序列并不是高阶张量，而是相对较短和较小的张量。例如，由于智能手机或笔记本电脑等电子产品的整个生命周期通常相当短（每一代大约需要一年），因此它们对产品材料和销售记录的历史需求数据非常小。由于信息有限，这些产品的未来需求或销量不能用现有的线性模型或张量方法以及深度学习方法有效地预测。这就需要网络具有较强的信息挖掘能力，图卷积就理所应当地应用到时序预测领域。

在这里，我们进行一个简单的数据定义，在经典的图网络中，所有相关信息都存储在一个称为邻矩阵的对象中。这是数据中所有连接的数值表示。我们的上下文中的相邻矩阵可以通过所有商店中给定商品的销售序列计算得到的相关矩阵来检索。

首先，我们需要通过如下公式计算邻接矩阵：

.

其次给出一种通用的图卷积模型，其代码如下：

模型接收数据的相邻矩阵作为输入。序列通过LSTM层传递，相关矩阵由GraphConvolution层处理。它们是在Spektral中实现的，Spektral是一个基于=Tensorflow的图形深度学习。它有各种可用的图形层。在这里使用图卷积GCN。它在可学习的权值、外部节点特征(与邻近矩阵一起提供)和我们的相关矩阵之间进行一系列卷积运算。

在定义完模型之后，我们就可以进行网络的训练，如果大家感兴趣，可以自己动手实验一下，附赠一下数据集链接：https://kaggle /c/demand-forecasting-kernels-only/data

4.4 多标签图像识别

多标签图像识别（multi-label image recognition）任务的目标是预测一张图像中出现的多个物体标签，其在搜索引擎、推荐系统中应用广泛，长期以来作为计算机视觉和机器学习领域一项基础研究课题备受学界业界关注。

由于多个相关物体通常同时出现在一副图像之中，因此提升识别性能的一个理想方法就是针对多标记识别的核心问题，即“如何有效建模标记间的协同关系”进行探索，对标签之间的依赖性进行有效建模。

为获取和利用这种依赖性，旷视研究院在论文《Multi-Label Image Recognition with Graph Convolutional Networks》中提出一种基于图卷积网络（Graph Convolutional Network，GCN）的多标签分类模型。该模型通过data-driven 方式建立标记间有向图（directed graph）并由 GCN 将类别标记映射（mapping）为对应类别分类器，以此建模类别关系，同时可提升表示学习能力。

由于现实世界中很多物体通常会同时出现，因此对标签之间的相关性进行建模就成了多标签图像识别的关键，如图 9所示。

图9. 通过构建目标标签的有向图来建模标签依赖性

为了更好地解决这个问题，在 ML-GCN 中，每个 GCN 节点的最终输出都被设计成与标签相关的分类器。此外，不同于其它任务，这里的多标签图像分类任务没有提供预定义的图结构（即相关系数矩阵）。

图10展示了整个方法的架构，其包括两个部分：图像特征学习模块和基于GCN的分类学习模块。

图10. 通过构建目标标签的有向图来建模标签依赖性

其中图像特征学习模块的目的是用来提取图像特征，理论上可以使用任意基于CNN的模型进行特征学习。基于GCN的分类学习模块是通过一个基于GCN的映射函数从标签特征学习互相依赖的目标分类器，在这里使用堆叠的GCN实现，每个GCN层的输入都是前一层的节点特征，然后输出新的节点特征。第一层的输入是词嵌入向量，最后一层的输出便是分类器。将分类器应用于图像特征，我们便可以得到最终分数，从而实现多标签图像识别。

通过将CNN与GCN相结合，就可以实现多标签图像识别的高效应用，在这里同样给出代码链接https://codechina.csdn.net/mirrors/chenzhaomin123/ML_GCN?utm_source=csdn_github_accelerator，感兴趣的同学可以动手尝试一下。

5.挑战

图卷积网络由多层神经网络堆叠而成，图卷积网络虽然功能强大，但与卷积网络随着网络层数增加性能提升的特性不同，深层图卷积神经网络往往存在性能下降问题，容易出现方差膨胀的情况，如何解决这类问题，充分利用深层网络带来的计算优势是图卷积神经网络需要面临的挑战之一。

在现阶段工作中，图卷积网络大多数针对于静态图，小规模图数据进行处理。但是对于如何能够快速处理大规模图、动态图方面仍缺乏研究，如何能够提升在计算大规模图、动态图时的计算效率也是图卷积神经网络需要面临的另一个挑战。

6.结语

本文TAG：zhaosf123