鉴于传统的异质信息网络通常存在的高维稀疏性缺点,首先提出将异质信息网络的高维顶点嵌入低维向量空间的无监督学习模型——基于生成对抗网络的异质网络表征学习(heterogeneous network representation learning based on generative adversarial network,HNRL-GAN)模型;然后分析HNRL-GAN模型中的不足之处,进一步提出改进后的基于生成对抗网络的增强版异质网络表征学习(heterogeneous network representation learning based on generative adversarial network plus plus,HNRL-GAN++)模型;最后分别在DBLP、Yelp、Aminer等数据集中使用HNRL-GAN模型和HNRL-GAN++模型进行节点分类和节点聚类等实验以测试模型的有效性。实验结果表明:1)HNRL-GAN模型和HNRL-GAN++模型都实现了将异质信息网络中的高维稀疏节点表示为低维稠密向量这一目标;2)相较于HNRL-GAN模型,HNRL-GAN++模型在保留高维空间中网络结构信息和语义信息等方面拥有更好的性能。
针对传统关系抽取模型依赖特征工程等机器学习方法,存在准确率较低且规则较繁琐等问题,提出一种BERT+BiLSTM+CRF方法.首先使用BERT(bidirectional encoder representations from transformers)对语料进行预训练;然后利用BERT根据上下文特征动态生成词向量的特点,将生成的词向量通过双向长短期记忆网络(BiLSTM)编码;最后输入到条件随机场(CRF)层完成对因果关系的抽取.实验结果表明,该模型在SemEval-CE数据集上准确率比BiLSTM+CRF+self-ATT模型提高了0.0541,从而提高了深度学习方法在因果关系抽取任务中的性能.
