09
2021

在NLP中的注意力机制
当用神经网络来处理大量的输入信息时,也可以借鉴人脑的注意力机制,只选择一些关键的信息输入进行处理,来提高神经网络的效率。按照认知神经学中的注意力,可以总体上分为两类:聚焦式(focus)注意力:自上而...
排序学习Pranking with Ranking
Perceptron-Based Ranking (PRanking) 是 ordinal regression 中的著名算法,PRanking 的基础结构可以看做是一个单层感知机(使用做线性变换),...
文本匹配从词向量到句向量(SIF)
获取sentence embedding最直接最简单的思路就是对一个句子中所有词的word embedding进行组合。这种方法最明显的缺点是没有考虑词序信息,但是足够简单高效,在一些任务上是很好的b...