哈雷·普莱斯知道埃克莱尔·基尔卡加所说的LSTM神经网络。
LSTM神经网络更确切的称呼应该叫做“长短期记忆神经网络”。
这是一种特殊的循环神经网络。
相比普通的循环神经网路，长短期记忆神经网络在应用中对间隙长度不敏感。
这是长短期记忆神经网络的一个优势，使得其能够在处理更长的序列中有不错的表现。
哈雷·普雷斯仔细回想LIN HUI在技术路线中所描述算法特征以及南风APP这款软件的实际表现。
LIN HUI在生成式摘要算法中提到的技术路线里面明确表示了要将文本信息通过向量来实现序列化标记之后再进一步处理。
而长短期记忆神经网络恰好可以处理长序列文本。
LIN HUI鼓捣的算法在处理文本摘要时具有极高的准确性。
而长短期记忆神经网络在处理实际问题的时候一大特点就是具有颇高的准确性。
LIN HUI依托于生成式摘要算法鼓捣出来的南风APP一次只能处理一条新闻摘要。
而长短期记忆神经网络的缺点就是结构较为复杂，并行处理上存在劣势。
如果LIN HUI的算法只是一个方面和长短期记忆神经网络特性比较吻合。
哈雷·普莱斯或许会以为只是个巧合。
但现在，三个小概率事件凑到一块。
哈雷·普莱斯觉得并不是简单的巧合。
他越发感觉埃克莱尔·基尔卡加的推断是正确的，不由得感慨道：
“我说为什么LIN HUI算法中应用的那个神经网络有循环神经网络的影子但又和传统的循环神经网络有些不一样呢，原来用的居然是长短期记忆神经网络。
埃克莱尔·基尔卡加还真有你的！居然能想到这个这个方向。
说实话，我一开始虽然觉得LIN HUI算法中应用的神经网络特性有点怪异。
但是还真没往长短期记忆神经网络那个方向想……”
埃克莱尔·基尔卡加能理解哈雷·普莱斯为什么没在第一时间想到长短期记忆神经网络。
近几年长短期记忆神经网络主要都是用于语音识别方面的原因。
现在这个阶段一般的研究学者还真不会想到会将长短期记忆神经网络用在文本摘要这方面。
不过理论上讲将长短期记忆神经网络神经网路用于文本识别方面完全是可行的。
但具体如何将长短期记忆神经网络应用于文本识别，暂时埃克莱尔·基尔卡加也不太清楚。
这个还需要一段时间的研究来探索。
哈雷·普莱斯没有想到长短期记忆神经网络神经网路应该还有另一方面的原因。
因为长短期记忆神经网络并不是什么新鲜玩意。
Hochreiter和Schmidhuber于1997年提出了长短期记忆神经网络。
距今天已经将近二十年了，可以说是很久远了。
虽然长短期记忆神经网络在处理长序列文本的时候可能会有一定的优势。
但实际上当初提出长短期记忆神经网络并不是为了文本处理。
当时之所以提出长短期记忆神经网络神经网路是为了处理训练传统循环神经网路时可能遇到的梯度消失和梯度爆炸问题。
在机器学习中，用基于梯度的学习方法和反向传播训练人工神经网络时。
有时会遇到梯度消失和梯度爆炸的问题。
这两种情况都不是研究人员希望看到的情况。
出现梯度消失或梯度爆炸后，原本的深度学习根本深不起来，只能说是浅度学习。
个别极端情况，别说浅度学习了，连最起码的机器学习都做不到。
总而言之，梯度消失和梯度爆炸问题会极大地降低利用神经网络的深度学习的训练效率。
梯度消失和梯度爆炸问题也是一个极其难缠的问题。
和神经网络有关的研究人员在1991年就注意到梯度消失和梯度爆炸现象。
该问题在长短期记忆神经网络出现后得到一定的缓解。
但还是没有彻底解决梯度消失和梯度爆炸问题。
除了利用长短期记忆神经网络之外，其他的几种处理梯度消失和梯度爆炸的问题的方式（比如说多级层次结构、利用更快的硬件、利用其他的激活函数等等。）也各有各的局限性。
总之梯度消失和梯度爆炸问题但还没有被彻底解决。
到今天梯度消失和梯度爆炸问题已然成为了机器学习上空中一朵乌云。
这个问题已然严重制约机器学习向前发展。
心念及此，埃克莱尔·基尔卡加不免有些感慨。
也不知道这个问题什么时候会被什么人彻底解决？？？
埃克莱尔·基尔卡加突然感觉他对LIN HUI算法这么较真也没什么必要啊？
诸如梯度消失和梯度爆炸现象这问题都二十多年了还没彻底解决。
不也没什么人着急吗？至少看起来没啥人着急？
本小章还未完，请点击下一页继续阅读后面精彩内容！