TOP榜写作榜手机小说

最近更新新书入库全部小说

爱言情 >> 穿越:2014 >> 第155章 你渴望推开那扇门么

第155章 你渴望推开那扇门么

可这怎么能做到呢?

机器识别文本时为了要机器识别自然语言,往往将自然语言数值化。

而将这些数值进行属性区分则必须进行向量化。

这种方法已经有很长时间历史了,伊芙·卡莉记得在1977年(这个时空)就有研究人员首次提出向量空间模型VSM了。

一经提出这种研究方法就比较受欢迎。

虽然很快这种方法就被发现了有不小的漏洞。

利用VSM方法的话,当文本量很大时,生成的文本向量是非常稀疏的,这就导致了空间和计算资源的浪费;

另外VSM为达到简化模型的效果忽略了词语间的关系,而在很多情况下词语之间是存在联系的,因此简单地认为词语间相互独立是不合理的。

尽管有着明显的漏洞,但在之后近四十年的历史中,人们仍然要引入向量进行语义文本相似度分析。

以伊芙·卡莉先前的团队,虽然他们在先前用的是基于网络知识计算文本相似度的方法。

但本质上也只是将Wiki百科中的网页内容映射为高维向量,

再通过基于向量空间的方法进行语义文本相似度计算。

可以说依旧没能离开向量空间的壳子。

虽然四十年后,当年遇到的所谓的“空间和计算资源浪费”某种程度上可以通过硬堆计算力可以暴力解决。

但这仅仅是能解决当年遇到的难题而已。

现在文本处理时面对的信息量复杂程度和当年完全不可同日而语。

此时的向量化面对着全新的困难——维度爆炸!

维度灾难(又名维度的诅咒)是一个最早由理查德·贝尔曼在考虑优化问题时首次提出来的术语,用来描述当数学空间维度增加时,分析和组织高维空间(通常有成百上千维),因体积指数增加而遇到各种问题场景。

当在数学空间上额外增加一个维度时,其体积会呈指数级的增长。

这样的难题在低维空间中不会遇到。

比如物理空间很少会遇到这样的问题,毕竟物理上通常只用三维来建模。

说起来很神奇,尽管物理上很难遇到维度爆炸问题。

但在自然语言处理、机器学习方面维度爆炸是常有的事情。

在这一领域随便一点信息量都会轻而易举地突破三维。

其实在很多领域中,如采样、组合数学、机器学习和数据挖掘都有提及到维度爆炸的现象。

这些问题的共同特色是当维数提高时,空间的体积提高太快,因而可用数据变得很稀疏。

在高维空间中,当所有的数据都变得很稀疏,从很多角度看都不相似,因而平常使用的数据组织策略变得极其低效。

事实上伊芙·卡莉她们先前团队所应用的基于网路知识进行文本相似度衡量时。

如果直接对所有网页进行分析,往往会导致知识含量稀疏计算困难。

事实上,这种情况就是因为维度爆炸所导致的。

伊芙·卡莉很清楚现在这种利用向量引入到语义文本相似度的方法会带来维度爆炸。

林灰为什么突然询问她如何看到将向量引入到计算语义文本相似度呢?

莫非林灰真的有什么办法能够妥善处理维度爆炸这一问题吗?

可是在机器学习、自然语言处理方向的维度爆炸并不是那么容易解决的。

还是说林灰打算干脆绕过向量去衡量语义文本相似度吗?

喜欢穿越:2014请大家收藏:(www.2yq.org)穿越:2014爱言情更新速度全网最快。

穿越:2014最新章节 - 穿越:2014全文阅读 - 穿越:2014txt下载 - 猪熊的全部小说 - 穿越:2014 爱言情

猜你喜欢:我不是戏神重返1988破事精英3:CP精英双修至尊我的1992在延续渣男神豪,我能看见欲望词条深空彼岸华娱之实绩为王倚天之崆峒门徒官妻权欲:从乡镇到省委大院都市之医武至尊四合院从1953开始爸爸,求你,不要打我了重生官场:从京都下基层权利巅峰逼我重生当神豪是吧诸天影视从四合院开始钓鱼赶海,我有龙血自然拽小姨子变老婆国运:我召唤天庭三大反骨仔医路官途贼道重生金融大亨之美女如云美综1999四合院:开局抽奖,高级工程师终极一班之神谕
完本推荐:傲世九重天全文阅读绝世唐门全文阅读斗罗大陆3龙王传说全文阅读武炼巅峰全文阅读秦吏全文阅读这游戏也太真实了全文阅读一念永恒全文阅读史上最强赘婿全文阅读俗人回档全文阅读永夜君王全文阅读永不解密全文阅读我不是戏神全文阅读全职艺术家全文阅读超神机械师全文阅读剑王朝全文阅读全球高武全文阅读万界圆梦师全文阅读赘婿全文阅读穿越星际妻荣夫贵全文阅读快穿:我们负责回收盗版系统全文阅读
最近更新:被分手后,我反手契约白虎校花!朕乃天命大反派,开局怒斩重生女帝六零:开局拒绝扶弟魔,我逆天改命全民:转职按摩师,清冷校花求加钟重生领证前,娇小姐搬空家产随军每日一翻倍,从全民暴雨求生开始从侯府废柴到一字并肩王娘娘们别作妖,奴才要出手了陆总,太太要去父留子彼岸蓝调:少女的伤与愈修仙:从杂役开始模拟长生路被买回家当奶娘,夫君造反我成皇后了?试婚娇奴通天重生,镇压洪荒大道无情之问道冠军足球教练:从英乙开始顶级兽夫太缠人,绝美娇雌想出逃你亲手活埋,改嫁又痛悔难眠七零资本大小姐,掏空祖宅嫁军少宠疯了非正常武侠:别人练武我修仙塔拉末日列车,我靠囤货亿点点杀疯了带球科研!千亿大佬夜夜轻哄求公开喜报!资本家小姐来海岛随军了前世夫君来求娶,都重生了谁还嫁他异能觉醒,我不想宅斗很正常吧穿成恶毒雌性,俊美兽夫跪地求宠异世争霸,但有冷战末期科技年少的你是我心底的星光老公重生没选我?闪婚消防员爽翻了

穿越:2014最新章节手机版 - 穿越:2014全文阅读手机版 - 穿越:2014txt下载手机版 - 猪熊的全部小说 - 穿越:2014 爱言情移动版 - 爱言情手机站