维度爆炸也叫维度灾难。
有些神秘主义者还喜欢将其称之为维度的诅咒。
关于维度爆炸这一问题最早是由理查德·贝尔曼在考虑优化问题时首次提出来的术语。
这个词语最开始是用来描述当数学空间维度增加时，分析和组织高维空间（通常有成百上千维），因体积指数增加而遇到各种问题场景。
当在数学空间上额外增加一个维度时，其体积会呈指数级的增长。
这样的难题在低维空间中不会遇到。
比如物理空间很少会遇到这样的问题，毕竟物理上通常只用三维来建模。
说起来很神奇，尽管物理上很难遇到维度爆炸问题。
但在自然语言处理、机器学习方面维度爆炸是常有的事情。
在这一领域随便一点信息量都会轻而易举地突破三维。
其实在很多领域中，如采样、组合数学、机器学习和数据挖掘都有提及到维度爆炸的现象。
这些问题的共同特色是当维数提高时，空间的体积提高太快，因而可用数据变得很稀疏。
在高维空间中，当所有的数据都变得很稀疏，从很多角度看都不相似，因而平常使用的数据组织策略变得极其低效。
事实上伊芙·卡莉她们先前团队所应用的基于网路知识进行文本相似度衡量时。
如果直接对所有网页进行分析，往往会导致知识含量稀疏计算困难。
事实上，这种情况就是因为维度爆炸所导致的。
伊芙·卡莉很清楚现在这种利用向量引入到语义文本相似度的方法会带来维度爆炸。
林灰为什么突然询问她如何看到将向量引入到计算语义文本相似度呢？
莫非林灰真的有什么办法能够妥善处理维度爆炸这一问题吗？
可是在机器学习、自然语言处理方向的维度爆炸并不是那么容易解决的。
还是说林灰打算干脆绕过向量去衡量语义文本相似度吗？
伊芙·卡莉虽然不知道林灰为什么突然这么问。
但这种有可能得到林灰提点的机会，伊芙·卡莉怎可能轻易放弃。
伊芙·卡莉先是给林灰陈述了一下当前西方在计算语义文本相似度的时候向量通常客串的角色。
而后伊芙·卡莉才正式开始回答林灰先前问她的问题：
“引入向量后才能使得机器更方便的处理语义文本的信息。
如果不引入向量的话在处理语义文本相似度的时候我们能选择的方案很少。
而且不引入向量的情况下，我们在计算语义文本相似度所选择的方案多多少少都有点LOW。
比如说，基于字符串的方法，这种方法都是对原始文本进行比较。
主要包括编辑距离、最长公共子序列、N-Gram相似度等来进行衡量。
就以编辑距离来说吧，其衡量两个文本之间相似度的根据是依据两个文本之间由一个转换成另一个所需的最少编辑操作次数。
这种算法界定的编辑操作包括增加、删除、替换三种。
最长公共子系列是根据……
这套衡量标准甚至有点像Microsoft Word格式来衡量一般。
基于字符串的方法虽然原理简单、实现方便。
但这种方法没有考虑到单词的含义及单词和单词之间的相互关系。
涉及到同义词、多义词等问题都无法处理。
目前很少单独使用基于字符串的方法计算文本相似度。
而是将这些方法的计算结果作为表征文本的特征融入更加复杂的方法中。
除了这种方法之外，还有……”
林灰对于这些也是了解一些的。
他只是想通过伊芙·卡莉之口判定一下这个时空的研究到底是什么进展的。
基于字符串通过编辑操作、最长公共子系列的方式衡量语义文本相似度确实有点低端。
但低端不等于没用，不能因此就说这种算法没价值。
设想一下，如果文本识别领域取得突破的话。
把界定文本相似度的判断方法和文本识别算法结合在一起的话。
反而是基于字符串判定文本相似度这种方法最为贴切。
毕竟这种基于字符串的判别方法和计算机视觉的直观逻辑形式最为接近的一种。
事实上文本识别算法在后世同样是很寻常的技术。
甚至于随便一个聊天软件的截图工具都能很好的胜任文本识别的任务。
而现在这个时空哪怕一些专门打出文本识别为噱头的软件。
实际上进行的工作只是扫描文稿转成PDF而已。
涉及到实际的文本识别效率低的一批。
林灰感觉似乎又无意间发现了一个商机。
虽然是发现了一个商机，也不适合现在去做。
毕竟涉及到文本识别这方面还是跟计算机视觉这个领域有关系的。
所谓的计算机视觉说白了就是让机器看东西。
这个算是人工智能的一个领域。
这个领域的研究是为了让计算机和系统能够从图像、视频和其他视觉输入中获取有意义的信息。
根据这些信息机器采取行动或提供建议。
如果说人工智能赋予计算机思考的能力。
那么计算机视觉就是赋予发现、观察和理解的能力。
计算机视觉虽然不能说多么复杂吧。
但起码门槛比自然语言处理要高得多。
显然不适合林灰现在掺和。
不过林灰有耐心，林灰默默地将这件事放在了心里。
林灰觉得不能目光太短浅。
有些东西虽然现在看起来很鸡肋。
未必就代表长远角度没有用途。
心念及此，林灰突然觉得很庆幸。
重生之后，前世的经验让其游刃有余。
另一方面，重生带给他让他受益的就是思维上的改变。
涉及到很多事物林灰都会下意识地考虑到长线价值。
甚至不经意间会考虑到十年二十年之后的事情。
有这种长线思维方式。
林灰觉得假以时日他一定能走到一个鲜有人企及的高度。
但这些想法就不足为外人道也。
虽然就基于字符串评价文本相似度的方法和伊芙·卡莉有些分歧。
但林灰并没有表露出来，学术上的交流很多时候也只是求同存异而已。
喜欢穿越：2014请大家收藏：(www.jubiquge.com)穿越：2014笔趣阁更新速度全网最快。