前言

计算机读懂语言，在如今已经不是什么新鲜的事情了，不过你有没有想过计算机是如何读懂人类语言的呢？

自然语言处理 NLP 技术在当今变成了最具有挑战性也是最难攻破的人工智能技术之一。

接下来就聊一聊机器学习当中的自然语言处理 NLP 技术吧。

介绍

Nature Language Processing 简称 NLP，中文的意思是自然语言处理。但这个 NLP 并不是一种模式，也不是单单一种模型，他是由很多方式很多算法组合的一个综合体。传统的方法往往通过统计学的方式完成对语言的初级加工、应用。但是现在我们通常用深度学习的办法，想让模型去理解语言，然后基于这个理解产生不同的应用面。虽然当前的深度学习归根究底还是用的大数据，做的统计学的工作，但是它相比传统的统计学，能拥有更加深层次的语言理解能力。

应用

通过 Google 搜索 稀土掘金，搜索引擎能够准确地返回需要查询的答案；

以及和机器人进行对话，基本能够理解人的意思；

或者当你炒股，又或者你在做量化交易时，能读懂当前市场变化的语言模型或许也能帮上你的忙。计算机能够读懂语言的前提是：这种语言是一种可计算的物体。

理解

那机器应该如何去理解人类的语言呢？

众所周知，机器的底层是二进制，因此我们需要找到一种方式将我们熟知的中文，英文和各种外文转化成数字形式。

比如上图这些长度一样的数字串，这些数字具体的取值是怎样得来的，博主会在后期的博文中介绍，当前我们只需要了解计算机如果需要理解文字的内容，就必须将文字转换成某种数学表达形式，而一串数字绝对是最方便计算和转换的方式了。

自然语言处理中有一个典型的应用，就是翻译：

我们将一种语言作为输入，一种作为输出，使用 NLP 作为中间的桥梁，首先将英文通过一种压缩机制转码成机器能理解的数字，然后用中间这种数字化的语言表达形式，再通过一次中文的解压，解压出来中文作为输出语言。其实除了英翻中，同一套机制还能被用在更多的地方。只要我们保证这个中间态的数字表达形式是计算机能够理解并计算的，那么各种语言的转换就能都兼容起来。

当你想和计算机对话，计算机在收到你的语言信息后，会翻译成它能理解的数字内容，然后使用这些数字语言，通过一些处理分析，做出行为决策，最终返回人类的语言。一来一回，形成对话，解决具体问题。这就是计算机使用自己的语言和我们交流的一种方式。

可以想象，目前的网络中，存在的都是以人类语言为主的信息源，但是在未来，机器学习，AI 系统，将要占据网络通讯的绝大部分。

那个时候，我们的互联网可能就会存在特别多只有机器才能看懂的语言，大多数时候也可能是机器在和机器对话，而不是人和人。因为我们更习惯于把不重要的事物交给机器来完成，由他们来当我们的管家，帮我们订机票，定餐馆，完成一些重复性工作，释放我们人类可贵的注意力和价值。

后记

以上就是 【NLP】入门（一）：简介 的全部内容了。

回顾历史，人类创造了语言，使得信息得以流传，使得人类社会更加紧密。而现在我们使用自然语言处理技术，让人类也能和非生命体的计算机交流，让它们替我们完成脏活累活。但这并不是技术的天花板，未来的自然语言处理必定会突破语言学的屏障，铸就计算机自己的语言，使它们彼此之间也能交流，那天也就真正开启了人工智能时代。