AlphaGo、深度学习及SEO

AlphaGo、深度学习及SEO
1月28号，Nature杂志报道，Google旗下公司DeepMind（以前收购的）开发的一款名为 AlphaGo的人工智能，在2015年10月份以5:0战胜欧洲围棋冠军，老职业二段樊麾。一石激起千层浪，人工智能最难战胜人类的最后一个游戏，失守了，人工智能已经达到职业围棋水平了。

一时间，深度学习、机器学习、AlphaGo、神经网络等等这些概念铺天盖地。Google不是搜索引擎吗？这些东西和搜索，和SEO有什么关系？说说我的理解。

先声明一下，下面涉及的深度学习等概念，很可能我的理解和表述是非常粗浅的，甚至是错误的。虽然我也是理工出身的，所学专业听起来还挺艰深，微波与电磁场，但那是25年前的事啦。现在看技术内容只能稀里糊涂了解个大概了。想了解准确细节的读者，还是网上搜一下比较保险。

什么是深度学习？

深度学习（deep learning）是机器学习的（machine learning）一个分支领域。

多层人工神经网络（artificial neural networks）模拟接近了人脑处理信息时从低层到高层不断抽象化的过程。深度学习正是将低层特征分层抽象化为高层特征表达，原来的目的就是模拟多层神经网络。神经网络研究几十年了，沉寂了一段时间，近几年深度学习才又挖掘出其潜力。

深度学习的一个重要特点是，它不需要人工输入或标注特征，而是通过海量数据自动学习特征，也就是所谓无监督学习（unsupervised learning）。所以大数据和深度学习也搅合在一起。

深度学习另一个特点是与具体领域无关（domain independent），既可以用在围棋，也可以用在搜索或其他方面。所以才会有这篇帖子。

Google、Facebook、百度在深度学习领域都有很多进展，尤其是在人脸识别、图像识别、语音识别、翻译等方面。这方面报道挺多的。

深度学习用在搜索引擎上是个什么情况？

以前经典的搜索排名算法是由工程师选择用哪些页面特征（也就是排名因素）来排名，各个特征占多少权重，这些都是工程师决定并写在程序里的，然后测试效果，再修正。

以深度学习为基础的排名算法完全不是这么个过程。深度学习的方法是，用大量数据对程序进行训练，由程序自己学习应该用哪些特征来排名。换句话说，告诉深度学习排名算法，这些已知页面是高质量的，那些已知页面是低质量的，那到底高质量页面应该有什么特征呢？也就是面对新页面时该用哪些特征来排名？各种特征占多大比重？让算法自己琢磨去。

这些学习数据哪里来的？两个明显的来源可能是：

1）Google现有经典算法做测试时的数据。搜索引擎正式上线新算法前都会做测试的，给部分用户返回新算法结果，然后监测点击率、跳出率、停留时间、页面互动性、转化率、变换查询词率等数据，以判断新算法有效性。

2）Google有不少人工质量评估员，而且老早就有，他们会评测特定页面是高质量还是低质量。这些评估数据不直接影响所评估页面的排名，但会显示出算法有效性。这些数据简直就是现成的深度学习训练数据。去年11月Google刚刚公开了最新版本的人工质量评估指南，建议大家下载来看看。

现在问题来了，这种方法靠谱吗？

如前所述，深度学习算法就是个黑箱啊，完全不用人工告诉它找什么特征，而是它自己学习该找什么特征，会找出什么特征谁也不知道，有些特征可能人类压根儿不会想到。很可能以后搜索引擎工程师也不知道排名因素有哪些了，也不知道一个页面为什么会有好的排名。再想一遍：连搜索引擎工程师也不知道排名因素是什么。这和我们的常识、直觉是不是都有相当冲突了呢？

这么整，能行吗？

事实恰恰表明，能行。AlphaGo能战胜围棋职业二段，乍看起来，职业二段离人类顶尖高手还有很大差距。可换个角度想，这世界上能达到职业二段的人类有几个？记得前些天看报道，能赢职业二段的人类不超过1千个。


站长、SEO们，少说这世界上大概得有个几百万吧？所以我们就是普通人。现在告诉我们，判断我们页面质量的算法，其判断力目前是所有人类的前1千名，年底可能是所有人类前10名。这是什么感觉？这是有点绝望的感觉－－就别想着钻空子啦。

也许熊猫更新或企鹅更新就用了深度学习？

深度学习真的有这么厉害吗？

其实深度学习近两年已经取得不少以前不敢想象的成就。

2012年，Google Brain项目使用大量图片对神经网络进行训练，系统经过训练后能辨别出：这是一只猫。重要的是，没有输入猫长什么样这类信息，是系统自己“领悟”了猫这个概念。