暗知识—机器如何颠覆传统社会

贺宇飞

知识真是个奇妙的事物，明知识可意会可言传，是语言表达和数学分析能力，而默知识则让我感觉到奇妙，骑自行车的人没有学习手册，只能靠亲身体会才会学会它，这需要一种探索，技术类知识大致如此。

我对默知识“引爆点”这个概念特别感兴趣，为什么白人社区的非裔黑人达到20%会让白人纷纷迁移呢？

我同意语言文字所能描述的内容有限，这是明知识的限制，语言文字相比视频和图片，能显示的内容实在太少了，而且会有偏离。

大西洋月刊介绍的RS Metrics公司的两位创始人发现，通过调取卫星图像可以分析出一个工厂停了多少辆车、有多少员工私家车以及原料仓储情况，他们由此得到启发，将麦当劳、沃尔玛等门店三年内所有的卫星图像做了收集和分析，最终发现停车场车辆的数量走势能很精准的预测这些公司的收入。

明知识就像冰山浮出水面的一角，默知识就是水下巨大的冰山。

这不也正是对应了意识和潜意识吗？

相比于潜意识，意识掌握的信息量太匮乏了，但人又岂能与机器相比，一台汽车可以瞬间教会100万辆汽车自动驾驶，显然人类并无此功能，海量的信息只能在机器与机器间快速传播。

相比于机器，人的效率实在是太低了。

暗知识：对亚里士多德来说，量子力学就是暗知识，对古代人来说，飞机就是暗知识，因为没有经验基础。

暗知识的传播就是网络以光速传给其他同类机器。机器在医疗、飞行等领域完败人类，准备系好安全带进入暗知识的汪洋大海了吗？

早期的机器专家输入人的指令只能按照人的经验办事，因为有些默知识是不能通过指令输入机器的，所以80年代后，这些机器专家都偃旗息鼓了。

机器的四大学派，一是符号学派：建立逻辑决策树，用某一逻辑假设去推算结果，看结果是否与现实符合（比如医生带实习生用的就是这种决策树，用决策推出是的结果）如果不是，再换个逻辑假设继续推算。

这就是“有因必有果”！

但贝叶斯学派发问了，有因就一定有果吗？感冒就一定引起发烧吗？所以承认因果，但不确定，有概率性！

现在告诉你一个艾滋病人检查结果呈阳性的概率是99%，也就是只要你是艾滋病人，检查结果基本都是阳性。还告诉你，人群中艾滋病患者大约是0.3%，但所有人中查出阳性的人有2%。现在问得艾滋病的概率多大？你的直觉反应可能是，要出大事了！现在我们看看贝叶斯定理怎么说。

贝叶斯定理如下：

P（得艾滋病|检查呈阳性）=P（得艾滋病）×P（检查呈阳性|得艾滋病）/P（检查呈阳性）=99%×0.3%/2%=14.85%

也就是说即使他检查呈阳性，他得病的概率也不到15%！

这个结果非常违反直觉。原因在哪里呢？在于人群中查呈阳性的概率远大于人群中得艾滋病的概率。

这主要是由于检测手段不准确，会“冤枉”很多好人。所以以后不管谁查出了什么病呈阳性，你要问的第一件事是检查呈阳性和得病的比率有多大，这个比率越大就可以越淡定。

贝叶斯定理告诉我们的基本道理是：一个结果可能由很多原因造成，要知道一个结果是由哪个原因造成的，一定要先知道这个原因在所有原因中的占比。

“知识”是知道当一个结果发生时是哪个原因造成的。这个知识被清晰地表达为一个条件概率。机器通过统计每种原因的占比来算出从结果到原因的概率。

类推学派，他们的逻辑很简单：第一，两个东西的某些属性相同，它俩就是类似的；第二，如果它们的已知属性相同，那么它们的未知属性也会相同。

开好车上班的人可能也会用苹果手机，喜欢看《星球大战》（Star Wars）的人可能也会喜欢看《三体》等。

在类推学派中最基础的算法叫最近邻法。最近邻法的第一次应用是1894年伦敦暴发霍乱，在伦敦的某些城区每8个人就会死1个，当时的理论是这种疾病是由一种“不良气体”造成的。但这个理论对控制疾病没有用。内科医生约翰·斯诺把伦敦每个霍乱病例都标在地图上，他发现所有的病例都靠近一个公共水泵。最后推断病因是这个水泵的水源污染，当他说服大家不要再用这个水泵的水后，疾病就得到了控制。

在类推学派中，第一件事是要定义“相似度”。相似度可以是身高、收入等连续变量，也可以是买了某一类书的次数的统计变量，也可以是性别这样的离散变量。

暗知识就是那些既无法被人类感受又不能表达出来的知识。也就是说人类本身无法理解和掌握这些知识，但机器却可以。机器有两种方法可以掌握这些知识：模仿人脑和模仿演化。

联结学派的基本思路就是模仿人脑神经元的工作原理：人类对所有模式的识别和记忆建立在神经元不同的连接组合方式上。或者说一个模式对应着一种神经元的连接组合。联结学派就是目前最火爆的神经网络和深度学习，它在五大学派中占绝对统治地位。目前人工智能的高科技公司中绝大部分是以神经网络为主。

进化学派的基本思路是模仿自然界的演化：随机的基因变异被环境选择，适者生存。他们的做法就是把一种算法表达成像基因一样的字符串，让不同的算法基因交配，让生出来的儿女算法去处理问题，比爸妈好的留下来配种继续生孙子，比爸妈差的就淘汰。

进化算法的问题是“进化”毫无方向感，完全是瞎蒙。在前面的垃圾邮件过滤器例子里，1 000比特的字符串的所有可能性是21000，也即10300，即使用目前世界最快的超级计算机，“进化”到地球爆炸都不可能穷尽所有可能，在有限时间内能探索的空间只是所有可能空间的极少一部分。地球可是用了40亿年时间才进化出了现在所有的生物。

机器学习中的符号学派、贝叶斯学派、类推学派和联结学派的共同点是根据一些已经发生的事件或结果，建立一个预测模型，反复调整参数使该模型可以拟合已有数据，然后用此模型预测新的事件。不同的是它们各自背后的先验世界模型。符号学派相信事物间都有严密的因果关系，可以用逻辑推导出来；贝叶斯学派认为，因发生，果不一定发生，而是以某个概率发生；类推学派认为，这个世界也许根本没有原因，我们只能观测到结果的相似，如果一只鸟走路像鸭子，叫起来像鸭子，那么它就是只鸭子；联结学派认为，相似只是相关性能被人理解的那层表皮，隐藏的相关性深邃得无法用语言和逻辑表达；最后进化学派认为，什么因果？什么相关？我的世界模型就是没有模型！从零开始，不断试错，问题总能解决！

1943年，心理学家沃伦·麦卡洛克（Warren McCulloch）和数理逻辑学家沃尔特·皮茨（Walter Pitts）提出并给出了人工神经网络的概念及人工神经元的数学模型，从而开了人类神经网络研究的先河。

世界上第一个人工神经元叫作TLU（Threshold Linear Unit，即阈值逻辑单元或线性阈值单元）

1957年，一个开创性的人工神经网络在康奈尔航空实验室诞生了，它的名字叫作感知器（Perceptron），由弗兰克·罗森布莱特（Frank Rosenblatt）提出，这也是首次用电子线路来模仿神经元。

当我们输入第一张图片时，我们可能站在一个随机的位置，例如某一座山峰的山顶或半山腰，我们的任务就是走到最低的一个谷底（误差最小）。我们此时相当于在大雾中被困在山里只能看见眼前的山坡，一个最笨的办法就是“最陡下降法”：站在原地转一圈，找到一个最陡的下山方向往这个方向走一步。在这个新的位置上，再转一圈找到最陡的下山方向再走一步，如此循环，一直走到山脚为止。

有了上面的基础，我们现在就可以理解为什么AlphaGo这么厉害。围棋棋盘有19×19=361个交叉点，每个交叉点可以二选一：白子或黑子。这样所有的摆法就是2361，或者10108。

一位棋手即使每天下2盘棋，50年内天天下，一生也只能下36 500盘棋。下棋的终极目标相当于在群山中找到最低的谷底（对应于最理想的走法）。如果所有可能的走法是绵延几千里的群山，人类棋手2 000年来就相当于一直在同一个小山坳里面打转转。

第一位棋手偶然的棋路会影响他的徒弟，以后的徒子徒孙都始终在这个小山坳附近徘徊。而机器学习像个“神行太保”，以比人快百万倍的速度迅速扫遍群山，很快就能找到一个远离人类徘徊了2 000年的更低的山谷（可能还不是绝对最低，但比人类徘徊处低）。这也是连棋圣聂卫平都连呼“看不懂”AlphaGo棋路的原因。

这个原理可以用于解决许多类似的问题。这类问题的特点是变量非常多，可能解是天文数字，例如经济和社会决策、军事行动策划等。

A点和B点的一维函数。当下山走到A点时，只要每次的步伐不是特别大，不论往左还是往右再移动，总是会回到A点。这在数学上叫“局部最小值”，而B点才是“全局最小值”。

但是如果我们从一维扩展到二维，就有可能从一个“局部最小值”中逃逸。

假设函数1是一个沿X轴切下去的一维函数，A点就是函数1的一个“局部最小值”。如果一个小珠子只能沿着X轴滚动，就会陷在A点出不来。但在图中的二维曲面上，小珠子只要沿着Y轴方向挪动一点，就到了C点，而从这个C点出发就能到达整个曲面的“全局最小值”B点。当误差函数的维数增加时，这种从“局部最小值”逃逸的机会就会增大。我们无法画出三维以上的图像，但我们可以想象每个“局部最小值”附近都有许多“虫洞”可以方便逃逸。维数越高，这种虫洞就越密集，就越不容易陷在一个“局部最小值”里。

有两个最小的海拔高度0和5，但是无论从哪一边开始下山，每走一步的话，都会被困在高度5这个“局部最小值”里出不来，无法走到“绝对最小值”0。

维度越多，在某一个维度到达“局部最小值”后，可以选择的其他维度和路径就越多，因此被困在“局部最小值”的概率就越低。

这个“雾里下山”要想下到山谷最底点，就要从高维度去思考问题，不然容易走进死胡同。就像过马路，在二维的平面上，怎么设计都会出现红灯的情况，如果在三维的系统下，局面就一下打开了。

目前人工智能和机器学习制造的奇迹，从下围棋到自动驾驶再到人脸识别，背后全是卷积神经网络。能知道卷积神经网络的工作原理，你就和周围大部分读了几本人工智能的书的人不是一个档次了。

一幅图像的信息量很大，但不管是风景还是人物，画面上总有大部分区域没有什么变化，像天空。引起你注意的东西往往都是一小块，例如人的眼睛、天空中的鸟、地上的花。

以人脸识别为例，要识别一个人，先要抓住他的特征，比如浓眉大眼高鼻梁。第一步就是把五官找出来。其实警察抓犯罪嫌疑人早就用了这一招。警察局的画师会问目击者犯罪嫌疑人的性别、年龄、身高、种族等，然后问目击者犯罪嫌疑人的五官长什么样，目击者能描述的五官种类非常有限，大眼睛、小眼睛，最多加个单眼皮、双眼皮、高鼻梁、塌鼻梁，根据目击者的描述画师画出一幅人脸，然后目击者再说眼角朝下，没这么大，画师再不断改，直到目击者觉得和记忆基本相符。人脸那么复杂根本无法用语言描绘，但如果变成五官的组合描绘起来就简单多了。假设每个五官都能分10种，就能组合出1万种脸来，再加上年龄、性别、种族就能组合出几十万张脸，这样把从70亿人中找一张脸的任务就分解成了从10种眼睛中找出一种眼睛，再从10种鼻子中找出一种鼻子这样简单得多的任务。

我现在可以告诉你什么叫“卷积”，上面说的小模板把图片上下左右横扫一遍发现重合度的过程就叫卷积。

就像你喝啤酒的时候都是咕嘟灌进肚子，无法精确计算每一口的量是多少，这种连续性的信息称之为“空间信息”，卷积网络只能处理固定的量，不分先后连续的量它是无法处理的。

无论是卷积网络和现在的循环网络都没有脱离“专家系统”的局限性，机器的未来还有好一段要走，但我想这对人类真的是好事吗？机器未来是否会取代人类？

用下围棋举例子还是很有意思的，人生就是棋局，有无数的选择，谷歌狗通过与自己对弈百万盘让自己进化打败了李世石，最后打败柯洁，那人的一生有多少试错的机会，自己打败自己？我想到孙正义的成功，他人生的每一步都是最优解啊！而大多数普通人呢！恐怕只想着眼前还未必去做，所以我对机器知识更加感兴趣了。

柯洁说的那句话，“人类下了2 000年围棋，连边儿都没摸着”。

细思极恐，机器的学习能力和速度真是太可怕了，谷歌让人类看到了自己的局限，难怪聂卫平感慨万千的说GO是神。

真羡慕研究型大学能学习机器知识的大学生，相比他们，我们已经被困在孤岛上了，我昨天在不惑之旅看到用法语读故事书的有钱人家的孩子，才知道自己的浅薄，我们被甩了多少个维度啊！

分类的重要性：

在营销上面可以根据人群的不同属性将其划分成不同人群进行精准营销；

在社交媒体上面，可以根据人们之间的互动次数，划出每个人的朋友圈子；

在医疗诊断上面可以根据不同症状之间的相关性更精确地预测还未发现的疾病等等。

而那种不准确的营销带来的效率低也是显而易见的。

GAN减少深度学习训练所需的数据量的方法是：

从少量的已有数据出发去创造出更多的新的标注数据——多数情况下是图像数据。

这段话提醒了我，当代信息量庞大无比，不标注就会丢失信息，信息量的庞大难以搜索，需要搜索引擎，这种数据化的思维模式我是倡许的，所以我需要“算法”。

生成网络和鉴别网络看起来是个简单的程序回路，但对人类的意义是深远的，就比如说一个人可以采取热情和冷漠的两种态度对待别人，对我个人来说，冷漠不是最优解，如果我的鉴别系统不能鉴别冷漠的危害，那这个鉴别系统就应该升级，生成情绪的系统和鉴别系统互相对抗，这个人的成长就比一般人强很多。

可是很多人并不是按照最优解办事，他们根本没有考虑这方面的问题，由此可见他们的命运。

可以把这个过程想象为一个警察和假币伪造者之间的比拼，伪造者想把假币做得像真的，警察希望看到任何钞票时都能鉴别出真伪。两个对抗网络也在彼此学习，也就是说，当一个网络努力去鉴别假币时，另一个网络就能把假币做得越来越真。说到底就是提假设，这在商战中也是常见的。

GAN可以填补缺失的数据，自行制作完全“臆造”的病患数据，而这些数据在用于训练AI时和真实数据同样有效。

相比判别模型（例如CNN），生成模型更厉害的原因如下：

（1）能够从数据中识别并表现出隐藏的结构，例如三维物体的旋转、光强、亮度或形状等概念。

（2）能够想象世界“可以是什么样”，而不是仅仅展现世界“已经是什么样”。

（3）通过拟合并生成近似真实的场景，可以预见未来。

机器学习是有局限性的，会学习图片的相关性，如果用一个相关性，比如白色的狗来训练机器，程序会得出白色=狗的过度拟合的结论，让人联想到特斯拉自动驾驶汽车。

由于道路交通状况的复杂性，各种交通指示标志的多样性，想把所有的道路交通场景都训练到显然是不可能的。2016年特斯拉第一起自动驾驶致死的事故也和这个原因有关。

金字塔的下层对上层有依赖性，但反之不成立。也就是说上层是驱动力，是自变量，下层是驱动结果，是因变量。金字塔的宽度大致对应市场规模和公司的数量。所以越上层对整个行业的影响越大但市场规模越小，越下层市场规模越大但影响越小。

互联网的技术很简单，只要有一台显示终端、电话线和提供信息的计算机就可以搞互联网了。

目前开源社区的公约大多使用“Apache2.0协议”。这个协议的主要规则如下：任何人都可以使用Apache 2.0协议许可下的软件，并且可以用于商业；任何人都可以任意修改原有的软件，并将修改后的软件申请商标和专利，但修改的软件必须注明使用了Apache 2.0的许可，必须明确标示修改的部分。

设想远古两个邻近的部落，第一个部落里面的所有人都很自私，另一个部落里面有些人愿意为大家冒风险和做事，第二个部落的合作能力和战斗力就会比第一个强，两个部落发生战争时第二个部落就会把第一个部落消灭了。

那些“纯自私”的人的基因就无法遗传下来，而获胜存活下来的基因中就会有利他成分。

底层公司拼营销，高层公司才拼技术。影射来看，如果是与周围人条件相仿、技术水平相当，与其把精力一心放在提升技术，不如注意把控趋势、营销自己这个品牌？

最有代表性的就是世界上几大科技和互联网巨头：

谷歌、Facebook、亚马逊、微软、IBM、百度、阿里巴巴、腾讯等。

这些巨头可以分为三类：

第一类是掌握大量用户数据的互联网公司；

第二类是微软和IBM这样的技术公司；

第三类是华为、小米等这类缺乏数据，但有应用场景，又希望通过AI提升自身产品的公司。

第一类公司首先在自己的数据上全面使用AI技术，例如图片搜索、用户行为预测、智能推荐等。

第二类公司则希望打造AI云计算让客户使用。

第三类公司积极和前两者进行合作，或快速将它们的AI开源能力运用到自身的产品中。

2018年初，谷歌发布全新的“自动机器学习云”（Cloud AutoML），不会用谷歌编程框架或任何编程框架的人也可以创建机器学习模型，用户只需上传数据便能自动创建机器学习模型，包括训练和调试。目前已经有上万家企业使用谷歌的自动机器学习云服务。

华为在通信设备、移动终端领域有领先优势，虽然该公司很早就部署了AI，但是在AI技术上整体还是大幅落后于谷歌、百度这类公司。

大公司既有技术又有数据，那新创公司怎么活？

简单来讲，新创的AI公司要进入大公司不占有数据优势的那些垂直的行业。这样的行业又可以分为两类：

一类是新兴领域，以前完全没有人做，一切从头开始；

另一类是原有行业，例如金融、保险、能源等。

新创公司进入第一类行业最容易，因为大公司通常不会进入一个全新的、市场还未知的领域，自动驾驶和人脸识别都是这样的新兴领域。

要么自己建研发队伍，要么收购最好的自动驾驶软件公司，目前几乎所有的一线国际大车厂都已经这么做了。

特斯拉率先推出自动线道保持功能，使驾驶员开车时可以不扶方向盘。这个线道识别技术最初是以色列公司Mobileye提供的，其他使用Mobileye方案的汽车厂家按理说都可以推出这个功能但却没有，因为这个功能风险很大。传统车厂的中高层经理打死都不会签字发布这个功能，后来也确实出现了交通事故的例子。特斯拉发布这样的功能极可能就是老板自己拍的板，因为除了利益之外，创始人天天泡在产品上，对细节非常了解，拍板时心里多少有数。一个新功能谁都无法打包票，不冒这样的风险就无法在自动驾驶技术上领先，无法领先新创公司就存活不下去。而传统大公司的CEO都是职业经理人，对某个具体功能不可能了解得那么细，要依赖一层一层的建议，如果下面没人愿意担这个风险，CEO就不敢随便签字。传统大公司的第二个问题是激励机制无法和新创公司比。大公司那点奖金和期权没法与创业公司的期权比（如果成功），大公司内部的人事斗争和协调成本都会把那些智商高的技术天才吓跑，即使招来也会气走。传统车厂有资金、渠道，甚至也掌握了相应的技术，由于上述种种原因也只能眼睁睁地看着特斯拉这样的公司冒出头来把它们甩得越来越远。

如果说算法是AI引擎的设计，算力是引擎的马力，数据是引擎的燃料，那么让我们分别看看这些技术推动力的发展。

数据的增加基于传感器或存储器越来越便宜，几乎所有传感器和存储器的成本都是由芯片成本决定的。当芯片集成度提高，芯片需求量增大时，传感器和存储器的成本会大幅度下降，更多的传感器会产生更多的数据。

从市场看，目前受到AI冲击的传统行业还很少，大部分行业还没有开始被改造、被颠覆，因为AI从业者都在忙乎进入那些没有传统巨头的行业，例如人脸识别和自动驾驶。

从市场看，目前受到AI冲击的传统行业还很少，大部分行业还没有开始被改造、被颠覆，因为AI从业者都在忙乎进入那些没有传统巨头的行业，例如人脸识别和自动驾驶。

通用汽车公司在2016年宣称以10亿美元的估值收购了位于旧金山的Cruise Automation，以后所有的自动驾驶公司都以这次收购作为自己估值的对标。所有投资自动驾驶公司的投资者都赌自己投资的公司也会被高价收购。

我们如何判断一家AI创业公司的价值呢？首先，应该看是否能够拿到别人拿不到的数据。做到这一点很难，你能拿到的数据别人通常也能拿到。如果不能独占数据，那就要看有多大先发优势。如果进入一个行业早，通过快速迭代，让自己的模型在这个行业中变得有用，就可以得到更多的数据和资源，后进者即使拿到同样的数据，模型质量差也打不进去。其次，要看该企业对所进入行业的独到理解和业务开发、落地能力。当然如果能够针对本行业在算法上有突破，就能够大大提高进入壁垒。

我以前认为网上冲浪不过是个娱乐，现在已经影响到千家万户，思维的局限让我们不能看到更远。

这些走在技术前沿的创业者是我钦佩的人，他们做了让我做了认为正确的事情，而工程师包括现在的我也不过是在开源框架内，该怎么突破？这是我问自己的问题。

摄像头+毫米波雷达是半自动和自动驾驶车辆最基本的配置（少了任何一个都不行），也是目前（2018年）特斯拉所有车型的标准配置。

除了摄像头、毫米波雷达和激光雷达这三个传感器之外，几乎所有半自动和自动驾驶的车都用声呐。声呐能探测的距离很近，只有几米，主要用于停车、倒车时的防撞提醒。

一个科学研究的过程可以分为以下几个步骤。

（1）提出问题或选择要解决的问题。

（2）学习研究关于这个问题已经发表的研究文献。

（3）根据研究文献和研究者的经验提出假设。

（4）设计验证假设的实验。

（5）进行实验和整理实验数据。

（6）根据实验结果判断假设是否成立。

（7）如果假设不成立，返回第（2）步或第（3）步，提出新的假设。

只学一个诗人的诗是找不到感觉的，只学习一个老师的知识也是不全的，要学会触类旁通，不断试错。

以下是一部分最难被取代的工作，它们未来被取代的概率如下：

（1）考古学家，0.07%。

（2）心理咨询和毒瘾治疗工作者，0.3%。

（3）职业病理疗师，0.35%。

（4）营养师，0.39%。

（5）医生特别是外科手术医生，0.42%。

（6）神职人员，0.81%。

这些难以被AI取代的职业的一个特点是需要有对人类情感和精神的理解。这是目前的AI完全无法做到的。

呵呵，既然我在科技领域已经落后了，那我就走精神领域吧！

妇女在工业时代的社会地位比农业社会高是因为机器取代了肌肉，女人可以和男人一样灵巧地操纵很多机器。在信息时代女性的地位进一步提高，因为信息时代彻底抹平了工作对肌肉的依赖。而在未来的智能时代，机器长于逻辑弱在情感，让女性比男性有了明显的优势。