百度为何开源深度机器学习平台？

5月20日，百度在github上开源了其深度机器学习平台。此番发布的深度机器学习开源平台属于“深盟”的开源组织，其核心开发者来自百度深度学习研究院（IDL），微软亚洲研究院、华盛顿大学、纽约大学、香港科技大学，卡耐基·梅陇大学等知名公司和高校。

 

通过这一开源平台，世界各地的开发者们可以免费获得更优质和更容易使用的分布式机器学习算法源码，从而大幅降低开发和部署分布式机器学习系统及相关应用的门槛。包括今日头条、汽车之家等在内的多家公司已经通过该开放平台受益。

 

作为在人工智能布局较早的玩家，百度拥有领先业界的实力。从2013年百度深度学习研究院（IDL）的创建及2014年Andrew Ng的加盟至今，百度DMLC分布式深度机器学习开源项目（简称“深盟”）已在深度学习的多个应用领域做过探索，上线了如xgboost（速度快效果好的Boosting模型）、CXXNET（极致的C++深度学习库）、Minerva（高效灵活的并行深度学习引擎）以及Parameter Server（一小时训练600T数据）等产品，在语音识别、OCR识别、人脸识别以及计算效率提升上发布了多个成熟产品。

 

而具有一系列领先优势的百度却选择开源其深度机器学习平台，为何交底自己的核心技术？

 

深思之下，却是在面对业界无奈时的远见之举。

 

拥抱世界：开源的魅力

 

开源，顾名思义，就是开放自己的源代码给别人查阅和使用，尽管看起来很傻，然而诸多历史事实却告诉我们拥抱世界也能让世界拥抱你。

 

Android的逆袭就是明证，在iOS侵占绝大多数智能手机操作系统的时代诞生，Google选择开源，让早已在苹果面前没有机会的业界见到了希望，至今Android已拥有过半的市场份额，以至于在移动互联网大行其道的今天，Google可以凭借它与旗下产品的整合打造属于自己的强大生态系统。相比之下，生而娇贵的Windows mobile的故事够令人发醒的，终于微软也不得不寄人篱下地去兼容Android和iOS平台应用。此外，作为微软最主要的应用程序框架，微软对.net寄予厚望，希望它的开源可以来到所有平台，进而重现JAVA的光辉历史。这也证明了即使强大如微软也无法凭借一己之力让其产品得到世界的拥抱。

 

众人拾材火焰高：用平台笼络世界的力量

 

要实现人工智能，机器必须具备自主学习能力，深度学习作为机器学习领域的重大突破，可以完成具有高度抽象特征的人工智能任务，如自然语言理解等复杂场景，因而备受业界追捧。当然，机器学习领域并不只是有深度学习这一种算法的存在，然而深度学习却有着显著的优势：在数据集足够大的情况下，深度学习拥有最好的预测能力。尽管在算法的选择上仍然存在“杀鸡焉用宰牛刀”的争论，但深度学习算法为人工智能领域注入的强大能力却是其他算法无以比拟的；同时，随着深度学习技术的成熟，诸多传统机器学习算法的淘汰几乎是必然的。然而正如前述，深度学习对大量数据的需求及其本身的复杂性仍然是其发展壮大路上的最大阻碍，也是业界的无奈所在。

 

百度在此领域发力较早，且在诸多方向上进行了深入的研究，利用深入学习结合自身搜索引擎的大数据让机器翻译及自然语言等技术实现了新的飞跃。然而在面向更广大更具体的应用场景时，任何一个公司都难以满足所有需求。借鉴历史，开放共赢不仅可以把事情做的，也让业界和生态系统得到健康发展。

 

百度此次开源也是完全奔着建平台去的。完全采用C++语言搭建核心，为平台的稳定高效运行奠定了基础；覆盖了三类最常用的机器学习算法，包括用于点击预测的稀疏线性模型、用于排序的决策树模型以及深入学习，满足了最广大的需求；重点开发的“虫洞”项目将自动构建深盟所有项目，为所有组件提供一致的数据流支持且提供包括Amazon EC2，Microsoft Azure, Google Compute Engine在内的云计算平台兼容支持，降低平台的准入门槛。

 

开源并入驻Github也进一步强调了其开放的心态和对平台的信心。一系列的动作都是希望让开发者可以获得更优质更容易使用的深入学习算法源码，降低开发和部署深入学习系统及相关应用的门槛，进而利用世界的力量壮大自身。

 

面对可预料的爆发，技术一定程度上渐发成熟，但也因为各自的技术基因和路线差异，面临着极大的分裂倾向。开放的心态拥抱世界，打造机器学习领域的国际标准，百度的此举既是对前期研究投入的回收保障，更是携手笼络友商，确保自身的话语权所在。