打开主菜单
查看“追赶世界开源潮流，国产深度学习框架迎来集中爆发”的源代码
←
追赶世界开源潮流，国产深度学习框架迎来集中爆发
因为以下原因，您没有权限编辑本页：
您所请求的操作仅限于该用户组的用户使用：
用户
您可以查看与复制此页面的源代码。
{{4}} 文|吴俊宇 1999年，当时42岁的著名的计算机程序员埃里克·史蒂文·雷蒙德（Eric S. Raymond）在自由软件的范畴下提出了Open Source开源软件概念。 他有一个观点是，“足够多的眼睛，就可让所有问题浮现。”（Given enough eyeballs, all bugs are shallow）。 这个名为“林纳斯定律”的观点对开放源代码运动影响极大。 简单解释，只要有足够的测试员及共同开发者，所有问题都会在很短时间内被发现，而且能够很容易被解决。 近年来，深度学习推动着AI技术和产业发展浪潮迭起。然而，随着技术的不断前进和应用的大规模增长，产业开发者们面临的挑战也日渐突出：数据量越来越大，动辄上 TB；模型越来越复杂，模型参数也越来越多…… 而另一方面，随着国内产业互联网、产业智能化进程及“新基建”的步伐进一步深入，产业界对于AI的需求不断扩张。 AI落地过程中必然会涉及到更多场景。这些场景或许和工业有关，或许和农业有关，或许和交通有关，或许还与智能城市建设有关，但都需要企业和开发者们深入其中，根据数据、计算、部署场景、硬件解决方案等不断调教算法。 挑战越来越大，需求越来越多，称手的AI开源工具，特别是作为底层核心的开源深度学习框架/平台，对于在AI落地应用过程中冲在最前方的那些产业开发者而言，重要性再度凸显。 本周之内，早已在AI开源领域深耕多年的百度打头，华为为代表的的ICT企业、旷视为代表的AI初创企业跟进，在一周内先后升级或者开源了自家的深度学习框架/平台，国产深度学习框架/平台迎来一轮密集爆发。 越来越多的国产眼睛，正在凝视深度学习框架/平台开源的战场。 [[文件:kaiyuanchaolou01.png]] 在这轮经济周期中，每家企业都是“新基建”的齿轮。各自的深度学习框架/平台开源开放，共同推动了国内AI开源的进程。 毕竟，过去国内开源社区氛围和美国存在差距，缺乏这种相互探讨、技术进步的社区气氛。 去看GitHub上谷歌、Facebook、百度等人工智能前沿企业在深度学习框架这个战场的和谐交锋、友好博弈，你能发觉，国内需要走的路还是很长。 这也是国内开源社区真正需要向太平洋东岸学习的地方。 '''一''' '''“众声喧哗”的诞生''' 任何技术的交锋，都像是人与人之间的互动，这是“众声喧哗”、“相互吸纳”的过程。各有所长各各有所短，竞争和博弈，会带来行业整体进步。 “新基建”背景下，企业都是在为围绕着技术、商业、组织乃至对外赋能。尤其是疫情过后，企业一方面面临着外部压力困扰，另一方面也面临着内部协同诉求，于是一大批新的技术产品涌现出来。 我们不妨先去观察，三者技术方案是怎样的。 3月23日百度飞桨（PaddlePaddle）宣布在智能视觉领域得到了提升。 [[文件:kaiyuanchaolou02.png]] PaddleCV全景图首度曝光，其底层框架与工具层得到了工业级提升，这种提升面向的是当下工业领域诉求。 要知道，目标检测是计算机视觉领域不可缺少的一环。深度学习往往需要对图像进行处理，3D视觉往往意味着在工业领域会有更好的实践。仅仅是在2018年的工博会和2019年的光博会上，工业视觉领域，多的是火爆的3D视觉引导。 我在《培育架构师，要技术，更要技术领导力》一文中就提到： 这次疫情让一批工业企业仓皇失措中发现，自家商业价值体系及技术架构极其松散。想要抵御突如其来的风险，显得有些力不从心。 此时针对这部分企业给出工业级部署，其实是在顺应市场需求。 工业企业在疫情袭来时，面临安全生产和停工风险。工业企业对AI需求迅速增长，很多企业甚至刚刚才开始学习使用深度学习，也缺乏必要的人才储备，甚至还需要让人才远程学习，和互联网、AI大厂的相关领域负责人“陪练”。 [[文件:kaiyuanchaolou03.png]] 工业企业需要3D视觉的分析，用于自家业务的改进。还需要更多经过成熟验证的算法做支撑。所以你可以看到，PaddleCV新增了15个在产业实践中广泛应用的算法，整体高质量算法数量达到73个，35个高精度预训练模型，总数达到203个。 算法重要性无需多言。工业企业一般没有太多时间和经验投入算法研究，使用现成的算法，往往可以节约人力和成本。为这些企业提供更好的算法，恰当其实。 除了对智能视觉进行升级之外，百度飞桨还在近期新增适配比特大陆最新算丰系列AI芯片、两者的融合，体现在芯片利用率、性能功耗比等指标上，相比传统GPU更适合深度学习推理。这对产业开发者运用AI开源底层工具推动应用落地而言，无疑又是一大福音。 百度对飞桨深度学习平台的不断升级改进是值得关注的。 在AI开源、特别是深度学习框架/平台方面深耕多年，百度深谙技术开源之道，飞桨已经具备了兼具灵活和效率的开发机制、工业级应用效果的模型、超大规模分布式训练能力、推理引擎一体化设计以及系统化的服务支持等等特点，解决了诸多实际开发和应用过程中的刚需，让产业开发者用着更称手。而对于AI开源领域的后来者而言，飞桨也塑造了一个样板。 我们再看看旷视。 旷视在3月25日正式发布了旷视AI生产力平台Brain++，还开源了其深度学习框架天元( MegEngine)。 追溯MegEngine的诞生，它在2014年由旷视自主开发形成，在这个基础上则是将数据和算力平台融合，构建了集“算法、数据和算力”于一体的AI生产力套件。 对旷视这样一家创业企业而言，此时开源自家深度学习框架可能有着非常复杂的内外因素。 [[文件:kaiyuanchaolou04.png]] 从内部视角看，旷视这几年针对城市、供应链、智能设备等领域发布了一系列解决方案，的确积累了一定的行业经验，它也到了可以尝试对外输出自身解决方案的时刻。这种对外输出的能力，是当下所有产业互联网领域耕耘到一定程度公司都会做的事情。 从外部视角看，创业企业在当下的环境中普遍面临考验，一批企业面临现金流断裂的危机。旷视可能并不存在这方面的问题，但后疫情关口通过对标一线巨头的方式去“秀肌肉”，一方面是在提振内部士气，另一方面也是在吸引行业关注。当然，它恐怕还有向上管理的考量。 不过，旷视发布深度学习框架的时间节点，和百度、华为深度学习框架改进或发布的时间节点靠的太近，这种“近”，其实有着某种讨巧和暧昧的因素——毕竟一家创业公司在面对巨头的时候，必须要懂得使用“巧劲”才能寻找到自己的位置和空间。 几乎是同时，华为在3月28日的华为开发者大会2020上也推出了自家全场景AI计算框架MindSpore。 [[文件:kaiyuanchaolou05.png]] 华为更是如此。这样一家ICT企业一直被视为中国数字化转型领导者。过去它一直以“硬”的形象示人，但是现在却在愈加往“柔软”的方向发展。 从内部视角去看，华为此时推出开源框架，是华为云Cloud&AI BG成立后的重要一步。尤其是这次在华为开发者大会2020上推出这个产品，用意更是明显。它很大一部分因素在于汇聚起一批开发者。 从2017年华为成立Cloud&AI产品与服务BU开始，这家企业就一直在试图摆脱“卖盒子”的形象，我在去年一篇文章中就曾戏言“华为云变得更坚硬也更柔软了”。 今年1月时，华为又将“Cloud&AI产品与服务BU”提升成了“Cloud&AI BG”，成为华为第四大BG（事业群）。从BU到BG就会发现，云的地位再次提高了。 云和开源几乎是同一个问题的两个方面，云的进化必然会带来开源这个行为。 从外部视角去看，华为云一直面临着阿里云、腾讯云、百度智能云等厂商的竞争，百度也早早开源了飞桨（PaddlePaddle）。华为云也到了关键的对外开放的窗口期，这种开放其实也是在适应竞争环境。 '''二''' '''争鸣和博弈的来临''' 华为和旷视的入局，让国产深度学习框架/平台市场展现出了争鸣和博弈的态势。 产业互联网、产业智能化的进程行至今日，已不可阻挡，疫情还加速了这个过程。这次华为、旷视接连宣布开源深度学习框架，更是这种环境下的产物。一些后发厂商需要在后疫情的“窗口期”中抢占位置。 这种抢占位置的姿态，不仅仅是向上管理，也是横向竞争，更是对合作伙伴的吸引。 我们不能简单用“零和”视角去思考当下市场的变化，市场不是几家企业在简单切蛋糕。如果你从国内AI、产业互联网步伐前进的宏观背景去思考，就会知道，无论是百度、华为、旷视，其实都是中国这轮“新基建”带来的又一轮数字化转型浪潮中的参与者。 我们甚至可以这么理解，“新基建”这个机器中有一个个转向产业互联网、产业智能化的“齿轮”，这些中又有一个个“弹簧”，保持着“齿轮”之间互动平衡。大机器的轰鸣前行，会引发所有企业的连锁反应。 不管怎样说，这样的争鸣和博弈都将集体降低算法研发成本，为接下来AI能力的大规模工业化普及创造条件。 事实上，这也将进一步推动AI技术和智能经济实现批量生产。 这次值得注意的是两个玩家，一个是百度，一个是华为。 百度飞桨当前在社区、技术、生态都是最完整的。 先看组数据，飞桨累计服务超过150万开发者，有超过6.5万企业用户，在定制化训练平台上发布了16.9万个模型，且模型数量呈现显著增长趋势，在工业、农业、服务业等各行各业中得到了的广泛应用。 飞桨的深度学习模型开发能力、训练能力、预测和部署能力一直在持续提升，可比肩TensorFlow、PyTorch等国际主流框架，甚至不少技术还更强。飞桨也是中国首个全面开源开放、功能完备的产业级深度学习平台。 2019年底IDC行业市场调研报告中，国内整体市场形成TensorFlow、PyTorch、飞桨（PaddlePaddle）三强争霸的局面。 总的来说，百度飞桨处在国内领头羊的位置，甚至可以认为，飞桨是国内目前功能最完备的端到端开源深度学习平台。 [[文件:kaiyuanchaolou06.png]] 用百度CTO王海峰的话来说，在智能时代，深度学习框架向下对接芯片指令集，向上承接各种业务模型、行业应用，起到承上启下的作用，是“智能时代的操作系统”。 华为目前则是强在硬件。华为自身在ICT领域对技术和能力有所积淀，尤其是“鲲鹏+昇腾”的算力充沛，它的实力不可小觑。 华为在硬件开发者生态这块的聚合的确也处在相对领先的位置，尤其是在政企市场，很多客户要求私有化部署。华为在ICT领域的积淀，容易在政企客户隐私的情况下实现跨场景协同。 旷视的体量相对百度和华为小一些，它要在自身的优势领域进行发挥。 在各家的争鸣和博弈中，很大程度要看社区的建设——毕竟从漏斗模型来说，社区开发者规模，几乎决定了客户规模。 国外典型开源商业模式是，社区-产品-利润（典型的包括Spark，MySQL，Hadoop等等都是如此），这个模式已经被国外成功验证。 也就是说，在社区内提供开源、免费的产品，为开发者提供新的模块，商业版则是会提供Bug修复、性能优化 、增值功能 、技术支持等能力。 深度学习框架/平台的开源商业模式和其他领域的开源经典模式略有不同，并非所有的开源厂商都会免费提供产品，开源不等于免费，企业级用户在获得可修改的算法的同时依然有义务支付授权费用。 开源框架/平台能够节省设计和开发的时间，但选择任何一个开源平台都需要客户对这个平台充分熟悉。任何一个开发平台都不可能提供完全自由的设计空间，应用的实现受制于开源框架/平台和特性基础。 百度飞桨的社区建设，起步早，规模已经很大，可以说“社区”这道护城河已经又宽又深。旷视、华为等的产品，则需要从无到有去走社区-产品-利润的路。 虽然说，百度和华为都在芯片、云、深度学习平台三者之间构建起了智能硬件到算法软件再到算力供给的智能制造解决方案大闭环，具备端到端软硬一体的能力。 但真正值得注意的是，还是百度和华为这样体量较大的公司，它们的未来空间的想象力，主要在于两块。 一块是复杂场景的考验，想要真正部署落地，往往需要全面能力，其中包括Serving、服务器端集成、移动/边缘/AI芯片等多种芯片上的集成，Web端集成等，这是一个系统工程。 另一块是系统工程的整合，供应链体系需要ARM这类提供CPU和GPU的国外厂商配合支撑。系统工程对大厂而言会显得相对游刃有余，对创业公司来说，需要多多观察。 当然，我们可以预料到，百度会进一步增强软硬结合能力，华为则是会加强社区的建设，旷视则要在巨头之间舞动长袖寻找自己的空间。 至于哪家会取得优势，我们暂时不好判断。但是这种生态与生态之间的竞争，往往取决于社区自下而上的创新涌现，而不是自上而下的主动建构。 另外一点值得注意的是，国内深度学习框架/平台的集中涌现，它接下来可能会带来的变化是，谷歌的Tensorflow目前在国内的地位会极大遭受蚕食和挑战。 '''三''' '''野心、格局和胸怀''' 开源社区的协同模式改变和颠覆了软件业的工作方式，可以创造出高质量的软件产品。 在过往RedHat、MySQL、Asterisk都是非常成功的开源公司。当然最重要的是，开源软件真正释放了软件开发人员的创造力和生产力， 但实际上，中国的开源相比海外依旧不足。直至今日，国内都没有构建起像GitHub这样大影响力、成规模而且在世界范围和企业内部具备认可度的开源社区。 原因在于三块。 语言障碍，中国软件开发人员在国际开源社区很难有大规模的参与； 中国软件开发发展的时间还不长，核心开发人员积累还不够； 大学教育在开源领域严重不足，教师也缺乏了解。 相比于GitHub这种环境，国内社区氛围依旧不足，企业虽然对开源深度学习框架/平台的使用火热，但是开发氛围依旧不浓。 在过去，百度的飞桨，一直是国内首个也是唯一一个自研的开源开放的深度学习平台，被视为“智能时代的操作系统”。 现在华为和旷视的加入，也将对开发者群体有一些影响。 我们可以期待的是这个市场的百花齐放。 我们不妨去看看埃里克·史蒂文·雷蒙德在他那本《大教堂与集市》中提出的观点。 他把软件开发分成了两种最为经典且截然不同的模式：大教堂模式和集市模式。 传统大型软件公司的开发模式就像是艰难而缓慢的大教堂建造工程，它有着严密的管理和封闭的集中式结构，但在创新上、生产力上和Bug控制上却落后于集市模式。 集市模式是一种并行的、对等的扁平化开发结构，其参与者大多来自于志愿者，结构松散，来去自由，就像是一个乱糟糟的集市，但就是这样的组织形式，却取得了像Linux这样令人惊叹的成功。 反观今日深度学习框架/平台市场，一定是选择“集市”的模式，才能获得自下而上的创新。 依旧是，埃里克·史蒂文·雷蒙德那个观点——足够多的眼睛，就可让所有问题浮现。 过去深度学习框架/平台使用有限，但随着华为、旷视的加入，凝视BUG的眼睛变得更多了——对百度飞桨来说，其实也是利好消息，因为这意味着将来市场会变得更大、环境会变得更好，飞桨的商业化进程也将进一步加快。 华为有华为的问题，旷视有旷视的苦恼 ，百度在华为和旷视入场的大背景下，其实面临更多利好。 很多事情，要跳出原有框架去解决现存问题。不然永远都是格局低、零和博弈的死局，企业也是如此。一方面需要有上帝视角，另一方面也需要有个体理解。 每一家企业身处市场，必然会有自己的思量、无奈和妥协。企业在舆论场上相对输出自己的观点固然可以理解，但因为向上管理的因素，一些企业还是会做出超出事实的观点，这对不明就里的观众而言，不过是搏一搏眼球。 深度学习框架/平台这个市场，虽说有竞争，但其实当下来看，还是相对稳定。不管怎样，企业的入场会带来市场的变化，AI从研究到生产一直存在一定的距离，缩短距离显得极为重要——毕竟一切都是为了开发者。 市场上虽然也的确存在一定的泡沫，但啤酒有泡沫才会香甜，开发者面临泡沫，才会多几个选择，从中得到最适合自家的深度学习框架/平台。 你去看2019年上海谷歌开发者大会期间，TensorFlow全球产品总监 Kemal Moujahid面对竞争时对 DeepTech说过的一段话就很有意思： 我们非常乐于看到行业取得发展。现在，全球范围来看，虽然机器学习和AI的普及度还处在初期阶段，但是我们不能忘了最终的目标，在全球推广普及机器学习和AI。所以，我们现在能做的就是提供最好的应用和最好的技术平台，让整个应用场景可能性更多，普及速度更快。 谷歌其实是站在全球AI发展的视角去思考这个问题，对国内企业而言，也需要站在国内AI工业化大生产的环境以及“新基建”的背景去思考这个问题。 我们甚至可以畅想，随着华为、旷视的入场，一些领头厂商是否能够牵头建设起中国的GitHub。当然这种想法有些不切实际，但我真正想表达的意思是： 中国企业应该有更大的野心和胸怀。因为最后拼的，其实还是企业格局和内在实力。
返回至
追赶世界开源潮流，国产深度学习框架迎来集中爆发
。