如何看待亚马逊 AI 李沐团队大批人员离职?

news/2024/11/28 11:44:40/

作者:贾扬清
链接:https://www.zhihu.com/question/392035070/answer/1230171680
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
 

1. 框架的沉浮。回答里面提到Caffe2,它的设计早于Tensorflow,计算图是从Purine的想法借鉴的,当时Google Brain还是按照神经元base的方式来做。从需求的角度讲,当时的核心挑战是系统部署能力,这是在Facebook里头非常重视的一点,应该说是在企业级框架当中第一个可以同时以一套系统部署在云上广告推荐训练以及端上AI/AR场景的平台。

但是每一个平台都有自己的强项和弱项。一个框架在系统上很强,相应的生态就会稍弱一些:大公司内部的需求和科研人员/长尾应用的需求是不一样的。一个需要处理PB级数据的系统,绝对会放弃易用性,而易用性对于开发者社区是极端重要的。从这个角度,我觉得mxnet已经在不可能的方向上利用自己的资源做了很多事情,无论是推动Gluon,还是做“动手学深度学习”。结果不论,但是在系统和生态的平衡上主动做了很多事情。

这个取舍,从第一天我们设计系统的时候是考量过的。在FB我们当时还做过这样的分析:“从人力上,我们无法长期和Google进行全面的对抗,因此我们的策略是解决Facebook的业务核心问题,广告、端上智能,等等。Tensorflow的长线在于大兵团作战,而我们的长线在于快速迭代解决业务需求。我们要一直保证在我们自己的需求上面,和TensorFlow保持六个月的优势”。

回头看我觉得这个策略非常成功,也推动了系统上的创新,ImageNet in an Hour被Jensen评价”也许是2017年深度学习系统最重要的论文“。据我理解,Facebook今天广告、手机AI等方面,前端在逐渐转向pytorch原语,后端系统继续使用caffe2的高性能架构。这和我离开前和Facebook同事设计的PyTorch 1.0的策略是一致的。

当然,这一段当中还是走了弯路,一度因为开源的热情,我还是推过Caffe2的社区,后来反思起来,任何一个系统都有长有短,通过Caffe2要解的是业务系统的问题,不是社区的问题,不应该全部通吃。后来我们将外部品牌统一为PyTorch,也是这样的一个思考。窃以为,mxnet的路线如何走,其实和这一堆的机器学习框架的分分合合都有相似性,关键是“我能解决谁的痛点,以及什么痛点”。造轮子不是目的,解决新的痛点才是目的。

非常感谢

@刘若泽

的批评,也是借机解释一下,在系统设计以及业务设计这个层面上的思考。

2. 所谓真实的想法。对我的批评是说“在和阿里聊但是假装说没有的事”。这可能指的是之前的这个回答:https://www.zhihu.com/question/66481733/answer/244549963

这个问题的背景是,另一个知友的回答当中讲到,“深度学习框架Caffe的作者Yangqing Jia想回国发展,于是给阿里投了简历,内部评估下来最终给了个P7+的Offer,后来就没有后来了。”。我当时的确没有投过简历,offer也的确无从谈起,因此,我本着对于自己公司(Facebook)和对同行的尊重辟了谣。即使是当年,我对阿里的评价也是“大家都是非常真诚和优秀的人” - 大家都是成人,不是说没选择的就是坏的,你说对不?

加入阿里是两年之后的事情,从个人的角度来说,Facebook工作非常开心,但是Facebook不做对外云业务,场景还是比较固定的,做的事情熟了就希望找对自己更大的挑战,而阿里对我也很信任,愿意相信我对于学习业务的热情,愿意交给我一块业务。2017年的时候没有意愿,2019年是职业发展的新思维。我相信大家博士毕业的时候都是想找一个好工作,然后工作几年之后想找一个更大的场景挑战自己,一样的。

这周我们事业部kickoff,我们一位一线同学在Q&A的时候和我说,”扬清,去年kickoff的时候我提过一个反馈,你对业务的熟悉程度不太够。今年我觉得比较欣慰的是,现在你开始重视业务,讲业务方法论了“,然后他对我提了新的问题和要求。这是我觉得弥足珍贵的地方,有这样一群人一起在做事情。阿里有没有问题?有!说没有问题的都是假的。像上面的同学说的一样,我作为一个事业部一号位对业务还不熟,那就是问题。但是我觉得总要解,面对问题解决问题才是重点。

我和Facebook的老战友关系依然紧密,如果有谁想去Facebook AI部门,只要你能力在,我给你refer。如果谁想来阿里我的部门,我非常欢迎。

这就再带回到沐神的团队的事情上。这件事情我的观点是这样的,管理本身就是一个专业,大批人员离职,可能是因为团队在转型,可能是因为需求在转型。我自己看到这个的时候,非常能感觉到李沐的痛苦,一边要带技术,一边要带人,整个AI业务在飞速发展,一个技术leader要一边学管理学业务一边把团队管得有声有色,很难的。说句难听话,你能你试试?我的一位职业上的mentor和我说过一句话,“不要觉得很多管理的事情是虚的,管理不是代码,不是数学,但是也有它的规律,我相信你能学会,但是你得学。”

和李沐多年好友,我自己也经历过从技术leader到技术管理的责任转换的痛苦。这种时候,我旗帜鲜明地反对各种传言吐槽什么的,好聚好散,技术上的争论都可以拿出来说,关键是要把事情做好。相信MXNet团队会解决短时间的问题,在AI系统的领域不断继续创新。

----

最后总是要吐槽一下的,说我官话的站出来评价下,官话有这么说的吗?

如何评价Facebook Training ImageNet in 1 Hour这篇论文? - 贾扬清的回答 - 知乎 https://www.zhihu.com/question/60874090/answer/181672076

如何评价清华大学发布的自研深度学习框架-计图(Jittor)? - 贾扬清的回答 - 知乎 https://www.zhihu.com/question/380993685/answer/1092398223

有句网络用语说得好,“我看众人皆sb,料众人看我亦如是”。那么多年在老师同事朋友的沟通当中我学到很多,心存敬畏,心存感激。你觉得是官话请自便。

 

===========================================

 

李沐​

深度学习(Deep Learning) 话题的优秀回答者

--- 5/17 更新 ---

没料到大家如此热心,所以补充几点。

  1. 这也能上热搜?这个是买的吗?
  2. 人员离开不是一件轻松的事情,特别是疫情期间。对每个主动想走的人我都长聊过,做了极大的挽留,例升职规划,讨论有挑战的新项目。对于是请走的人,也是有公司第三方团队和第三方律师事务所进行半年以上的评估和改进尝试。我们组发展了三年多,除了之前有位小伙伴想回家发展外,这是首次有人离开,所以不奇怪引人关注。
  3. 过去一年一直在招能管理科学家团队的经理,如果各位有兴趣请私信我。另外,接下来我们会进行大规模招聘,敬请期待。
  4. mxnet处境。质疑一直有,pytorch和tensorflow也确实强大。facebook和google可以花很大资源来支持开源,不管是人力还是宣传,而且可以强迫自己公司团队使用自家产品。mxnet的资源一直是别人的1/10,我们将资源都集中解决客户问题上(亚马逊的准则之一:客户至上),很多项目我们并没有宣传。下面是几个我们公开的项目:
    1. 《动手学深度学习》最早是作为mxnet文档来做的,现在已经被包括cmu/stanford/berkeley/mit等近100所高校作为教材使用。Nvidia创始人Jensen特意为此写了推荐语。
    2. ResNeSt是GluonCV 0.7中的工作 https://github.com/dmlc/gluon-cv/releases/tag/v0.7.0 刷爆了各大榜单
    3. GluonNLP把BERT的inference速度降到百万次不到一块钱。
    4. AutoGluon是我们在automl的首次尝试,比我们知道的所有工作都要块和准。
    5. MXNet的model zoo下载量在百万级别。
    6. 还有几个大招在做,敬请期待接。
  5. 关于烧钱。我们最近的工作ResNeSt拿到了检测和分割的多个第一,知乎上也有很多文章讨论。至于说花费比较大,花费更大的工作我们今年做了好几个,只要能推动技术进步,我们会不切余力的投入。

------

最近两个月我们组确实有人离开,在我看来是组织发展下的正常新城代谢。

  1. 最近做了一些思考,想象世界五年后是什么样,从那里出发来重新考虑项目优先级。例如automl会不会是让深度学习更加普及的一个主驱动力,未来几年有什么可以做的(高效的算法,高效的系统,成本更低的硬件,宣传好结果来改变大家的看法)。我们定了两个方向,作为我们的主攻方向。
  2. 之前我们跟工程组一起做了很多纯工程项目。在我看来,我们应该是做合作组不能做的(例如深度学习系统API设计,新系统开发),而不是跟人抢项目。自然会有小伙伴做完这些项目后,觉得新项目太挑战,想换个环境。
  3. 将我们的工作变成”essential“(amazon在疫情期间优先派送essential的商品),这个一直是研究工作的一个难点。我们的做法是,开始一个新的需要大量资源的研究项目前,先跟可能会用到的产品组联系,看看他们的实际需求。这个改变会让做先马行空研究的小伙伴觉得不自由,从而可能离开。

 

 

============================================

 

作者:hopeispower
链接:https://www.zhihu.com/question/392035070/answer/1228365453
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
 

给回答里的各位自我介绍一下,本人2018年3月入职mxnet团队,自入职至今是在mxnet项目上贡献commit数量最多的contributor,也是社区committer。链接为证:https://github.com/apache/incubator-mxnet/graphs/contributors?from=2018-03-05&to=2020-05-16&type=c,本人就是那个haojin2。同时,我也是近期从mxnet团队离职的成员之一,去向是亚马逊内部的其他team。

其实我在知乎上是从来没有发过回答的,今天鼓起勇气发这个实名回答的原因主要是看到沐神的高赞回答以后,想为这个事件提供另一个视角。而且鉴于我之前一直属于team里的喜剧担当,现在已经有一些同仁来问我某些问题下针对mxnet阴阳怪气的回答是不是我写的,所以也是借此机会澄清一下,真不是我写的啊QAQ。当然我也不是沐神这样的大V,没有什么公信力,所以各位吃瓜群众对于我的说法愿意信就信,不愿意信的看过算过就行了。

其实沐神待我也是不薄,并且我对mxnet这个项目也算是有一些感情的。在开发之余,我也担当了mxnet生态系统一些PR blog的翻译润色和校对工作,各位去翻一下的话应该可以看到我的名字。尽管如此,我最终在近期选择了离职主要是因为总体上mxnet ecosystem的蛋糕没有做大,反而是越来越小,如此一来team内的上升空间也就缩小了。虽然mxnet渐渐成为我的舒适区,但是我也清醒地认识到不能再继续温水煮青蛙了。尤其是过去一年中有一多半的精力放在mentor我们在AWS Shanghai AI Lab的实习生上,没有很多时间去打磨和提升自己的技术。

其实我觉得大家也不必要把这件事想得太复杂,其实就是大家走到分岔路口时选择了各自适合的道路而已。作为一个在mxnet上花费了1年多时光的人,心底里还是希望mxnet ecosystem可以壮大的,祝沐神&mxnet今后越来越顺利。

 

 


http://www.ppmy.cn/news/703763.html

相关文章

CTK框架 - 将菜单按钮写到插件中

文章目录 CTK框架 - 将菜单按钮写到插件中代码示例之前关闭的时候崩溃错误 CTK框架 - 将菜单按钮写到插件中 之前我们在的两个插件Core和About,在Core和About中加入了界面,并且Core中插入了一个菜单,点击之后弹出About界面。 我们现在来用之…

万字综述,GNN在NLP中的应用,建议收藏慢慢看

今天为大家解读的是由京东硅谷研发中心首席科学家吴凌飞博士等研究者最新发表的GNN for NLP综述,几乎覆盖了围绕NLP任务的所有GNN相关技术,是迄今为止GNN for NLP领域最全面最新的综述性文献。 论文标题:Graph Neural Networks for Natural L…

这次,带你写个操作系统

都说操作系统(简称 OS ),是程序员的三大浪漫之一,我们经常会用“灵魂、大脑、内核、基石”等词来形容它,足以见得它对计算机而言有多么重要。 在实际工作中也确实如此,很多遇到的疑难杂症,都和操…

公司来了个北大妹子,一人写了个操作系统,折服了。。。

大家好,我是肉哥! 都说操作系统(简称 OS ),是程序员的三大浪漫之一,我们经常会用“灵魂、大脑、内核、基石”等词来形容它,足以见得它对计算机而言有多么重要。 在实际工作中也确实如此&#xf…

深度2万字好文:图像处理-基于 PyTorch 的 YOLO v5 表情识别(附源代码)

前言 本文利用YOLOV5对手势进行训练识别,并识别显示出对应的emoji,如同下图: 本文整体思路如下。提示:本文含完整实践代码,代码较长,建议先看文字部分的实践思路 以下是我为大家准备的几个精品专栏,喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟! MATLAB…

用YOLOv5模型识别出表情!

↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货 作者:闫永强,算法工程师,Datawhale成员 本文利用YOLOV5对手势进行训练识别,并识别显示出对应的emoji,如同下图…

零基础小白怎么学习3D建模?过来人给的一些学习建议,先马后看

零基础小白学3D建模建议从以下三个方面学习: 一是学习软件,了解软件的功能,基本命令和操作。能熟练使用软件来雕刻东西,这方面练习方法就是自己动手去做,然后看相应教程,从别人雕刻全过程的视频中了解软件…

关键点检测项目代码开源了!

Datawhale干货 作者:闫永强,算法工程师,Datawhale成员 本文通过自建手势数据集,利用YOLOv5s检测,然后通过开源数据集训练squeezenet进行手部关键点预测,最后通过指间的夹角算法来判断具体的手势&#xff0…