百度发布教育大脑3.0,开放教育AI能力

2018百度教育盛典在北京召开,百度总裁张亚勤与百度教育事业部总经理张高先后登台发言,正式发布百度教育大脑3.0。人工智能正向各行业各领域赋能。张亚勤表示,人工智能将会开启一个新的教育时代,随着“ABC”(AI, big data, Cloud Computing)技术的飞速发展,教育正呈现三大趋势: 数字化、全球化、和智能化。

1fd98de3cd82a5b9d0d148835cb63ebd.jpg

11月28日下午消息,2018百度教育盛典在北京召开,百度总裁张亚勤与百度教育事业部总经理张高先后登台发言,正式发布百度教育大脑3.0。

人工智能正向各行业各领域赋能。张亚勤表示,人工智能将会开启一个新的教育时代,随着“ABC”(AI, big data, Cloud Computing)技术的飞速发展,教育正呈现三大趋势: 数字化、全球化、和智能化。

在数字化方面,基于云和大数据技术,海量的教案、课件、图书、视频、音频、课堂教学资源得以进行整合、分类与公开,用户可以各取所需。在全球化上,在任何时间、任何场景下,只要有一部PC、一支手机,用户就可以接入云上的教学资源。而在智能化方面, “ABC”三大关键技术的综合运用,不仅使各种教学资源的数字化转换大大提速,还构建出了一个以用户为中心的智能化教育生态的雏形。

张亚勤认为,随着人工智能技术的发展和知识需求的多元化,教育产业正在进入全面进化的关键阶段。

百度正式发布了“百度教育大脑3.0”。据介绍,教育大脑1.0主要能力在内容数字化,2.0版本主要能力在内容结构化,3.0的主要能力则在于对人的理解与智能交互,其内容资源及知识图谱、智能交互等AI核心能力进一步升级,并将教育AI的能力向合作伙伴全面开放。

百度方面还表示,目前百度教育月活跃用户破7亿,教育会员超过1000万,智慧课堂落地全国3000所学校,9.2万名认证优秀教师在其平台上贡献内容, 800万教师用户通过百度教育SaaS平台学习和交流。

此外,会上还举行了百度人工智能示范校联合签约仪式,并发布了扶贫公益计划。(李楠)

亚马逊推出机器人测试平台,明年家用机器人拟上市

亚马逊希望加速仓库机器人的开发进展,并有望在2019年推出家用型机器人产品。此外,最新消息指出,亚马逊已经推出了机器人的测试平台。

据外媒报道,亚马逊希望加速仓库机器人的开发进展,并有望在 2019 年推出家用型机器人产品。此外,最新消息指出,亚马逊已经推出了机器人的测试平台。

81e391f5e5533c9f1e2139c7185e9f8b.png

随着亚马逊的“创新周”正式拉开序幕,亚马逊推出了 AWS RoboMaker 机器人测试平台。AWS RoboMaker 可以轻松地设置大型并发情境下的机器人仿真,预先构建了室内、零售门店、赛道等场景,开发者可按需测试其应用程序、或同时运行多个模拟。

对亚马逊自身来说,其对待机器人技术的态度一直很严肃。该公司长期部署仓库机器人,并在今年的假日购物季全力以赴。

亚马逊希望 RoboMaker 平台能够帮助开发者,让原本费时费力的机器人研发过程变得更加迅捷。这项云服务基于广受欢迎的开源软件 —— 机器人操作系统(简称 ROS),为开发者提供了一个测试机器人应用程式的绝佳场合。

在未来的几年,或许不用太久,仓储机器人就会成为仓库和工厂的标配。

马斯克:十年内可把人脑与AI计算机连接起来

SpaceX和特斯拉的CEO马斯克认为,人类必须与机器建立联系,以对抗人类智能所带来的不可避免的冲击。

Space X和特斯拉的CEO马斯克认为,人类必须与机器建立联系,以对抗人类智能所带来的不可避免的冲击。

马斯克表示,他新成立的公司Neuralink将在未来10年内获得这项技术。

d5262591a470d81ffab88f634c17b708.jpg

马斯克告诉Axios,这项技术将涉及“微观水平的电极-中子界面”。更确切地说,通过手术将“一片芯片和一捆细电线”植入你的头骨。

采访中,他还说:“对Neuralink的长期愿景是实现与人工智能的共生,实现智能民主化,而不是政府和大公司垄断性地持有纯粹的数字化形式。我相信这一愿望大概在未来10年可以实现。”

马斯克认为,随着人工智能的不断发展,开始融入到我们所使用的产品中,人类将不得不开发类似生化人的技术。他告诉Axios:“我们如何确保未来是人类意愿的总和呢?如果我们有数百万的人可以通过高宽带与人工智能连接起来,这样每个人都会聪明绝顶了。”

718d7ec76d831ddbfdba40b0cc6bfeb4.jpg

他把AI比作数字智能,如果人类不加以注意,AI可能会失控。马斯克还说:“随着算法和硬件的改进,数字智能将大大超过生物智能。最终,植入芯片的发展可能会防止人类变成濒临物种。当一种灵长类动物,即智人,变得比其他灵长类动物聪明许多,它便把其他灵长类动物推向灭亡。因此,山地大猩猩、醒醒和黑猩猩的数量都十分稀少。即使是他们生活的丛林也都是狭义的,有点类似于一个大笼子。所以,我们的未来也可能会是这样。”

长期以来,马斯克一直评判人工智能,并警告人类如果人工智能被恶意利用或是变得过于聪明,它都可能会对世界造成巨大破坏。

8ef90cef738d2d991cde1cf0cee5fd7e.jpg

2016年,马斯克在旧金山成立了Neuralink,以开发可上传和下载思想的植入式人脑-电脑接口。他还计划将这项技术应用到其他领域,包括医学领域。马斯克表示,一种特殊的用途是通过将电极植入到大脑的运动皮层,来减少记忆缺失或治疗脊椎损伤。它会绕过脊椎的断裂处,有效地在肌肉群附近设置局部微控制器。它可以恢复四肢功能。

斯坦福成立“以人为本人工智能研究院”,李飞飞担任共同院长

李飞飞宣布斯坦福开启“以人为中心的 AI 计划”(HAI),由李飞飞和斯坦福大学前教务长 John Etchemendy 共同主导,目标是创建“以人为本人工智能研究院。

f4795822f6fe92a8ecadf311d2b39ff5.jpeg

李飞飞宣布斯坦福开启“以人为中心的 AI 计划”(HAI),由李飞飞和斯坦福大学前教务长 John Etchemendy 共同主导,目标是创建“以人为本人工智能研究院。

李飞飞会斯坦福之后公布了最新动态。

斯坦福大学今天正式宣布启动“以人为本人工智能项目”,目标是创建“以人为本人工智能研究院(Stanford Human-Centered AI Institute (HAI))”。

李飞飞在社交媒体上宣称,这是学校从校长到几十位教授一年多以来的共同努力,今天终于公开了这个HAI的消息。

“我很荣幸能和斯坦福大学前副校长,哲学家John Etchemendy共同担任HAI研究院院长。我们的宗旨是:推动人工智能的研究,教育,政策和实践,以造福全人类。”

研究院将致力于三个方向的工作:

1)推进和发展下一代AI科学(着重与脑科学和认知学交叉)

2)研究和预测AI对人类社会和生活的影响

3)设计和实践以人为本的AI技术和应用。

019f773b9f8b81398e167efbaac890c6.jpeg

李飞飞学生李佳也表示祝贺:

祝贺你的新征程!斯坦福“以人为本人工智能智能研究院(Stanford Human-Centered AI Institute (HAI))”,人工智能的灯塔!

fbf792984e02d353c96f9cc885e080fa.jpeg

李飞飞回斯坦福之后的第一个大项目:HAI

HAI的主要工作是开发AI技术、指导和研究、设计与创造,除了李飞飞外,还有斯坦福大学教务长、人文与科学学院Patrick Suppes Family Professor John W. Etchemendy

060a129ef47aa07664e7c1c5601cd472.jpeg
7899b306b6b0541b74f9166bd4e612a1.jpeg

John Etchemendy

John Etchemendy是斯坦福大学第12任教务长,他在内华达大学里诺分校获得学士和硕士学位,于1982年在斯坦福大学获得哲学博士学位。Etchemendy的研究兴趣包括逻辑学,语义学和语言哲学。

根据HAI官网,参与学者还包括斯坦福大学语言学和计算机科学教授Chris Manning,计算机科学与电气工程系教授William Dally,计算机科学教授Terry Winograd,社会学教授David Grusky,医学教授Euan Ashley,政治学教授 Rob Reich,法学院客座教授Mariano-Florentino Cuellar,生物医学与数据科学教授Carlos Bustamante等61位。

从学科上看,团队成员涉及计算机科学、电子工程学、语言学、社会学、政治学、生物医学等众多学科。

以下是李飞飞与John Etchemendy共同执笔的第一篇博客:

人本主义:AI的下一个前沿

我们已经到达了一个真正具有历史意义的转折点:技术正在以比以往任何时候都更快、更深刻的方式重塑社会。许多人将其称为第四次工业革命,由5G无线技术、3D打印技术和物联网技术推动。但更多的时候,最具破坏性的变化可以追溯到人工智能的出现。

这些变化中有许多是鼓舞人心的。机器翻译使得思想更容易跨越语言障碍;计算机视觉使得医学诊断更加准确;辅助驾驶功能使得汽车更加安全。其他一些变化更令人担忧:随着自动化的迅速发展,数以百万计的人面临着工作的不安全感;AI生成的内容使得区分事实与虚假变得越来越困难;最近关于机器学习中的偏见的例子告诉我们,技术可以多么轻易地放大偏见和不平等。

像任何其他强大的工具一样,AI承诺的风险和回报是同等的。但与核能和生物技术等大多数“双重用途”技术不同,AI的开发和使用是一种分散式的全球现象,它的进入门槛相对较低。我们无法控制如此分散的事物,但我们可以做很多事情来负责任地引导它。这就是为什么AI的下一个前沿领域不能仅仅是技术——还必须是人本主义的。

斯坦福以人为本AI研究院(HAI)

从气候变化到贫困问题,有许多问题值得我们关注,但AI有一些特别突出的问题:尽管我们不确定其全部影响,但它仍在塑造它的我们的集体力量范围内。这就是为什么斯坦福大学(Stanford University)宣布一项重大的新计划,旨在创建一个致力于引导AI未来的研究院。这个研究院将支持跨学科的必要广泛研究;促进学术界、工业界、政府和民间社会之间的全球对话;并鼓励所有部门负责任的领导。我们将这种观点称为“以人为本的AI”(Human-Centered AI,),它来自一下三点简单而强大的想法:

为了更好地满足我们的需求,AI必须融入更多人类智慧的多样性、差异性和深度。

AI的发展应该与影响人类社会的持续研究相结合,并以此为指导。

AI的最终目的应该是增强我们的人性,而不是减少或取代它。

实现这些目标将是我们这个时代面临的最大挑战之一。每一个目标都提出了复杂的技术挑战,并将激发工程师、社会科学家和人文主义者之间的对话。但这提出了一些重要的问题:什么是最紧迫的问题,谁来解决这些问题,这些对话将在哪里进行?

以人为本的AI需要广泛的、多学科的努力,充分利用从神经科学到伦理学等各种学科的专业知识。面对这一挑战,我们需要抓住机会探索不确定的新领域,这些领域没有商业性质的承诺。这远不止是一项工程任务。

学术的本质角色

学术是纯粹的研究领域。正是科学自由让数百所大学得以在国际范围合作建造大型强子对撞机——它不是为了让我们的手机更便宜,也不是为了让我们的Wi-Fi更快,而是为了第一眼看到希格斯玻色子。这就是我们如何建造哈勃望远镜,如何绘制人类基因组的过程。最重要的是,它是包容性的;它不是为了争夺市场份额而竞争,而是邀请我们共同努力,以获得更深层次的理解和可以共享的知识。

更重要的是,学术界肩负着教育未来各个学科的领导者和实践者的重任。AI的发展将是一个多代人的旅程,现在是时候向技术人员、工程师、企业家和政策制定者灌输以人为本的价值观了,因为他们将在未来几年制定自己的发展路线。

为什么斯坦福要做这件事?

实现以人为本的AI目标,需要学术界、产业界和世界各国政府的合作。没有一所大学能提供所有的答案;没有一家公司能制定标准;没有一个国家会控制这项技术。

尽管如此,仍然需要一个集中点,一个专门致力于以人为本的AI原则的中心,能够迅速推进研究前沿,并作为来自其他大学、行业和政府的思想的全球交流中心。我们相信斯坦福大学非常适合扮演这个角色。

自1963年约翰·麦卡锡(John McCarthy)创立斯坦福AI实验室(SAIL)以来,斯坦福一直处于AI研究的前沿。麦卡锡创造了“人工智能”这个词,并为该领域的大部分早期工作设定了议程。从那以后的几十年里,SAIL成为许多AI重大里程碑的舞台,从专家系统领域的开创性工作到第一辆在DARPA大型挑战赛跑完全程130英里的无人驾驶汽车。SAIL是计算机视觉领域开创性工作的发源地,也是ImageNet的诞生地,它展示了大规模数据集在神经网络算法上的变革性力量。这一传统至今仍在延续,100多名博士生、许多硕士生和本科生在SAIL积极参与研究。研究主题包括计算机视觉、自然语言处理、先进机器人学和计算基因组学。

但要引领AI的未来,需要的专业知识远远超过工程学。事实上,以人为本的AI的发展将涉及几乎所有知识领域——这正是斯坦福大学成为这一目标的理想环境的原因。斯坦福大学法学院一直被认为是世界上最负盛名的法学院之一,它将顶尖的法律人才带到了关于AI伦理和监管的未来的辩论。斯坦福大学的社会科学和人文科学系也是世界上最强大的院系之一,它们对AI的经济、社会、政治和伦理意义有着深刻的理解。斯坦福大学的医学、教育和商学院将帮助探索智能机器如何最好地服务于病人、学生和行业的需求。斯坦福大学在各学科领域丰富的领导传统将使我们能够围绕人类的需求和利益来绘制AI的未来。

最后,斯坦福大学的所在地——硅谷的中心地带、太平洋沿岸,与许多引领AI商业革命的公司非常近。斯坦福大学在硅谷拥有比其他任何机构更深厚的根基,它既可以向最有能力影响这场革命的公司学习,也可以与它们分享自己的见解。

通过以人为本AI研究院,斯坦福渴望成为一个充满活力的思想者联盟的家园,他们将共同努力,创造比他们自身更大的影响。研究院将努力将围绕五个相互关联的目标进行:

促进突破,多学科研究。

培育一个强大的全球生态系统。

教育和培训学术界、工业界、政府和公民社会的AI领导者。

促进现实世界的行动和政策。

而且,或许最重要的是,促进以人为本的AI的全球对话。

结语

几十年来,AI一直是一个学术领域。然而,在短短几年里,它成为了一个强大的工具,能够重塑整个行业。现在是时候把它变成一种更强大的力量了:一种为善的力量。通过正确的指导,智能机器可以将拯救生命的诊断技术带到发展中国家,为服务不足的社区提供新的教育机会,甚至帮助我们更加警惕地关注环境健康。斯坦福大学以人为本AI研究院是一项大规模的努力,目的是让这些愿景,以及更多的愿景成为现实。我们希望你能加入我们。

美媒:限制AI出口“是在帮中国”

11月19日,美国提出扩大对技术出口的限制——这是其遏制中国科技发展的最新举措。现在,美国在人工智能、深度学习、自然语言处理和计算机视觉等众多领域为中国设置障碍。对此,麻省理工学院学者戴维·埃德尔曼担心,如果这些限制措施处理不当,可能会给美国企业造成严重的“附带损害”。

美国《麻省理工科技评论》11月22日文章,原题:美国想把AI从中国手中拿走的做法其实是在帮助中国 美国和中国正在争夺本世纪人工智能超级大国的宝座。显而易见的是,胜利者不仅将获得巨大的经济利益,还能建立新的军事优势。

11月19日,美国提出扩大对技术出口的限制——这是其遏制中国科技发展的最新举措。现在,美国在人工智能、深度学习、自然语言处理和计算机视觉等众多领域为中国设置障碍。

对此,麻省理工学院学者戴维·埃德尔曼担心,如果这些限制措施处理不当,可能会给美国企业造成严重的“附带损害”。例如,苹果和谷歌等公司的利润很大一部分依赖中国,新举措可能导致美国企业控制人工智能开发规模,以避免众所周知的漫长的出口管制审查。无力应付的中小公司甚至可能会暂停国际扩张步伐。

“这些举措看似帮助美国企业获得竞争优势。但具有讽刺意味的是,这几乎肯定会给那些不受限制的中国企业在相关竞争领域带来相当大的优势。人工智能应用领域极其广泛,监管机构很难明确区分军事领域运用和非军事领域运用。”埃德尔曼说道,“此外,人工智能发展如此之快,这一领域需要国际学者不断互相交流并保持迭代更新。更重要的是,美国对华限制产业名单中提到的大多数技术在我看来都是未来十年大有发展前景的非军事通用技术。”

“这些限制可能是不切实际的,因为目前人工智能领域的许多研究都是完全开放的,而且是跨国界的高度合作。这些限制也可能影响美国大学,这些大学得益于外国研究人才大量涌入。如果美国大学不愿意接受技术出口管制规定,它们恐将不再支持人工智能研究项目。在某些情况下,控制人工智能如何运用可能是必要的。但以提防中国为理由阻挡下一个十年人工智能大发展浪潮的做法注定将伤害美国自身。”埃德尔曼说道。(作者Karen Hao,胡青松译)

想入职阿里的Java开发者必看,阿里巴巴面试官实战经验分享!

最近社区Java技术进阶群的小伙伴总是会问,如何面试阿里Java技术岗,需要什么条件,做哪些准备;小编就这些问题找到了阿里技术团队中在一线真正带Java开发团队并直接参与技术面试的专家,分享了自身在筛选简历时的要求,面试时经常会问到的问题,以及面试官通过提问是怎样判断面试者技术水平的。

如何面试阿里Java技术岗,需要什么条件,做哪些准备;小编就这些问题找到了阿里技术团队中在一线真正带Java开发团队并直接参与技术面试的专家,分享了自身在筛选简历时的要求,面试时经常会问到的问题,以及面试官通过提问是怎样判断面试者技术水平的。

以下都是面试官的经验,我们只介绍普遍现象,但会存在特例

哪类Java开发者更受阿里青睐?

1、潜力比较大、心力脑力体力都处于巅峰状态的,工作4-5年左右是普遍的最佳时段
2、经验足,有视野的,具备大项目积累沉淀
3、平时爱学习爱总结,有进步的主观能动性
4、聪明,皮实,乐观,自省 的同学,【聪明,皮实,乐观,自省】的解释: https://yq.aliyun.com/articles/671042

哪些Java开发者面试阿里会比较艰难?

1、工作多年已经转管理岗的,如果面试开发岗位,有可能代码不熟练或心力脑力体力很难跟上技术开发强度
2、工作3年以下的,有可能技术和积累的还不够,需要继续修炼
3、以往开发的项目太简单,很难看到工作亮点,例如项目经历过多是增删查改加缓存
4、以上情况也会有例外的,例外情况的除外

阿里Java技术面试流程:

1、自我介绍,面试官的关注点:做过项目的规模、具体细节及本人所承担的任务
2、一些Java基础问题,做初步的了解
3、面试者选择一个最能体现价值的项目,详细描述细节,架构以及为什么这样设计
4、设置1-2个必答题,如果答不上来后面不用继续了(面试官面试要效率的,所以会有这种杀手锏类的问题,这种必答题本文后面会详细举例)
5、如果你走过前4步,后续面试官可能会提问关于学习能力的问题和考察处理未知问题的能力

面试官经常会问到的几个知识点以及面试官问这些问题背后的解读

1、杀手锏类问题(划重点),每个面试官的杀手锏可能不一样,但目的是一样的,用最短的时间筛选出适合的人

  • 例如1:请写出常用的Exception
    一般来说,能写出20个以上,而且随意选择几个,大都能说的比较清楚,就是非常不错的了。考面试者的实际开发能力,特别是深度,也可以看出过去常做的内容

比如写了ClassNotFoundException,可能是做过ClassLoader动态加载的内容。
如果是写了ConcurrentModifiedException,可能是并发问题或者别的地方不足。
如果写了UnsupportOperationException,可能在设计方面有些基础或者经验。
如果写了SecurityException或者IlleagalException,说明做的内容比较深一些,更贴近底层。

  • 例如2:死锁的是怎么产生的?如果答的很乱,提示需要几个线程几个资源?描述细节

2、观察类问题,这类问题就是考验面试者思路,表达能力,项目经历

  • 例如1:讲述一个最能体现价值的项目,详细描述细节,架构以及为什么这样设计,和其他项目比,为何选此项目
  • 例如2:讲述一个有印象或者最难的Bug
    这类问题主要听面试者是否能够非常清楚细节地讲述一个项目或bug,包括如何发现,解决,反思,从这些内容上可以判断他是否在一线写代码,以及思维方式,一般会涉及:故障点,定位,解决思路,方案选择。

3、开放类问题,问到这类问题说明面试官对你基本满意,不在乎说对说错,可能没有对错,就是考察你的学习能力和处理未知问题的能力以及你的思考。

  • 例如1:说出几本觉得最有意义的技术书籍
  • 例如2:如Spring中如何对同名Bean加载时的处理
  • 例如3:大并发时的系统架构需要考虑哪些问题,怎样扛住大并发量,一致性怎样解决,如何取舍

如果以上技术你都游刃有余了,那么面试阿里成功的几率80%

蚂蚁金服张辉:打造商业金服需求的大规模区块链是挑战

阿里巴巴达摩院区块链实验室负责人张辉介绍,目前蚂蚁金服区块链已在金融、零售以及城市生活三大领域做了一些探索。打造服务于商业级金融服务需求的大规模的区块链网络是挑战,也是蚂蚁金服现在聚焦的领域。

11月17日,在2018 F²科学峰会“区块链技术”研讨会上,蚂蚁金服区块链平台部总监,阿里巴巴达摩院区块链实验室负责人张辉介绍,目前蚂蚁金服区块链已在金融、零售以及城市生活三大领域做了一些探索。打造服务于商业级金融服务需求的大规模的区块链网络是挑战,也是蚂蚁金服现在聚焦的领域。

张辉介绍,蚂蚁金服主要在联盟链阶段探索。过去三年主要做联盟链,提供金融级的服务,目前供应链的技术不能满足性能、安全隐私保护需求,蚂蚁金服打造自主可控的金融级的应用区块链平台。

蚂蚁金服区块链在金融、零售以及城市生活三大领域做了一些探索;金融方面,做了全球第一个基于区块链的电子钱包间的跨境支付,香港贵宾的用户可以24小时使用区块链的服务。供应链金融希望开放连接核心企业、银行机构,更重要的是服务更多中小微企业。

零售方面,依托于阿里大生态,天猫跨境商品溯源,今年双十一天猫1.5亿商品已经具有了商品溯源的ID,相关的整个溯源信息是底层流转给用户提供商品溯源的服务。包括,跨境的食品、奶制品、化妆品、钻石。

城市生活方面,包括城市房屋租赁。以雄安为基点,主要从房屋租赁信息共享打通城市政府房屋租赁各个服务商之间的数据孤岛做了一些探索。在医疗、处方流转、电子票据和其他场景做了相关落地应用。

张辉表示,从纯技术角度看,区块链是互联网上的应用,供应链和联盟链,最终呈现出价值互联网。从互联网的角度最核心是开放、互联互通。供应链也是自己的闭环系统,蚂蚁金服在联盟链设计的时候,做一条链服务所有的联盟服务,跨链是从一开始就有考虑。再往前走,从链和独立的不同的平台,相信未来从供应链和联盟链会形成统一链与链之间的互联互通的标准协议。

“联盟链技术的安全和保护,与它相对应的规模和性能的核心技术挑战有很多。从密码学算法这块,包括安全计算,都是区块链的基础技术,我们希望继续探索。” 张辉认为,打造服务于商业级的金融服务需求的大规模区块链网络是挑战,也是蚂蚁金服现在聚焦的领域。

蚂蚁金服张辉:打造商业金服需求的大规模区块链是挑战

阿里巴巴达摩院区块链实验室负责人张辉介绍,目前蚂蚁金服区块链已在金融、零售以及城市生活三大领域做了一些探索。打造服务于商业级金融服务需求的大规模的区块链网络是挑战,也是蚂蚁金服现在聚焦的领域。

11月17日,在2018 F²科学峰会“区块链技术”研讨会上,蚂蚁金服区块链平台部总监,阿里巴巴达摩院区块链实验室负责人张辉介绍,目前蚂蚁金服区块链已在金融、零售以及城市生活三大领域做了一些探索。打造服务于商业级金融服务需求的大规模的区块链网络是挑战,也是蚂蚁金服现在聚焦的领域。

张辉介绍,蚂蚁金服主要在联盟链阶段探索。过去三年主要做联盟链,提供金融级的服务,目前供应链的技术不能满足性能、安全隐私保护需求,蚂蚁金服打造自主可控的金融级的应用区块链平台。

蚂蚁金服区块链在金融、零售以及城市生活三大领域做了一些探索;金融方面,做了全球第一个基于区块链的电子钱包间的跨境支付,香港贵宾的用户可以24小时使用区块链的服务。供应链金融希望开放连接核心企业、银行机构,更重要的是服务更多中小微企业。

零售方面,依托于阿里大生态,天猫跨境商品溯源,今年双十一天猫1.5亿商品已经具有了商品溯源的ID,相关的整个溯源信息是底层流转给用户提供商品溯源的服务。包括,跨境的食品、奶制品、化妆品、钻石。

城市生活方面,包括城市房屋租赁。以雄安为基点,主要从房屋租赁信息共享打通城市政府房屋租赁各个服务商之间的数据孤岛做了一些探索。在医疗、处方流转、电子票据和其他场景做了相关落地应用。

张辉表示,从纯技术角度看,区块链是互联网上的应用,供应链和联盟链,最终呈现出价值互联网。从互联网的角度最核心是开放、互联互通。供应链也是自己的闭环系统,蚂蚁金服在联盟链设计的时候,做一条链服务所有的联盟服务,跨链是从一开始就有考虑。再往前走,从链和独立的不同的平台,相信未来从供应链和联盟链会形成统一链与链之间的互联互通的标准协议。

“联盟链技术的安全和保护,与它相对应的规模和性能的核心技术挑战有很多。从密码学算法这块,包括安全计算,都是区块链的基础技术,我们希望继续探索。” 张辉认为,打造服务于商业级的金融服务需求的大规模区块链网络是挑战,也是蚂蚁金服现在聚焦的领域。

阿里云数据库10月刊:阿里云数据库获国际顶级研究机构认可 服务中国十亿用户 领跑数据时代

Gartner公布2018全球数据库魔力象限 阿里云是唯一入选中国企业 国际知名调研机构Gartner公布了2018年全球数据库魔力象限评选结果,阿里云成为该领域最大黑马,以国内数据库市场份额第一的身份,首次入选并且进入远见者(Visionaries)象限,这是中国科技企业首次进入该榜单,意味着国产数据库开始和全球顶级的数据库服务厂商同台竞技。

一、重点事件:Gartner公布2018全球数据库魔力象限 阿里云是唯一入选中国企业

国际知名调研机构Gartner公布了2018年全球数据库魔力象限评选结果,阿里云成为该领域最大黑马,以国内数据库市场份额第一的身份,首次入选并且进入远见者(Visionaries)象限,这是中国科技企业首次进入该榜单,意味着国产数据库开始和全球顶级的数据库服务厂商同台竞技。

Gartner 数据库魔力象限设定了很高的入选标准,包括全球市场份额、产品能力、行业覆盖、客户反馈等。该报告对全球50多家厂商的数据库服务进行全方位扫描,对最终进入魔力象限的厂商从15个维度进行评估,远见者象限代表着入围公司具备良好的产品技术前瞻性,在市场上进一步突破之后将有希望成为该领域的绝对领导者。
下载报告

346575_0001

二、产品技术进展

1、云数据库HBase 2.0 正式商用,多项重磅企业新功能发布
云数据库HBase2.0是基于开源HBase2.0版本,结合阿里HBase技术和经验演进,其完全兼容HBase2.0,在拥有HBase2.0的所有新特性之外,添加了一系列如oss、公网、本地盘、共享存储、冷热分离、备份恢复、安全等企业级功能。其中,阿里云HBase2.0的全链路offheap减少了GC停顿,降低P999延迟。MOB技术重新定义了小对象实时存取,具有低延迟,读写强一致,检索能力强,水平易扩展等关键能力。

2、SQL Server AlwaysOn读写分离全球领先,轻松扩展9节点,为2018双十一保驾护航
历经3次架构演进,SQL Server读写分离PaaS化产品终于率先于其他友商在阿里云成功落地。用户通过购买一对主备节点后可扩展至7个只读节点,只读提供负载均衡功能,该产品解决了单实例产品的性能瓶颈,轻松实现Scale out,适用于企业级用户的各类场景。
SQL Server只读分离产品用户期待已久,从2015年我们就开始筹划该产品的实现,随着技术不断迭代和成熟,本月产品才正式推出。自产品灰度发布以来,已经有很多大客户进行试用和使用,其中每年双11轻松破亿、订单千万级别的三只松鼠为应对2018年双11已把仓储核心系统迁移到该产品上,充分的的信任是我们前进的方向,我们将不断优化产品,为创造客户价值继续努力!

3、智能顾问Advisor – 帮你用好云RDS
智能顾问(Intelligent Advisor)是一个智能化的云上顾问,在2018年上线面向全网用户开放,基础诊断项全部免费。它能根据用户情况,结合阿里云沉淀多年的最佳实践经验,为用户提供精准的个性化诊断。

4、云数据库发布主动运维系统,架起了产品运维人员和用户之间的桥梁,大大提升了用户对于后台主动运维的体验

针对于云数据库各个产品的主动运维系统已发布上线。通过主动运维系统,产品运维人员对于主动运维事件只需一键下发事件,即可由系统自动完成包括变更审批、变更规划、用户通知、变更执行等动作,并提供用户实例级别的变更计划修改入口。 既规范和简化了日常运维变更动作,将变更行为变成产品级的系统行为,大幅降低了线上变更风险。用户可以结合自己的业务,通过控制台灵活调整变更计划,对变更影响做到自主可控。

三、开发者生态

1、“PG天天象上技术沙龙”于10月26日-27日在广州/深圳两地顺利举办
本次技术沙龙联合了PG社区、云栖techday、清华大学研究院、创新基地,以及ADAM Oracle迁移上云小组等,旨在帮助和推动传统Oracle企业数字化转型。内容覆盖阿里云PG系列产品和工具(包括RDS PG,PPAS,POLARDB-O,ADAM)、应用场景和客户案例,以及传统Oracle用户如何迁移上云。
本次活动覆盖银行、证券、互联网电商/游戏、人工智能、高校教育、医疗、新制造、政府、电力等行业的开发者、DBA、架构师、CTO和CIO等人群。
通过本次沙龙与企业面对面的沟通和交流,探讨了各行业特性,以及不同行业用户对云数据库的期望,同时了解到传统Oracle用户上云的阻力,以及数据库选型面临的问题等,使我们更有目标的改进产品,并推动云数据库在行业用户的影响力。

2、HBase Meetup 在武汉顺利举行
由中国HBase技术社区主办的HBase Meetup线下交流会在十月份在武汉如期举行,会议报名人数100人左右。来自阿里云、武汉烽火的嘉宾分享了HBase的使用经验及案例等,现场气氛热烈,每场都有观众提5个以上的问题,会后嘉宾们和到场的同学进行了更进一步的面对面的技术交流。

四、技术干货:重温2018杭州云栖大会云数据库专场

1、POLARDB专场
阿里云自研新一代企业云数据库POLARDB背后的技术
https://yq.aliyun.com/articles/653537
POLARDB在金融级数据库架构演进中的应用
https://yq.aliyun.com/articles/653542
校宝在线对于新教育行业的云思考
https://yq.aliyun.com/articles/653545
数据驱动 广告大数据的云数据库实践
https://yq.aliyun.com/articles/653409
云原生数据库如何打造业务弹性
https://yq.aliyun.com/articles/655018
用POLARDB构建客到智能餐饮系统实践
https://yq.aliyun.com/articles/669300

2、MySQL专场
饿了么数据库发展中的解决方案
https://yq.aliyun.com/articles/653428
MySQL未来在哪?
https://yq.aliyun.com/articles/658168
众安保险五年的云计算故事
https://yq.aliyun.com/articles/658165
数据驱动的零售转型实践-联华华商案例分享
https://yq.aliyun.com/articles/658153
云上数据库“全链路安全”实践:保护企业核心资产
https://yq.aliyun.com/articles/655035

224秒训练ImageNet!这次创纪录的是索尼大法

随着用于深度学习的数据集和深度神经网络模型的规模增大,训练模型所需的时间也在增加具有数据并行性的大规模分布式深度学习可以有效缩短训练时间。

f6c072aa711da64a967f1ae051cc752f.jpg

深度神经网络训练速度越来越快已经不是新鲜事,但是,将ImageNet训练时间降低到200秒级别仍然让人震撼!近日,索尼发布新的方法,在ImageNet数据集上,使用多达2176个GPU,在224秒内成功训练了ResNet-50,刷新了纪录。

随着用于深度学习的数据集和深度神经网络模型的规模增大,训练模型所需的时间也在增加具有数据并行性的大规模分布式深度学习可以有效缩短训练时间。

然而,由于大型 mini-batch 训练的不稳定性和梯度同步的开销,将分布式深度学习扩展到大规模的GPU集群级别很有挑战性。

日本索尼公司的Hiroaki Mikami等人近日提出一种新的大规模分布式训练方法,通过控制batch size解决了大型mini-batch训练的不稳定性,用2D-Torus all-reduce解决了梯度同步的开销。

具体而言,2D-Torus all-reduce将GPU排列在一个逻辑2D网格中,并以不同的方向执行一系列操作。

这两种技术都是基于索尼的神经网络库NNL(Neural Network Libraries)实现的。最终,索尼的研究人员在224秒内(使用多达2176个GPU)成功训练了ImageNet/ResNet-50,并在ABCI 集群上没有明显的精度损失。

在ImageNet数据集上训练ResNet-50是用于测量深度学习分布式学习速度的一般行业基准,该研究刷新了这个基准的速度。

8226560de5e3b6a8fe2300251e13dd89.png

论文地址:

https://arxiv.org/pdf/1811.05233.pdf

224秒!刷新深度学习纪录

在大型GPU集群中,大规模分布式深度学习存在两个技术问题。第一个问题large mini-batch训练造成的收敛精度下降。第二个问题是GPU间梯度同步的通信开销。解决这两个问题需要一种新的分布式处理方法。

近年来,许多研究人员提出了多种方案来解决这两个问题(见原文参考文献)。这些工作利用ImageNet/ResNet-50训练来衡量训练效果。ImageNet/ResNet-50分别是最流行的数据集和最流行的DNN模型,用于对大规模分布式深度学习进行基准测试。

表1比较了近期一些工作的训练时间和top-1验证精度。其中,Facebook使用256个Tesla P100 GPU,在1小时内训练完ResNet-50,是加速了这一任务的著名研究。

a75038e9a2b1d24385b1fb474221c861.jpg

表1:ImageNet/ResNet-50训练时间及top-1 -crop验证精度

之前的其他一些业界最好水平来自:

日本Perferred Network公司Chainer团队,15分钟训练好ResNet-50 [5]

腾讯机智团队,6.6分钟训练好ResNet-50 [6]

索尼团队的研究着重于解决大型mini-batch训练的不稳定性和梯度同步开销,他们使用2176 个Tesla V100 GPU,将训练时间缩短至224秒,验证精度为75.03%。

研究人员还尝试在不造成明显精度损失的情况下提高GPU scaling效率,使用1088个Tesla V100 GPU将GPU scaling效率提高到91.62%(表2)。

3f757cec08e4aad5dbed53da958aab40.png

表2:ImageNet/ResNet-50训练的GPU scaling 效率

2大方法解决不稳定问题

大规模分布式训练有两个主要问题:大型mini-batch训练的不稳定性和同步通信的开销。

众所周知, large mini-batch训练是不稳定的,会产生泛化差距。

数据并行分布式训练需要在每个训练迭代之间增加一个步骤,以便在参与的GPU之间同步和平均梯度。这个步骤是使用一个all-reduce的集合操作来实现的。在一个大型GPU集群中,all-reduce集合操作的开销使得线性缩放变得非常具有挑战性。

针对这两个问题,我们使用Batch Size控制技术来解决不稳定问题,并开发了2D-Torus all-reducing方案,有效地跨GPU交换梯度。

Batch Size Control

以往的工作已经证明,在训练期间逐渐增加总的mini-batch size可以减少大型 mini-batch训练的不稳定性。直观地说,随着训练的损失情况变得“平坦”而增加批大小有助于避免局部最小值。

在这项工作中,我们采用 Batch Size Control来减少精度下降, batch size超过了32K。在训练期间采用了预定的batch-size来更改调度。

2 D-Torus All- reduce

有效的通信拓扑对于减少集体操作的通信开销至关重要。

为了解决这个问题,我们开发了2D-Torus all-reduce。2D-Torus拓扑结构如图1所示。集群中的GPU排列在2D网格中。在2D-torus拓扑中,all-reduce由三个步骤组成:reduce-scatter,all-reduce和all-gather。

82a53ea3d93c06224eeacf750a1cee8c.png

图1:2D-Torus拓扑由水平和垂直方向的多个环组成。

2D-Torus all-reduce的示例如图2所示。

a0b8086781174167bde9b66377909441.jpg

图2:在2×2网格中,一个4-GPU集群的2D-Torus all-reduce步骤

评估:实验设置和训练设置

实验设置

软件:使用神经网络库(NNL)及其CUDA扩展,作为DNN训练框架。通信库使用NCCL和OpenMPI。2D-Torus all-reduce在NCCL上实现。以上软件打包在Singularity容器中,用于运行分布式DNN训练。

硬件:使用AI桥接云基础设施(ABCI)作为GPU集群。ABCI是日本先进工业科技研究所(AIST)运营的GPU集群。它包括1088个节点,每个节点有4个NVIDIA Tesla V100 GPU,2个Xeon Gold 6148处理器,376 GB内存。同一节点的GPU由NVLink互连,而节点由2个InfiniBand EDR互连。

数据集和模型:使用ImageNet数据集。使用ResNet-50作为DNN模型。模型中的所有层都由[9]中描述的值初始化。

训练设置:

使用LARS [9],系数为0.01,eps为1e-6更新权重。学习率(LR)通过以下公式计算:

f42205da582524afff0f2388620a7817.png

用以下公式计算出总的mini-batch size和学习率。

1293cfcd12760156f12613c2c7db0a29.png

我们还采用了[15]中介绍的混合精度训练。前向/后向计算和同步梯度的通信在半精度浮点(FP16)中进行。

我们调整每个worker和总batch size,如表3所示,直到将总batch size增到最大。通过增加GPU的数量(Exp.1到Exp.4)来尝试提高最大总batch size。

76989b9dab5e103b60199c6237953469.jpg

表3:per-worker/total mini-batch size

但是,当使用超过2176个GPU时,训练效率变低了。因此,由于这个问题, Exp. 5 和Exp. 6仅使用2176个GPU。

fe6b633e1851f429a16c2d03fa999ebc.png

表4:实验中使用的2D-Torus拓扑的网格尺寸。

结果:精度无损失,训练时间只需224秒

我们在224秒内完成了ResNet-50的训练,没有明显的精度损失,如表5所示。

af08fe1d0181bed179f25fd65e007c33.png

表5:Top-1 1-crop 验证精度和训练时间

训练误差曲线与参考曲线非常相似(图3)。虽然最大的batch size可以增加到119K也不会造成明显的精度损失,但进一步增大会使精度降低约0.5%(表5中的实验6)。

b1baf8e50b4de6278e397d5506486b7d.jpg

图3:训练误差曲线

我们描述了与单个节点(4个GPU)相比的训练速度和GPU缩放效率。

表6显示了当每个worker的批大小设置为32时的GPU数量和训练吞吐量。虽然当使用超过2176个GPU时,GPU scaling效率降低到70%,但当使用1088 GPU时,scaling效率超过了90%。

在之前的研究[6]中,当使用1024个Tesla P40,每个worker的批大小设置为32时,GPU scaling效率为87.9%。因此,与之前的研究相比,我们的通信方案通过更快、更多的GPU实现了更高的GPU scaling效率。

5a216dc48a882d2b0304730c6cf75ec2.png

表6:2D-Torus all-reduce的训练吞吐量和scaling效率

结论

大规模分布式深度学习是减少DNN训练时间的有效方法。我们采用了多种技术来减少精度下降,同时在使用一个庞大的GPU集群进行训练的同时保持了较高的GPU scaling效率。

这些技术是用神经网络库(NNL)实现的,我们使用了2176个 Tesla V100 GPU,训练时间224秒,验证精度75.03%。我们还通过1088个Tesla V100 GPU达到了90%以上的GPU扩展效率。

论文地址:

https://arxiv.org/pdf/1811.05233.pdf