PK10注册

您现在的位置:新闻首页>国际新闻

五道口金融学院演讲:星云Clustar畅谈AI PaaS如何支撑未来新场景

2019-11-02 20:08编辑:admin人气:


  原标题:五道口金融学院演讲:星云Clustar畅谈AI PaaS如何支撑未来新场景

  9月22日,由清华大学五道口金融学院首创,以“数字化与AI的产业应用”为主题的“智慧企业家”高管课程在深圳市举办。作为星云Clustar的创始人陈凯教授应邀发表了《打造高性能、深度安全的AI PaaS 支撑未来AI应用新场景》的主题演讲,和与会的企业家分享了AI 应用现状及 AI PaaS面临的▷•●关键挑战、新型 A▲★-●I PaaS 关键技术,以及AI PaaS 搭载未来 AI 新应用场景。以下由星云Clustar整理,为不能亲临现场的读者带来本次课程最完整实录。

  麦肯锡全球研究对大数据所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。在过去的几年来,AI的算法呈现爆炸式的发展。2012年,ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计了计算机视觉模型AlexNet,打开了深◇=△▲度学习的热潮。随着研究的不断进步,人工智能算法应用到了各个领域,如选举预测、城市运力优化、美颜换脸、个性化推荐等。

  从Gartner在2019年8月29日公布的2019年新兴技术发展周期报告(Hype Cycle for Emerging Technologies, 2019)中显示,AI PaaS(人工智能平台服务)正处于曲线的峰值处,人们对AI Paas(人工智能平台即服务)关注度日益提⾼。

  在介绍AI PaaS前,先介绍传统云计算中的三个分层:IaaS、PaaS、Sa•●△▪▲□△aS。

  IaaS 是云服务的最底层,主要提供一些基础资源,如计算机服务器,存储设备和通信设备等,能够按用户需求提供计算能力、存储能力或网络能力。PaaS 提供一套软件部署平台,包含操作系统、开发和应用解决方案,用户只需要关注自己的业务逻辑,让所有开发都能快速实现。SaaS则是通过互联网提供的软件应用服务,用户不需要关心技术问题,可以拿来即用,例如:微信、淘宝、钉钉等。顾名思义,AI PaaS即是在数据中心里构建人工智能的PaaS平台,提供底层基础设施,以及AI 算法运行平台,如 TensorFlow、Spark 等;同时也包含其他辅助部件。AI PaaS 的出现,使得用户只需要关注如何快速地将数据与算法转化为智能应用落地,无须关注如何部署,如何搭建服务器等细节。

  目前提升AI算力的方法有两类:一类是通过纵向扩展:通过提升单个处理器的性能来提升算力;一类是通过横向扩展:通过同时使用多个处理器来提升算力,处理器越多,算力越大。随着摩尔定律的失效使得纵向扩展存在天花板,主流 AI PaaS▲●…△ 开始采用横向扩展提升算力,但受制于传统网络传输技术,使计算机集群的性能被大大降低了,在某些情况下,只能发挥不到20%的整体算力。

  2、数据孤岛、数据安全☆△◆▲■问题继欧盟的数据隐私保护条例GDPR出台,中国、美国等也相继提出相关的法律法规,再加上人工智能训练时所需要的数据会涉及到很多领域,不同的公司之间,甚至是同一个公司的不同部门之间数据无法自由流通,这就形成了一个个“数据孤岛”。如前述,数据中心内部采用横向扩展提高算力,难以高效地连接多个数据孤岛,再加上传统网络技术也无法保证数据能安全地在数据孤岛间交换,因此当前AI PaaS 缺乏对数据安全的技术支持。

  新型AI PaaS为用户打造一个高性能与深度安全的智能加工厂,用户只需提供算法和数据,交互工作由 AI PaaS 完成。新型AI PaaS平台具备以下技术优势:(一)高性能:新兴AI PaaS技术利用了RDMA、GDR、ParaExpress和MLT等关键技术提升AI的性能RDMA(Remote Direct Memory Access)技术全称远程直接内存访问,就是为了解决网络传输中的低吞吐、高延迟而产生的。RDMA通过网络把数据直接传入计算机的内存,将数据从一个服务器快速移动到远程服务器的内存中,无需操作系统参与,不需要额外的 CPU 资源。RDMA 可以实现高吞吐、低时延,降低 CPU 使用率。目前AI软件很难利用▼▲好网络,因为软件层面仍存在大量的开销,例如传输过程中产生的不必要的数据拷贝。星云Clustar的GDR技术就是尽可能去消除软件开销,GPU的数据不再经过内存的多次拷贝,而是直接通过DMA移动到RDMA网卡上,然后通过R□◁DMA网卡直接发送到网络,接受侧也是一样,从而实现零拷贝的数据流目标。

  星云Clustar扩展了很多常用的AI训练框架,例如我们与 TensorFlow 框架深度结合,重新设计 TensorFlow 的内存分配方式,将内存开辟在 RDMA 管理的区域内。并扩展 TensorFlow 的网络通讯模块,使其支持 RDMA 协议。

  星云Clustar优化了底层网络,通过调整网卡及交换机的配置,进一步提升 RDMA 网络的性能。星云Clustar把GDR代码贡献给了TensorFlow社区。当然,星云Clustar也有商业版本,是在开源版本的基础上进行了更多的优化。Parameter Server和Ring AllReduce 是当前最常用的两种参数聚合模式,但它们均存在着各自的问题。Parameter Server是多到一的通信模式,容易在Parameter Server这一侧的link形成拥塞并造成丢包,影响系统性能。Ring AllReduce的问题是数据传输中有依赖关系,比如四台机器构成一个Ring。那么A发给B,B处理完参数再发给C,C再往后传递参数。但是在实际生产环境中会有很大的问题,比如,如果A跟B通信★◇▽▼•非常慢的时候,B到C和C到D的计算,通讯是没有办法开始的,所以Ring的问题是很长的数据依赖关系。为了解决上述问题,星云Clustar提出了ParaExpress。ParaExpress最主要的性能是根据网络的实际情况,生成最优的参数聚合◁☆●•○△模式。

  星云Clustar提出的ParaExpress具有以下优点:(1)根据下层网络状态,动态创建参数聚合拓扑;

  (2)相比于静态方法,有效防止 PS 模式下的拥塞,以及 Ring 模式下的超长 hop 数;

  (4)在一个超售的网络里,ParaExpress 相比 PS 模型可以提供 2.6X 的性能提升;当网络中有随机拥塞的时候,相比 Ring 模式 ParaExpress 能提供 3X 的性能提升。随着规模增大,智能训练中参数在网络的传输占用了越来越多的时间,传输层是决定数据传输任务效率的关键。由于少量出错(10%)对智能训练几乎无影响,因此在智能训练中,可以容忍参数传输出错,但要控制出错比例。MLT允许一定的出错,实现高速传输,实验表明MLT能够大幅缩短智能训练完成时间。

  安全协处理器:FPGA联邦学习是为了解决数据孤岛和隐私合规难题的主流技术之一。然而当前联邦学习数据加密的实现方式为软件方案,面临速度慢,延迟高、功耗大、大量冗余数据拷贝等问题,而通过硬件实现加密是一个很好的解决方案。星云Clustar的自主研发的高性能FPGA加密方案,能让数据在加密状态下进行AI模型训练,牢牢守护人工智能时代的用户隐私和数据安全任务。

  AI PaaS 搭载未来AI的新应用场景:实时推荐系统、交互式金融分析工具、自动驾驶、联邦学习(一)实时推荐系统当前推荐系统的模型训练往往为离线训练,时效性◆▼差。例如: 新闻报道 A 国政治动荡,某推荐系统仍然推荐 A 国为旅游目的地;某用户已经购买产品 A,某推荐系统仍然推荐用户购买 A,或者类似 A 的商品。如果拥有足够高效的算力,推荐系统可以进行实时训练,可以更符合舆情,并且更了解用户。(二)交互式金融分析工具当前基于人工智能的金融分析工具,往往无法交互式的返回结果,分析师提交分析任务后,往往需要漫长的等待,工作节奏被打断。如果拥有充足的算力,分析任务运算速度会变快,从而◆◁•达到交互式体验,极大提高分析师的工作效率。(三)自动驾驶自动驾驶技术需要大量的视频、图片数据进行模型训练。如无充足的算力,无法在有限的时间内处理所采集到的数据,无法精确的建◆●△▼●模,从而造成潜在的决策错误,形成安全隐患,甚至发生交通事故。(四)联邦学习微众银行AI团队在今年2月推出的全球首个工业级别联邦学习框架Federated AI Technology Enabler(简称FATE),可以让企业和机构在保护数据安全和数据隐私的前提下进行AI协作。与此★-●=•▽同时,微众银行AI团队已经推动FATE在信贷风控,客户权益定价,监管科技等领域的一系列应用落•□▼◁▼地。星云Clustar利用AI PaaS为联邦学习提供了底层技术支持,解决算力和数据安全问题,助力联邦学习落地。总结星云Clustar的新型AI PaaS为用户提供一个高性能、深度安全的算力平★△◁◁▽▼台,其中“GDR + ParaExpress + MLT”方案可以解决目前数据中心的算力天花板问题;而安全协处理器也能解决数据安全和用户隐私的合规挑战。人类社会的发展趋势是 AI EVERYWHERE,高效的算◇•■★▼力未来会如同石油一样重要,算力•☆■▲正成为AI时代的重要能源。今天就讲到这里,谢谢大家。返回搜狐,查看更多

PK10注册

(来源:未知)

  • 凡本网注明"来源:的所有作品,版权均属于中,转载请必须注明中,http://www.aseadoras.com。违反者本网将追究相关法律责任。
  • 本网转载并注明自其它来源的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品来源,并自负版权等法律责任。
  • 如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。






图说新闻

更多>>
炒股软件哪个好用?最新最全炒股软件大解析!

炒股软件哪个好用?最新最全炒股软件大解析!



返回首页