网络化软件开发环境与运行平台

作者: 时间:2017-06-27 点击数:

网络化软件已经成为软件的主要形态,开放性、群体性和智能性成为其主要特征。与传统单机软件相比,提高其开发效率和质量面临着新的挑战。实验室重点针对网络化软件的开发效率和运行效能问题,以网络化软件开发与运行一体化为基本出发点,从开发方法和运行技术两个方面系统地研究了网络化软件的开发环境和运行支撑平台的核心问题,突破了一系列关键技术,研制了面向服务的开发环境和高效能的网络化软件运行平台,并在多个关键领域开展了成功应用,成果在国内外学术界和工业界产生了重要影响。

1.面向服务的网络化软件在线开发环境

面向服务成为网络化软件的一种重要开发方法,实验室从面向服务的角度突破按需服务组合、可信演化和大规模服务资源管理等网络化软件核心技术,并构建了支撑环境、开展了示范应用。取得的主要成果如下:

(1) 在理论方法与关键技术研究方面,将服务计算与云计算技术系统地结合起来,建立了支持面向服务的软件在线开发与运行的技术体系,突破了基于智能推荐的按需服务组合理论与技术、基于微内核的服务可信运行与演化技术和基于服务关系的大规模服务资源管理技术等网络化软件开发的核心技术,并通过在线旅游服务应用进行了技术有效性验证。

(2) 在工具与系统研制方面,基于所突破的关键技术与方法分别研制了服务化软件在线开发环境、面向服务的应用引擎和服务资源管理系统,并建立了Service4All平台,全面支持服务注册、发现与推荐等管理功能;基于面向服务的在线软件建模、组合、仿真与测试等开发活动;透明的服务部署与可信运行托管。平台提供15个在线服务化软件工具、1602个主流中间件平台的管理服务和101个服务化管理流程,可实现90%以上日常管理服务的自动执行。

总体上,在面向服务的网络化软件关键技术方面取得多项创新,研制了支撑工具和平台,并应用于“上海市民服务平台”、青岛和重庆等智慧城市应用服务项目。牵头及参加3项ISO国际标准制定,论文发表在TSC、TODS和JCSS等国际顶级期刊与会议,获服务计算领域重要国际会议IEEE SCC’13最佳学生论文奖1项,相关成果分别获得2015年国家技术发明二等奖1项和2013年教育部科技进步一等奖1项。

2.高效能的网络化软件运行平台

云计算可构建安全可靠、弹性伸缩的资源管理与软件运行平台,已成为网络化软件运行支撑的重要技术。实验室以网络化软件运行的高效能为目标,围绕资源管理的高效性和软件服务的高质量,突破了现代数据中心平台的虚拟化资源管理、任务可靠高效调度的一系列关键技术,研制了虚拟计算资源管理系统,并在著名互联网企业进行成功应用。

(1) 在技术研究方面,重点研究了数据中心资源的高效虚拟化、运行状态维护、资源调度与分配、自适应弹性绑定、大规模并发控制和多副本容错等核心机制,着力解决多尺度数据中心资源按需聚合模式的效能问题。围绕规模化“效能”这一科学问题,从大规模实证数据的数据分析与建模入手分析,建立了数据中心任务资源分析的方法学;继而突破了效能这一科学问题下性能干扰模型分析与系统消除、高失效故障率下系统的监控与处理及其高可用保障机制、负载规模和资源规模急剧增加下系统的性能保障与容错技术等。

(2) 在系统研制与应用方面,研制了大型虚拟计算资源管理系统iVIC,并在不同尺度实验及半生产环境中进行了部署,在阿里云、华为、华胜天成、神州租车和中国移动等进行成功应用,并得到Google系统首席科学家Jeff Dean等的积极评价。特别是,所提出的增量调度、弹性配额和数据建模分析等技术。

应用于阿里云伏羲分布式资源调度系统,通过增量的调度和通信机制使得系统能支持单集群超过1万个节点的资源管理,可同时运行超过10万个并行进程,实现毫秒级的调度;通过弹性配额的动态控制调整机制能实现多种混合任务的统一管理,日常的资源利用率可从原先的5%提升到54%,峰值的资源利用效率可从22%提升到64%;面向恢复的可靠运行机制使生产系统中调度器自身因素所导致的作业失败零出现,极大地保证了系统服务运行的效能;所设计并大量使用的数据建模分析模块已在阿里云系统中承担起了核心的功能,包括系统日常巡检监控、用户行为分析、系统模块优化等。利用系统优化、性能追踪以及面向容错的资源高效调度等技术,FuxiSort打破了2015世界排序竞赛SortBenchmark的多项世界纪录,例如可利用377秒完成100TB 排序工作,相比于此前1400秒的成绩提高了超过三倍。

总体上,基于以上研究,获国家自然科学基金重大研究计划项目和国家973 “高效可信的虚拟计算环境基础研究”项目的资助,并创建了北航-利兹CoLaB国际联合实验室(2006-2016),与阿里巴巴的合作研发成果在大规模分布式计算领域产生了国际影响力。成果发表在IEEE TPDS、IEEE TSC、IEEE Internet Computing、ACM TOIT、IEEE TCC等顶级期刊,及VLDB、DSN、LISA、VEE、AINA等顶级会议,并获IEEE SOSE 和IEEE ISADS最佳论文奖。

软件开发环境国家重点实验室 地址:北京市海淀区学院路37号北京航空航天大学新主楼G座
邮编:100191 联系电话:010-82338092 邮箱:nlsde@nlsde.buaa.edu.cn