信息学科学术报告(陈汉华 华中科技大学)

发布者:段玉玲   发布时间:2018-01-12  浏览次数:110

报 告 人:陈汉华教授(华中科技大学)

报告题目:高时效分布式流处理系统负载均衡策略研究

报告时间:113日(周六)下午14:30-15:30

报告地点:数理信息学院21-327会议室

报告人简介:

 陈汉华,华中科技大学教授,博士生导师。目前负责国家重点研发计划项目课题、国家自然科学基金面上项目、教育部-中移动科研基金项目、广东省科技创新项目、教育部博士点基金项目、CCF-Intel项目、中国电力科学研究院科研项目等多个项目或课题。在WWWRTSSICNPICDEHPDCIWQoSIPDPSICPPTCTPDSTKDETMCTSC等国际会议和期刊上发表论文60余篇。曾获得湖北省科技进步二等奖(2008)、全国百篇优秀博士学位论文(2012)、国家自然科学基金优秀青年科学基金(2014)、国家科技进步二等奖(2015,排名第四)

报告摘要:

 随着互联网、社交网和物联网技术的蓬勃发展,“大数据”往往以“流数据”的形式呈现出来。为了满足越来越多的大数据应用对流数据处理的高时效需求,分布式流处理系统应运而生。现有的分布式流处理系统在对工作负载进行划分时,常采用轮询或哈希等一刀切的策略。然而在面向高倾斜分布的真实数据时,现有的调度策略给系统带来严重负载不均,吞吐率受限的问题。本研究指出高效的分布式流处理的关键是能够对不同热度的数据进行即时的识别和有效的区分调度。为此,研发了分布式流数据区分处理系统DStream。为了有效应对热点流数据项的实时动态变化,并满足流处理系统低时空复杂度的需求,DStream设计了一种轻量级基于概率计数的技术来进行热门数据项的高效识别,并据此对不同热度的数据采用区分调度策略来保证系统的负载均衡性。相对于目前最新流处理系统,DStream将系统总体吞吐率2.3倍,将平均处理延时降低了64%

  

  

  

  

 

联系电话:0579-82298188(学院办) 0579-82298900(教务办) 0579-82298887(学工办)
浙江师范大学数理与信息工程学院 地址:浙江省金华市迎宾大道688号 邮编:321004 管理登陆
Copyright?2011 mpi.zjnu.net.cn All rights Reserved