作者:
王宏
关键词:
综合流量管理；流量测量；流量数据采集；多级过滤器；大象流；主成分分析；关键链路；流量矩阵；信息熵；流量负载平衡
摘要:
近年来，随着用户数量和多种业务的急速膨胀，互联网呈爆炸性地增长，已发展成为国家政 治、经济和社会生活的重要基础设施。互联网的性能及其运行稳定性成为了事关国家和社会发展的关键性问题。加强网络管理和提高网络性能已成为当务之急。网络 综合流量管理研究流量采集、分析、优化的方法，其目的是实现网络流量的科学有效管理。网络综合流量管理是高性能协议设计、网络设备开发、网络规划与建设、 网络管理与操作的基础，同时也是开发高性能网络应用的基础，开展网络综合流量管理关键技术研究具有重要的理论意义和实用价值。目前国内外研究人员针对网络 流量管... 展开 近年来，随着用户数量和多种业务 的急速膨胀，互联网呈爆炸性地增长，已发展成为国家政治、经济和社会生活的重要基础设施。互联网的性能及其运行稳定性成为了事关国家和社会发展的关键性问 题。加强网络管理和提高网络性能已成为当务之急。网络综合流量管理研究流量采集、分析、优化的方法，其目的是实现网络流量的科学有效管理。网络综合流量管 理是高性能协议设计、网络设备开发、网络规划与建设、网络管理与操作的基础，同时也是开发高性能网络应用的基础，开展网络综合流量管理关键技术研究具有重 要的理论意义和实用价值。目前国内外研究人员针对网络流量管理展开研究工作，并取得许多有价值的研究成果。 论文面向网络流量管理需求和特点，针对当前网络流量管理技术的不足，从流量数据采集、关键链路选择、关键流量矩阵选择、网络流量分配、网络异常流量检测、 流量特征分析和综合流量管理原型系统实现等几个方面展开深入研究。主要完成了以下工作： (1)提出了两个大象流识别算法：Hits和Holds算法，克服了Estan等人提出的大象流识别算法随机丢弃报文带来采集数据不准确和需要同时多次访 存无法实现高速实时数据采集的问题。Hits算法将流直接加入到流缓存表中并开始计数，当计数值超过阈值，则加入到流表中；对于在流缓存表中没有入口的报 文，使用多级过滤器计数，如果多级过滤器中每一级过滤器均报超过阈值，则将该报文的流标志加入流表中。Holds算法设计了一种解决冲突问题的流缓存表， 使用一级过滤器，实现报文的高速采集。论文对两个算法进行了详细描述，并对算法的有效性进行了理论分析，最后使用网络实际流量数据对算法进行了评估，与 Estan等人提出的SampleandHold及Multistage算法进行了比较。理论和实验表明Hits和Holds算法对网络大象流的误检率和 漏检率均优于SampleandItold及Multistage算法。 (2)提出了一种基于主成分分析的网络关键链路发现算法PCAR及基于关键链路的网络拓扑优化算法BTop。PCAR算法通过分析网络流量的时间和空间的 相关性来发现网络中的关键路径，BTop算法基于关键链路分析和图的顶点割来优化网络拓扑结构。论文用Abilene流量和拓扑数据验证了PCAR算法和 BTop算法的有效性。 (3)提出了关键流量矩阵发现算法MinMat。该算法引入信息熵和耗费函数等概念，先计算流量矩阵的信息熵并选取信息熵较大的若干个矩阵作为候选关键矩 阵，而后对最小耗费的簇进行迭代合并，直到最后获得需要的流量矩阵。使用Abilene提供的网络流量矩阵进行实验，使用TOTEM模拟验证了 MinMat算法选择结果的有效性。理论分析与实验表明MinMat比K-means、层次凝聚和CritAC具有更高的效率，选择结果具有更好的代表 性。 (4)提出了一种面向大象流的动态负载分配算法FEFDA。FEFDA算法采用Hits或holds算法识别长时效的大象流，对大象流采用动态最小负载分 配，对小流负载进行静态分配方法，降低流抖动率和提高负载调度效率。使用NLANR数据对算法的有效性进行了评估。理论和实验表明：与传统流量分配算法相 比，FEFDA具有更低的流抖动率和更好的负载均衡度。 (5)提出了基于PCA和信息熵技术发现网络异常流量算法FilterA。FilterA结合报文统计信息和流的特征信息综合判断网络异常行为，同时提出 使用均方差偏移作为判断异常的阈值，在保证准确性的前提下有利于提高判断速度。用校园网的真实流量数据对FilterA算法进行了测试，测试表明 FilterA算法具有较低漏判率和误判率，检测方法简单，可以应用于对大规模网络流量进行异常检测。 论文还使用R/S方法和聚类方差法对TOTEM公布的AS20965的流量、长沙电信骨干网流量及校园网流量进行了Hurst参数测定。实验显示：这些流 量都具有自相似性，但Hurst指数各不相同，AS20965的流量具有更强的自相似性，而校园网流量的自相似性相对较弱一些。同时发现使用聚类方差法分 析Hurst指数效果较差，存在较大误差。 在上述研究基础之上，设计并实现了网络综合流量管理系统YHTMS。YHTMS实现了本文提出的网络综合流量管理的各种算法，YHTMS采用面向服务的体 系结构，有利于实现管理控制与数据平面分离。论文重点阐述了YHTMS的总体结构、系统布署、数据处理流程、数据库设计、核心系统的调用和依赖关系，对实 现技术进行了详细描述，最后展示了系统的运行效果。 综上所述，本文的工作针对网络综合流量管理技术中的关键问题提出了有效的解决方案，对于推进网络综合流量管理技术的理论研究和实用化具有一定的理论价值和 应用价值。
在线下载