流量采集网络流量监测的意义
随着网络应用的不断发展，以 IP 数据包交换为特征的计算机网络已经逐渐替代以电路交换为特征的传统网络。以 Internet 为代表的 IP 网络规模不断扩大，各种新的网络设备、基于不同流量模型的业务应用的不断出现使得网络拓扑结构、网络应用及网络管理日益缤纷复杂。人们也逐渐认识到对网络行为的深入理解是保障网络健康运行的决定性因素之一，是网络容量规划、流量工程、故障诊断、性能提升的科学决策依据，是保障网络高可靠、低延迟/丢包、降低操作复杂性的基础。网络监测作为时下流行的一种方法和手段是获得网络行为特征的重要手段之一。
网络的流量采集，测量与分析预测，对于网络提供者、网管人员都有着非常重要的意义。对网络提供者来说，通过流量测量与预测，可以了解到自治域之间、网络之间的流量情况及其趋势，这些数据可以用于网络优化应用中，更好地进行路由设计和负载均衡的设计。通过流量测量，网络提供者可以采用更为灵活的计费方式，比如基于用户使用网络的时间，基于用户占用的带宽和流量，基于用户的业务类型和服务质量等。对网管人员来说，通过对网络流量的测量与预测，可以制定网络拥塞控制策略。这样就可以降低因网络拥塞带来的信息丢失和延迟，充分利用网络资源，提高服务质量。
网络管理员目前往往采用若干标准的工具与技术，例如 Ping、TraceRoute 和 SNMP(Simple Network Management Protocol) 实现网络监控管理，这些目的明确但功能单一的手段对于满足网络监控从网络设计、容量规划到流量工程、安全检测故障调试等多种多样的需求来说还是远远不够的。
基于 SNMP 的网络管理系统有许多缺陷：流量采集在正常状态下读取路由器等网络设备的 MIB(Management InformatioBase) 统计信息是比较精确的，必须具有网络管理员的权限才能访问待检测的网络设备。SNMP 协议中规定 MIB 所提供的仅仅是基于端口级别的流量统计信息，不能提供应用级甚至用户自定义的更深入详细的性能指标参数，因此基于 SNMP 的全面业务监控无法实现，更重要的是频繁查询MIB库信息会造成网络性能下降。
Ping，TraceRoute 等类似工具只能用于粗粒度测量网络中端到端的某些特征，如带宽、延迟、丢包以及抖动等，不能详细了解网络整体流量的状态和拥塞程度。近几年来，流量采集伴随着互联网上层出不穷的应用和服务，网络技术高速发展，网络监测需求也不断多样化，作为主流监测技术的被动网络流量监测分析越来越受到国内外研究机构和组织的普遍关注。被动流量监测是网络流量监测的一种重要方法，该方法通过观察经过监测点上的所有数据包，解码进行协议分析获得相关的流量统计信息。由于其被动的特征所以不需要向网络中注入流量，从而不会对网络造成负面的影响，在低速率低带宽的网络环境下其表现优越。但是近年来由于网络速率的不断提高，网络带宽的增加以及高带宽需求的实时业务的出现，使得被动测量技术面临高带宽、大规模、实时分析以及提供符合各种粒度需求的指标的挑战，基于数据包级的被动流量监测呈现出了诸多的问题。随着技术和需求的发展，网络链路速率迅猛增长，已经开始从 Mbps 迈向 Gbps，不久的将来可能还会发展至 40Gbps 甚至 Tbps。千兆网卡和千兆交换机已经开始逐步进入主流市场，几乎每个新的局域网用户都会采用此项技术，一个普通的家庭用户所能够获得的带宽比两年前一个公司获得的带宽还要大。
网络应用的普及与网络技术的发展导致网络流量也日益庞大，流量采集在面对高速链路时流量监测和分析技术所依赖的传统数据包捕获方法开始受到诸多条件的限制，如 PCI(Periphery Component Interconnect)总线吞吐量、存储容量、内存访问速度、磁盘阵列访问速率、内存拷贝开销、系统调用开销、中断开销以及操作系统中的任务调度机制等都对数据包在高速链路条件下的捕获产生影响。由于这些条件的限制，使得可满足低速链路流量监测和分析要求的传统数据包捕获技术很难适用于高速链路的网络环境。几乎所有的被动流量监测工具都是基于数据包捕获的，最为典型的是 Tcpdump/Libpcap，监测工具首先需要捕获流经监测接口或链路的数据包，接着对缓存的数据包执行分类统计[5]，从实时性角度可以将流量监测工具分为两大类：
实时和非实时监测，伴随着面向新业务的流量监测需求的出现，实时监测工具开始逐渐成为主流如：入侵检测系统 Snort、流量分析工具（ntop、Ethereal、Wireshark）等；非实时监测工具仅仅捕获并保存原始数据包，待空闲时再执行历史分析，如：Tcpdump；目前几乎所有常用的基于软件实现的被动流量监测分析工具都是基于 Libpcap 库，并且都采用串行方式来处理数据包。在高速网络链路环境中，设计高效率的流量监测分析系统的一个关键点就在于如何捕获和分析所有的网络数据包。
相关信息：