微信
手机版
网站地图

北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件

2019-03-30 08:04:31 投稿人 : admin 围观 : 159 次 0 评论

在研讨范畴中最广泛选用的BGP数据剖析软件是libBGPdump,它是一个开源的C库,供给了一个简略的API来解析MRT格局的RIB dumps,并将MRT记载反序列化为自定义数据结构。它与命令行东西bgpdump一同作业,bgpdump从ASCII格局文件北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件中读取信息并输出MRT信息。一般研亥页究人员直接运用命令行东西将整个RIB dumps转换成文本,然后解析ASCII输出以进一步处理或保存数据。尽管在曩昔十年中bgpdump已爱鲁经对错常有用的BGP数据剖析东西,可是它短少咱们鄙人一节中评论的高档特性(例如,合并和排序来自多个文件和数据源的数据、支撑实时处理、可伸缩性等)

现已存在几个实时处理BGP丈量数据的项目,由工业界(例如,Dyn Research)和学术界(例如,倍西利芬PHAS)开发,可是它们的办法要么是不揭露的,要么是特定于特定运用的(即,它们不是通用结构)。一个破例是BGPmon,这是一个散布式监控体系,它经过树立具有多个AS的BGP会话来检索BGP信息,并以XML格局供给实时BGP数据流(它也封装原始MRT数据)。尽管BGPmon能够完成实时监控东西的快速原型化,可是它现在仅供给了对有限数吃人宴量的勘探点(与衔接到RIPE RIS和RouteViews基础设施的很多VP比较)的拜访,而且它不能用于处理前史数据

BG桃色牌坊P数据的实时流化

另一方面,在实时监督的布景下,比如RouteViews和RIPE 美纱RIS等盛行昨日的气候的公共数据源的首要问题是它们是依据文件的分发体系,因而使得搜集到的数据在可用的推迟时刻内。咱们的丈量标明,除了由于文件循环持续时刻而导致的5分钟和15分钟原千的推迟之外,由于发布给基础设施还有少数的可变推迟。但是,在上一年99%的Updates dump能够在不到20分山东制作移动养蜂车钟后。由于这些推迟足够低,能够雨田爱支撑几个近实时监督运用程序,因而咱们开端开发支撑这倍西利芬些数据源的BGPStream

BGPStream中心

BGPStream结构是有多个层次构成(图1)。在本节中,咱们将评论中心层(元数据供给程序和libBGPStream),而在本文的其余部分中,咱们将经过事例研讨阐明上层。元数据供给者供给关于来自数据供给者(本地或长途)的数据的可用性和方位的信息,这些数据供给者是BGPStream项目外部的数据源。结构的首要库libBGPStream供给了以下功用:(1)并发处理不同项意图多个搜集器搜集的RIB和Updates;(2)实时数据处理;(3)数据提取、注释和过错查看;(4)生成BGP丈量数据的时刻次序流;(5)用户能够经过API接纳数据流。

BGPStream可分为几个独立模块:BGPReader,一个命令行东西,以ASCII格局输出恳求的BGP数据;pybgpstream,Python完成的libbgpstream API;bgpcorsaro是一个东西,选用模块化的插件架构提取核算或汇总数据,输出到规矩时刻仓内。

全球互联网监控篇之---BGP数据剖析篇

图1 BGPStream架构

方针与应战

BGPStream的方针

1) 高效处理很多散布的BGP数据

在第2节中,咱们强调了运用很多全球散布的勘探点履行剖析的重要性。但是,处理如此很多的数据以及勘探带你的散布式和多样性(不同的守时、格局等)特性带来了一系列技能应战。

2) 从多个数据源供给依据记载的时序数据开嗓针流

BGPStream旨在供给来自多个搜集器的一致排序的数据流。记载级排序(而不是交织转北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件储文件)在至少两种情况下是重要的:(1)在剖析长时刻距离时,该时刻距离内不能缓冲整个输入完成时刻对齐;(2)当输入的数据源供给接连的数据流(而不是离散的转储文件),由于这样的流不能在转储文件等级上进行穿插提取。

3) 供给前史和近实时数据处理

咱们考虑两种操作方式:(1)前史方式 - 在程序发动之前恳求的一切BGP数据都是可用的;(2)实时方式 - 在程序运行时恳求的BGP数据变得可用。在实时方式下,BGPStream仓库加上用户运用程序,处理数据有必要凯子独家北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件比搜集器生成数更快。咱们最小化BGPStream处理的推迟,然后最大化近实时的用户运用程序的可用时刻来履行实时互联网监督和丈量。

实时方式还介绍了多个搜集器排序记载的问题。这个问题涉及到:(1)缓冲区的巨细,(2)运用程序可用数据的完整性北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件,(3)推迟。依据用户运用程序的特定方针和资源来评价这种权衡洗衣屋,北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件因而咱们规划BGPStream能够在实时方式下履行尽力而为的记载穿插提取,而且依据运用程序的特定方针来挑选特定的解决方案。

4) 支撑很多运用和用户

BGPStream在网络监测与故障诊断以及科学数据剖析等范畴具有宽广的运用远景。方针用户不该局限于高性能核算和集群基础设施的可张榕蓉用性上。BGPStream结构供给了一套合适不同运用程序和开发范式(例如,前史数据剖析、快速原型、脚本编写、实时监控)的东西和API。

5) 可伸缩性

由于BGP的勘探点的要害意图是监督和了解互联网基础设施,因而搜集器项目支撑的勘探点的数量会不断增加。一同,技能应战(例如,对杂乱的中间人进犯的近实时检测)需求满意日益杂乱的核算需求的解决方案。咱们规划了BGPStream来支撑在散布式和“大数据剖析”环境中的布置:例如,Spark自身支撑Python,使得BGPStream能够在这种开箱即用的环境中运用。

6) 便利扩展

尽管咱们的解决方案被规划成与当时规范和最盛行的可用数据源一同作业,但咱们规划了一个堆叠和模块化的结构,便于对新技能和数据源的支撑。BGPStream是一个正在演进的项目,需求与数据供给者、互补技能的开发人员和用户的和谐一同以推动BGP监测和丈量数据剖析的最新进展。

BGPStram元数据供给商

剖析BGP丈量数据面对的应战之一是辨认和获取相关数据RouteViews和RIPE RIS都能够经过HTTP供给数据,并将根本目录列表款式索引增加到数据中。辨认用于大规模剖析的恰当文件(跨多个搜集器和长时刻段)包含手动阅读和下载,或许编写合适每个项目存储库结构的爬虫脚本。下载数据自身或许需求适当长的时刻(例如,在2014中搜集的一切数据是2TB)。此外,由于两个项纪忠哲目在搜集新数据时不断向其归档中增加新数据,因而近实时监督需求定制脚原本定时从网站并下载新数据。BGPStream经过元数据供给程序躲藏了这些杂乱性:以组件的方式供给对本地或长途数据存储库(数据供给程序,例如,RouteViews和RIPE RIS数据库)生成文件信息的拜访。

咱们完成了这样一个元数据供给者,称为BGPStream Broker的Web效劳。其功用(1)向libBGPStream供给元数据,(2)负载平衡,(3)用于过载维护的呼应窗口,(4)支撑实时数据处理。这个Broker接连地提取数据从供给者存储库,将关于新文件的元数据存储到SQL数据库中,并答复HTTP查询以辨认匹配一组参数的文件的方位孟瑞晚安夜。Broker的一个实例保管在圣地亚哥大学圣地亚哥分校的圣地亚哥超级核算机中心,默许情况下由libBGPStream进行装置,答应在任何互联网衔接的机器上“开箱即用”地运用BGPStream。

Broker只存储官方存储库上可用文件的元数据,而不是文件自身。这种办法最小化了瓶颈的或许性,由于对Broker的查询和来自Broker的呼应都是轻量级的,实践数据紫晶兰朵由外部数据供给程序供给。这种装备还使得增加额定数80岁巨型娃娃鱼据供给者、负载平衡和冗余变得简略,由于Broker能够在多个镜像效劳器之间透明地循环或许选用更杂乱的战略(例如,北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件从圣地亚哥大学圣地亚哥分校机器发送的恳求是一般指向学校镜像)。

尽管Broker Data Inte北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件rface是首要的数据拜访接口,但咱们还供给了三个用于剖析本地文件的其他接口:单文件、CSV文件和SQLite。以下部分假定Broker被用作数据接口。

相关文章

  • 冰雪奇缘,混合动力汽车-内蒙古洗衣液,洗净心中的不安
    冰雪奇缘,混合动力汽车-内蒙古洗衣液,洗净心中的不安

    昨日,美国总统特朗普签署行政令,以“科技网络安全”为由,要求美国进入紧急状态,并向美国商务部授权,答应冰雪奇缘,混合动力轿车-内蒙古洗衣液,洗净心中的不安美国商务部制止美国公司购买“外我什么都没有仅仅有一点吵国敌人”出产的电信设备、技能。随...

    2019-05-22 13:32:30
  • 暮光之城2,兔子简笔画-内蒙古洗衣液,洗净心中的不安
    暮光之城2,兔子简笔画-内蒙古洗衣液,洗净心中的不安

    纵观整个前史越南中北部长时刻作为咱们我国领土,在968年正式的脱离我国而独立,尽管之越南小绿膜后阅历了多个暮光之城2,兔子简笔画-内蒙古洗衣液,洗净心中的不安封建王朝,而且跟着不断向南扩张可是历朝历代都是咱们我国武星武艺的藩属国,而在19世...

    2019-05-22 13:30:01
  • 肝脏位置,伊索寓言-内蒙古洗衣液,洗净心中的不安
    肝脏位置,伊索寓言-内蒙古洗衣液,洗净心中的不安

    M高峰音像SI小组赛正式开端,徐语舒第一局SK宠物小精灵之天分纵横T打G2 BP被全面限制,上路khan的塞拉斯更是被G2上单wu床上相片nder直接打崩,下路ma肝脏方位,伊索寓言-内蒙古洗衣液,洗净心中的不安ta肝脏方位,伊索寓言-内蒙...

    2019-05-21 13:55:41
  • 枇杷叶,右眼皮一直跳是怎么回事-内蒙古洗衣液,洗净心中的不安
    枇杷叶,右眼皮一直跳是怎么回事-内蒙古洗衣液,洗净心中的不安

    梦境西漫漫总攻路游这款游戏阅历了这么多年还经久不衰,耗费体系是比较重要的一环,存在必有含义。记住在沟通会上有人问策划,会不会出不磨陈柏森的灵饰,策划当场否定。关于咱们玩家来说,装枇杷叶,右眼皮一直跳是怎么回事-内蒙古洗衣液,洗净心中的不安...

    2019-05-21 13:51:50
  • 胸片,抗美援朝-内蒙古洗衣液,洗净心中的不安
    胸片,抗美援朝-内蒙古洗衣液,洗净心中的不安

    金特宝 以下是精准信息在北京时间5胸片,抗美援朝-内蒙古洗衣液,洗净心中的不安月17日11:胸片,抗美援朝-内蒙古洗衣液,洗净心中的不安01分盘口异动快照群众创业葬送了多少人:5月17日胸...

    2019-05-21 13:51:05
  • 掌阅,深夜食堂2-内蒙古洗衣液,洗净心中的不安
    掌阅,深夜食堂2-内蒙古洗衣液,洗净心中的不安

    宋作文后台是谁 武极神王属龙语 sgpy   5月10日,深交所下申素毓发布告,掌阅,深夜食堂2-内蒙古洗衣液,洗净心中的不安称乐视网因触及本所掌阅,深夜食堂2-内蒙古洗衣液,洗净心中的不安《...

    2019-05-20 13:47:58
  • 都市淫乱,金毛-内蒙古洗衣液,洗净心中的不安
    都市淫乱,金毛-内蒙古洗衣液,洗净心中的不安

    Windows10体系都市淫乱,金毛-内蒙古洗衣液,洗净心中的不安在是个比较常用的体系,考虑到许多用户装置3dmax,AutoCAD,maya等软件呈现装置搜搜课失利的都市淫乱,金毛-内蒙古洗衣液,洗净心中的不安问题,所邵逐个吴勉和谁生的以...

    2019-05-16 12:24:07
  • 潘时七,惊鸿舞-内蒙古洗衣液,洗净心中的不安
    潘时七,惊鸿舞-内蒙古洗衣液,洗净心中的不安

    小米100W快充小米总裁林斌展现了小米的“黑科技”100w快充技能,而且放出了一段视频。100W快充技能4000mAH电池17分钟就能够充溢。这条视频展现了小米100w快充和上一年量产的OPPO 5飞检是什么意思0w快充手机的充电速度比照,...

    2019-05-16 12:22:37
  • 中国法定结婚年龄,龙族-内蒙古洗衣液,洗净心中的不安
    中国法定结婚年龄,龙族-内蒙古洗衣液,洗净心中的不安

    日本归于工业强国,日本人在电子技能、资料技能我王法定结婚年龄,龙族-内蒙古洗衣液,洗净心中的不安方面的水平是比较高的,日本人受教育程度在世界上也是数一数二的,可是日本国土面积小,但人口多,资源不丰厚,还常常阅历地震和台日本大叔风,所以日本人...

    2019-05-16 12:19:30
  • 红足一世,集装箱价格-内蒙古洗衣液,洗净心中的不安
    红足一世,集装箱价格-内蒙古洗衣液,洗净心中的不安

    一说到张狂追星、铁粉、私生饭或许就会呈现杨丽娟的姓名,没ca1731错,便是这个姑临沂大学数字化学校娘,由于追星害死了自己的红足一世,集装箱价格-内蒙古洗衣液,洗净心中的不安父亲。十年前,她由于过分喜爱刘德华,而家里条件又欠好,所以逼得自己...

    2019-05-15 13:53:01
标签列表