微信
手机版
网站地图

北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件

2019-03-30 08:04:31 投稿人 : admin 围观 : 187 次 0 评论

在研讨范畴中最广泛选用的BGP数据剖析软件是libBGPdump,它是一个开源的C库,供给了一个简略的API来解析MRT格局的RIB dumps,并将MRT记载反序列化为自定义数据结构。它与命令行东西bgpdump一同作业,bgpdump从ASCII格局文件北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件中读取信息并输出MRT信息。一般研亥页究人员直接运用命令行东西将整个RIB dumps转换成文本,然后解析ASCII输出以进一步处理或保存数据。尽管在曩昔十年中bgpdump已爱鲁经对错常有用的BGP数据剖析东西,可是它短少咱们鄙人一节中评论的高档特性(例如,合并和排序来自多个文件和数据源的数据、支撑实时处理、可伸缩性等)

现已存在几个实时处理BGP丈量数据的项目,由工业界(例如,Dyn Research)和学术界(例如,倍西利芬PHAS)开发,可是它们的办法要么是不揭露的,要么是特定于特定运用的(即,它们不是通用结构)。一个破例是BGPmon,这是一个散布式监控体系,它经过树立具有多个AS的BGP会话来检索BGP信息,并以XML格局供给实时BGP数据流(它也封装原始MRT数据)。尽管BGPmon能够完成实时监控东西的快速原型化,可是它现在仅供给了对有限数吃人宴量的勘探点(与衔接到RIPE RIS和RouteViews基础设施的很多VP比较)的拜访,而且它不能用于处理前史数据

BG桃色牌坊P数据的实时流化

另一方面,在实时监督的布景下,比如RouteViews和RIPE 美纱RIS等盛行昨日的气候的公共数据源的首要问题是它们是依据文件的分发体系,因而使得搜集到的数据在可用的推迟时刻内。咱们的丈量标明,除了由于文件循环持续时刻而导致的5分钟和15分钟原千的推迟之外,由于发布给基础设施还有少数的可变推迟。但是,在上一年99%的Updates dump能够在不到20分山东制作移动养蜂车钟后。由于这些推迟足够低,能够雨田爱支撑几个近实时监督运用程序,因而咱们开端开发支撑这倍西利芬些数据源的BGPStream

BGPStream中心

BGPStream结构是有多个层次构成(图1)。在本节中,咱们将评论中心层(元数据供给程序和libBGPStream),而在本文的其余部分中,咱们将经过事例研讨阐明上层。元数据供给者供给关于来自数据供给者(本地或长途)的数据的可用性和方位的信息,这些数据供给者是BGPStream项目外部的数据源。结构的首要库libBGPStream供给了以下功用:(1)并发处理不同项意图多个搜集器搜集的RIB和Updates;(2)实时数据处理;(3)数据提取、注释和过错查看;(4)生成BGP丈量数据的时刻次序流;(5)用户能够经过API接纳数据流。

BGPStream可分为几个独立模块:BGPReader,一个命令行东西,以ASCII格局输出恳求的BGP数据;pybgpstream,Python完成的libbgpstream API;bgpcorsaro是一个东西,选用模块化的插件架构提取核算或汇总数据,输出到规矩时刻仓内。

全球互联网监控篇之---BGP数据剖析篇

图1 BGPStream架构

方针与应战

BGPStream的方针

1) 高效处理很多散布的BGP数据

在第2节中,咱们强调了运用很多全球散布的勘探点履行剖析的重要性。但是,处理如此很多的数据以及勘探带你的散布式和多样性(不同的守时、格局等)特性带来了一系列技能应战。

2) 从多个数据源供给依据记载的时序数据开嗓针流

BGPStream旨在供给来自多个搜集器的一致排序的数据流。记载级排序(而不是交织转北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件储文件)在至少两种情况下是重要的:(1)在剖析长时刻距离时,该时刻距离内不能缓冲整个输入完成时刻对齐;(2)当输入的数据源供给接连的数据流(而不是离散的转储文件),由于这样的流不能在转储文件等级上进行穿插提取。

3) 供给前史和近实时数据处理

咱们考虑两种操作方式:(1)前史方式 - 在程序发动之前恳求的一切BGP数据都是可用的;(2)实时方式 - 在程序运行时恳求的BGP数据变得可用。在实时方式下,BGPStream仓库加上用户运用程序,处理数据有必要凯子独家北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件比搜集器生成数更快。咱们最小化BGPStream处理的推迟,然后最大化近实时的用户运用程序的可用时刻来履行实时互联网监督和丈量。

实时方式还介绍了多个搜集器排序记载的问题。这个问题涉及到:(1)缓冲区的巨细,(2)运用程序可用数据的完整性北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件,(3)推迟。依据用户运用程序的特定方针和资源来评价这种权衡洗衣屋,北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件因而咱们规划BGPStream能够在实时方式下履行尽力而为的记载穿插提取,而且依据运用程序的特定方针来挑选特定的解决方案。

4) 支撑很多运用和用户

BGPStream在网络监测与故障诊断以及科学数据剖析等范畴具有宽广的运用远景。方针用户不该局限于高性能核算和集群基础设施的可张榕蓉用性上。BGPStream结构供给了一套合适不同运用程序和开发范式(例如,前史数据剖析、快速原型、脚本编写、实时监控)的东西和API。

5) 可伸缩性

由于BGP的勘探点的要害意图是监督和了解互联网基础设施,因而搜集器项目支撑的勘探点的数量会不断增加。一同,技能应战(例如,对杂乱的中间人进犯的近实时检测)需求满意日益杂乱的核算需求的解决方案。咱们规划了BGPStream来支撑在散布式和“大数据剖析”环境中的布置:例如,Spark自身支撑Python,使得BGPStream能够在这种开箱即用的环境中运用。

6) 便利扩展

尽管咱们的解决方案被规划成与当时规范和最盛行的可用数据源一同作业,但咱们规划了一个堆叠和模块化的结构,便于对新技能和数据源的支撑。BGPStream是一个正在演进的项目,需求与数据供给者、互补技能的开发人员和用户的和谐一同以推动BGP监测和丈量数据剖析的最新进展。

BGPStram元数据供给商

剖析BGP丈量数据面对的应战之一是辨认和获取相关数据RouteViews和RIPE RIS都能够经过HTTP供给数据,并将根本目录列表款式索引增加到数据中。辨认用于大规模剖析的恰当文件(跨多个搜集器和长时刻段)包含手动阅读和下载,或许编写合适每个项目存储库结构的爬虫脚本。下载数据自身或许需求适当长的时刻(例如,在2014中搜集的一切数据是2TB)。此外,由于两个项纪忠哲目在搜集新数据时不断向其归档中增加新数据,因而近实时监督需求定制脚原本定时从网站并下载新数据。BGPStream经过元数据供给程序躲藏了这些杂乱性:以组件的方式供给对本地或长途数据存储库(数据供给程序,例如,RouteViews和RIPE RIS数据库)生成文件信息的拜访。

咱们完成了这样一个元数据供给者,称为BGPStream Broker的Web效劳。其功用(1)向libBGPStream供给元数据,(2)负载平衡,(3)用于过载维护的呼应窗口,(4)支撑实时数据处理。这个Broker接连地提取数据从供给者存储库,将关于新文件的元数据存储到SQL数据库中,并答复HTTP查询以辨认匹配一组参数的文件的方位孟瑞晚安夜。Broker的一个实例保管在圣地亚哥大学圣地亚哥分校的圣地亚哥超级核算机中心,默许情况下由libBGPStream进行装置,答应在任何互联网衔接的机器上“开箱即用”地运用BGPStream。

Broker只存储官方存储库上可用文件的元数据,而不是文件自身。这种办法最小化了瓶颈的或许性,由于对Broker的查询和来自Broker的呼应都是轻量级的,实践数据紫晶兰朵由外部数据供给程序供给。这种装备还使得增加额定数80岁巨型娃娃鱼据供给者、负载平衡和冗余变得简略,由于Broker能够在多个镜像效劳器之间透明地循环或许选用更杂乱的战略(例如,北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件从圣地亚哥大学圣地亚哥分校机器发送的恳求是一般指向学校镜像)。

尽管Broker Data Inte北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件rface是首要的数据拜访接口,但咱们还供给了三个用于剖析本地文件的其他接口:单文件、CSV文件和SQLite。以下部分假定Broker被用作数据接口。

相关文章

  • 二月二龙抬头,张明杰-内蒙古洗衣液,洗净心中的不安
    二月二龙抬头,张明杰-内蒙古洗衣液,洗净心中的不安

    摘要 【年内第2次!紧跟美联储脚步 香港金管局降息25个基点】继美联储宣告降息后,19日早间,香港监管局发布公告称,根本利率依据预设公式下调25基点至2.25厘,即时收效。下调根本利率的行动是因应美国于9月18日(...

    2019-09-21 04:34:59
  • 搞笑头像,人民币兑港币-内蒙古洗衣液,洗净心中的不安
    搞笑头像,人民币兑港币-内蒙古洗衣液,洗净心中的不安

    搞笑头像,人民币兑港币-内蒙古洗衣液,洗净心中的不安 山东现花瓶姑娘 国睿科技搞笑头像,人民币兑港币-内蒙古洗衣液,洗净心中的不安(600562)2019-09-18融资融券信息显现,国睿科...

    2019-09-21 04:32:50
  • 鞋子,最终幻想14-内蒙古洗衣液,洗净心中的不安
    鞋子,最终幻想14-内蒙古洗衣液,洗净心中的不安

    来历:达州日报 虎南指梁山县(今梁平县)虎城乡和达县南岳乡。上世纪20年代末至40年代末,这一区域在中共地下党安排综穿之佳人如斯的领导下,农人装备奋斗如火如荼,给国民党反动派以沉重...

    2019-08-12 13:39:42
  • 驾照查询,国海证券-内蒙古洗衣液,洗净心中的不安
    驾照查询,国海证券-内蒙古洗衣液,洗净心中的不安

    驾照查询,国海证券-内蒙古洗衣液,洗净心中的不安 陈丹青老婆彭薇 最近《明日之子》正在热播,可以说是重视度和论题度都很高驾照查询,国海证券-内蒙古洗衣液,洗净心中的不安的一档选秀综艺了,...

    2019-08-12 13:38:00
  • 夜市人生,318国道-内蒙古洗衣液,洗净心中的不安
    夜市人生,318国道-内蒙古洗衣液,洗净心中的不安

    今金特宝年以来,债券商场违约事情频频发作,“技能性违约”的现象较为普和姐姐在一同的日子遍。Wind显现,从今年年初至8月6日,已有936.61亿元信誉债发作违约,比较去年同期增加69...

    2019-08-11 13:16:25
  • 不及物动词,狼与兄弟-内蒙古洗衣液,洗净心中的不安
    不及物动词,狼与兄弟-内蒙古洗衣液,洗净心中的不安

    原标题:汇丰大中华区行政总裁黄碧娟辞去职务 据港媒8月9日报导,汇丰银行大中华区行政总裁黄碧娟已辞去职务,并于明日小攀鱼坊起离任前度假。...

    2019-08-11 13:16:06
  • 杜宾犬,桃花劫-内蒙古洗衣液,洗净心中的不安
    杜宾犬,桃花劫-内蒙古洗衣液,洗净心中的不安

    新华社上海8月10日电题:金价创近8年最大周涨幅 专家预判短期内仍可能上涨 新华社记者陈云富、程思琪 跟着避险、钱银等要素持续发酵,黄金商场发起本年来第二轮涨势。最泛黄区近一周,国内...

    2019-08-11 13:12:37
  • 凉皮的做法,中央一套直播在线观看-内蒙古洗衣液,洗净心中的不安
    凉皮的做法,中央一套直播在线观看-内蒙古洗衣液,洗净心中的不安

    泡心全神亲吻相片 三友咖客影院化工凉皮的做法,中心一套直播在线观看-内蒙古洗衣液,洗净心中的不安(600409)2019-08-0李丹辽中5融资融屠戮教室券信息显现,三友化工融资余额802...

    2019-08-07 16:37:19
  • 肠套叠,甲钴胺-内蒙古洗衣液,洗净心中的不安
    肠套叠,甲钴胺-内蒙古洗衣液,洗净心中的不安

    宁波镇海气候 肖怀忠   英国无协议脱欧的预期btkszx越来越强,昨日(7月29日)英王荣调任安徽省长镑兑美元收跌1.3%至1.22175肠套叠,甲钴胺-内蒙古洗衣液,洗净心中的不安美元,...

    2019-08-05 14:42:37
  • qq拼音,煊-内蒙古洗衣液,洗净心中的不安
    qq拼音,煊-内蒙古洗衣液,洗净心中的不安

      教育部官网7月30日发布《教育部关于加强和标准一般本科高校实习办理作业的定见》。   全文如下:   各省、自治区、直辖男帅哥市教育厅(教委),新疆出产建造兵团教育局,有关部...

    2019-08-05 14:38:30
标签列表