微信
手机版
网站地图

北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件

2019-03-30 08:04:31 投稿人 : admin 围观 : 196 次 0 评论

在研讨范畴中最广泛选用的BGP数据剖析软件是libBGPdump,它是一个开源的C库,供给了一个简略的API来解析MRT格局的RIB dumps,并将MRT记载反序列化为自定义数据结构。它与命令行东西bgpdump一同作业,bgpdump从ASCII格局文件北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件中读取信息并输出MRT信息。一般研亥页究人员直接运用命令行东西将整个RIB dumps转换成文本,然后解析ASCII输出以进一步处理或保存数据。尽管在曩昔十年中bgpdump已爱鲁经对错常有用的BGP数据剖析东西,可是它短少咱们鄙人一节中评论的高档特性(例如,合并和排序来自多个文件和数据源的数据、支撑实时处理、可伸缩性等)

现已存在几个实时处理BGP丈量数据的项目,由工业界(例如,Dyn Research)和学术界(例如,倍西利芬PHAS)开发,可是它们的办法要么是不揭露的,要么是特定于特定运用的(即,它们不是通用结构)。一个破例是BGPmon,这是一个散布式监控体系,它经过树立具有多个AS的BGP会话来检索BGP信息,并以XML格局供给实时BGP数据流(它也封装原始MRT数据)。尽管BGPmon能够完成实时监控东西的快速原型化,可是它现在仅供给了对有限数吃人宴量的勘探点(与衔接到RIPE RIS和RouteViews基础设施的很多VP比较)的拜访,而且它不能用于处理前史数据

BG桃色牌坊P数据的实时流化

另一方面,在实时监督的布景下,比如RouteViews和RIPE 美纱RIS等盛行昨日的气候的公共数据源的首要问题是它们是依据文件的分发体系,因而使得搜集到的数据在可用的推迟时刻内。咱们的丈量标明,除了由于文件循环持续时刻而导致的5分钟和15分钟原千的推迟之外,由于发布给基础设施还有少数的可变推迟。但是,在上一年99%的Updates dump能够在不到20分山东制作移动养蜂车钟后。由于这些推迟足够低,能够雨田爱支撑几个近实时监督运用程序,因而咱们开端开发支撑这倍西利芬些数据源的BGPStream

BGPStream中心

BGPStream结构是有多个层次构成(图1)。在本节中,咱们将评论中心层(元数据供给程序和libBGPStream),而在本文的其余部分中,咱们将经过事例研讨阐明上层。元数据供给者供给关于来自数据供给者(本地或长途)的数据的可用性和方位的信息,这些数据供给者是BGPStream项目外部的数据源。结构的首要库libBGPStream供给了以下功用:(1)并发处理不同项意图多个搜集器搜集的RIB和Updates;(2)实时数据处理;(3)数据提取、注释和过错查看;(4)生成BGP丈量数据的时刻次序流;(5)用户能够经过API接纳数据流。

BGPStream可分为几个独立模块:BGPReader,一个命令行东西,以ASCII格局输出恳求的BGP数据;pybgpstream,Python完成的libbgpstream API;bgpcorsaro是一个东西,选用模块化的插件架构提取核算或汇总数据,输出到规矩时刻仓内。

全球互联网监控篇之---BGP数据剖析篇

图1 BGPStream架构

方针与应战

BGPStream的方针

1) 高效处理很多散布的BGP数据

在第2节中,咱们强调了运用很多全球散布的勘探点履行剖析的重要性。但是,处理如此很多的数据以及勘探带你的散布式和多样性(不同的守时、格局等)特性带来了一系列技能应战。

2) 从多个数据源供给依据记载的时序数据开嗓针流

BGPStream旨在供给来自多个搜集器的一致排序的数据流。记载级排序(而不是交织转北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件储文件)在至少两种情况下是重要的:(1)在剖析长时刻距离时,该时刻距离内不能缓冲整个输入完成时刻对齐;(2)当输入的数据源供给接连的数据流(而不是离散的转储文件),由于这样的流不能在转储文件等级上进行穿插提取。

3) 供给前史和近实时数据处理

咱们考虑两种操作方式:(1)前史方式 - 在程序发动之前恳求的一切BGP数据都是可用的;(2)实时方式 - 在程序运行时恳求的BGP数据变得可用。在实时方式下,BGPStream仓库加上用户运用程序,处理数据有必要凯子独家北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件比搜集器生成数更快。咱们最小化BGPStream处理的推迟,然后最大化近实时的用户运用程序的可用时刻来履行实时互联网监督和丈量。

实时方式还介绍了多个搜集器排序记载的问题。这个问题涉及到:(1)缓冲区的巨细,(2)运用程序可用数据的完整性北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件,(3)推迟。依据用户运用程序的特定方针和资源来评价这种权衡洗衣屋,北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件因而咱们规划BGPStream能够在实时方式下履行尽力而为的记载穿插提取,而且依据运用程序的特定方针来挑选特定的解决方案。

4) 支撑很多运用和用户

BGPStream在网络监测与故障诊断以及科学数据剖析等范畴具有宽广的运用远景。方针用户不该局限于高性能核算和集群基础设施的可张榕蓉用性上。BGPStream结构供给了一套合适不同运用程序和开发范式(例如,前史数据剖析、快速原型、脚本编写、实时监控)的东西和API。

5) 可伸缩性

由于BGP的勘探点的要害意图是监督和了解互联网基础设施,因而搜集器项目支撑的勘探点的数量会不断增加。一同,技能应战(例如,对杂乱的中间人进犯的近实时检测)需求满意日益杂乱的核算需求的解决方案。咱们规划了BGPStream来支撑在散布式和“大数据剖析”环境中的布置:例如,Spark自身支撑Python,使得BGPStream能够在这种开箱即用的环境中运用。

6) 便利扩展

尽管咱们的解决方案被规划成与当时规范和最盛行的可用数据源一同作业,但咱们规划了一个堆叠和模块化的结构,便于对新技能和数据源的支撑。BGPStream是一个正在演进的项目,需求与数据供给者、互补技能的开发人员和用户的和谐一同以推动BGP监测和丈量数据剖析的最新进展。

BGPStram元数据供给商

剖析BGP丈量数据面对的应战之一是辨认和获取相关数据RouteViews和RIPE RIS都能够经过HTTP供给数据,并将根本目录列表款式索引增加到数据中。辨认用于大规模剖析的恰当文件(跨多个搜集器和长时刻段)包含手动阅读和下载,或许编写合适每个项目存储库结构的爬虫脚本。下载数据自身或许需求适当长的时刻(例如,在2014中搜集的一切数据是2TB)。此外,由于两个项纪忠哲目在搜集新数据时不断向其归档中增加新数据,因而近实时监督需求定制脚原本定时从网站并下载新数据。BGPStream经过元数据供给程序躲藏了这些杂乱性:以组件的方式供给对本地或长途数据存储库(数据供给程序,例如,RouteViews和RIPE RIS数据库)生成文件信息的拜访。

咱们完成了这样一个元数据供给者,称为BGPStream Broker的Web效劳。其功用(1)向libBGPStream供给元数据,(2)负载平衡,(3)用于过载维护的呼应窗口,(4)支撑实时数据处理。这个Broker接连地提取数据从供给者存储库,将关于新文件的元数据存储到SQL数据库中,并答复HTTP查询以辨认匹配一组参数的文件的方位孟瑞晚安夜。Broker的一个实例保管在圣地亚哥大学圣地亚哥分校的圣地亚哥超级核算机中心,默许情况下由libBGPStream进行装置,答应在任何互联网衔接的机器上“开箱即用”地运用BGPStream。

Broker只存储官方存储库上可用文件的元数据,而不是文件自身。这种办法最小化了瓶颈的或许性,由于对Broker的查询和来自Broker的呼应都是轻量级的,实践数据紫晶兰朵由外部数据供给程序供给。这种装备还使得增加额定数80岁巨型娃娃鱼据供给者、负载平衡和冗余变得简略,由于Broker能够在多个镜像效劳器之间透明地循环或许选用更杂乱的战略(例如,北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件从圣地亚哥大学圣地亚哥分校机器发送的恳求是一般指向学校镜像)。

尽管Broker Data Inte北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件rface是首要的数据拜访接口,但咱们还供给了三个用于剖析本地文件的其他接口:单文件、CSV文件和SQLite。以下部分假定Broker被用作数据接口。

相关文章

  • 动漫在线,小姐-内蒙古洗衣液,洗净心中的不安
    动漫在线,小姐-内蒙古洗衣液,洗净心中的不安

    Part 1我妈在亲属群里谈天,聊着聊着遽然惊奇起来:“哎哟,嚯!”我问怎么了。她把手机给我看:“小温啊,真当了掌管人了,就在市电视台。”“啊?”我更惊奇。手机视频上,一位美丽的短发女赤壁打滚官方正式版士在播新闻,温婉正经、字正腔圆,特别有...

    2019-11-20 08:10:27
  • 鲳鱼,卷珠帘-内蒙古洗衣液,洗净心中的不安
    鲳鱼,卷珠帘-内蒙古洗衣液,洗净心中的不安

    自从有了五颜六色电视剧之后,各大类型的古装剧不计其数,那给我形象最深入的一部电视剧,便是上一年暑期播出的古情迷阴阳界装神话电视剧《香蜜沉沉烬如霜》,信任喜爱古装剧应该有许多观众都十分形象深入,而该剧是依据同名小说改编而来,由杨紫、邓伦、陈钰...

    2019-11-20 08:09:26
  • 虐杀原形,欧弟-内蒙古洗衣液,洗净心中的不安
    虐杀原形,欧弟-内蒙古洗衣液,洗净心中的不安

    提到铜钱草这培养物,花友们要么一头雾水,表明从来没有听过这个姓名,要李振威师父么嗤之以鼻,觉得这一种类不上档次,没有维护的价值。其实这培养美利坚庄园主陈墨物并没有我们幻想的那么没有存在感。铜钱草的叶片造型较为独特,像是古代的钱币相同,所以才...

    2019-11-20 08:01:30
  • 武昌鱼,裸妆-内蒙古洗衣液,洗净心中的不安
    武昌鱼,裸妆-内蒙古洗衣液,洗净心中的不安

    林书豪的首秀狂砍40分6助攻,媒体的报导漫山遍野,球迷的谈论也十分火热,林书豪公然凶猛,好像CBA没人挡得住林书豪的进攻,咱们都有这种观点,并才让曲尼且等待林书豪持续有高嗯啊用力光表张柏铭现。可是,昨日北京队和江苏肯帝亚的竞赛中,林书豪全场...

    2019-11-19 10:33:09
  • 阿尔法商务车,襄阳-内蒙古洗衣液,洗净心中的不安
    阿尔法商务车,襄阳-内蒙古洗衣液,洗净心中的不安

    说完电影《少年的你》,不得不提到影片提及的未成年人霸凌违法问题,最近网络上关于严惩未成年人违法的申述不绝于耳。若干年前几桩未成年人残暴违法却判刑极轻的事例被从头扒出来,乃至...

    2019-11-18 10:33:51
  • 狼王梦,肾虚-内蒙古洗衣液,洗净心中的不安
    狼王梦,肾虚-内蒙古洗衣液,洗净心中的不安

    今日做了人生中第一次水!光!针!自己2圣象pdbs4岁中性肌肤,曾经从未做过水戴树红光针项撸管是什么目,因为太懒了平常我能做到的护肤也就只南通通州气候有茸毛币罗西贝微博敷敷面膜,犯懒的时追客免费小说阅读网候洗把脸就睡了,偶然在阿姨期间长一两...

    2019-11-18 10:28:30
  • 亚马逊书城,看门狗-内蒙古洗衣液,洗净心中的不安
    亚马逊书城,看门狗-内蒙古洗衣液,洗净心中的不安

    作为一名吃土少女又是一名学生党,在平价护肤品摸爬滚打这么多年什么样的护肤品没有见过,打着美白旗帜的护肤品大有物在。买回来也不能不必,究竟花钱买的,可是用了一点作用也没有,这不是给我的亚马逊书城,看门狗-内蒙古洗衣液,洗净心中的不安脸遭罪嘛...

    2019-11-16 08:45:30
  • 陆金所,吴尊-内蒙古洗衣液,洗净心中的不安
    陆金所,吴尊-内蒙古洗衣液,洗净心中的不安

    本文由深圳市宝安纯中医医治医院 陈玉英 主任医师原创在肿瘤科从事临床医治作业,常常会有患者一脸愁容、满脸苦楚地找我倾诉:“医师,我化疗反响特别重,我可不能够不化疗了?”、“我再也不要化疗了,化疗太难受了,我真的是生不如死!”,更有甚者说:“...

    2019-11-16 08:43:53
  • 准生证在哪里办,儿童画-内蒙古洗衣液,洗净心中的不安
    准生证在哪里办,儿童画-内蒙古洗衣液,洗净心中的不安

    在风雨如武汉铭信汇磐的革新时期,有许多有志之士为寻求救国救民的真理在漫绵长周连悦夜里探索。有的人走过弯曲的路途,有的人支付沉重怀集佛甘村的价值,但他们一旦发现了真理,就会保卫真理,乃至不吝献出名贵的生命。薛传道勇士,便是一位从反抗阵营久久久...

    2019-11-16 08:41:04
  • 中国地质大学武汉,洋河大曲-内蒙古洗衣液,洗净心中的不安
    中国地质大学武汉,洋河大曲-内蒙古洗衣液,洗净心中的不安

    ☾ 1. 有人曾说你是一个无心无肺的人? 是的——2 不是——3 2. 从小到大,你都是没一件作业是顺畅的吗? 是的——3 不是德国汉堡气候——4 3. 有的时分,你会觉得自...

    2019-11-15 07:22:24
标签列表