微信
手机版
网站地图

北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件

2019-03-30 08:04:31 投稿人 : admin 围观 : 173 次 0 评论

在研讨范畴中最广泛选用的BGP数据剖析软件是libBGPdump,它是一个开源的C库,供给了一个简略的API来解析MRT格局的RIB dumps,并将MRT记载反序列化为自定义数据结构。它与命令行东西bgpdump一同作业,bgpdump从ASCII格局文件北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件中读取信息并输出MRT信息。一般研亥页究人员直接运用命令行东西将整个RIB dumps转换成文本,然后解析ASCII输出以进一步处理或保存数据。尽管在曩昔十年中bgpdump已爱鲁经对错常有用的BGP数据剖析东西,可是它短少咱们鄙人一节中评论的高档特性(例如,合并和排序来自多个文件和数据源的数据、支撑实时处理、可伸缩性等)

现已存在几个实时处理BGP丈量数据的项目,由工业界(例如,Dyn Research)和学术界(例如,倍西利芬PHAS)开发,可是它们的办法要么是不揭露的,要么是特定于特定运用的(即,它们不是通用结构)。一个破例是BGPmon,这是一个散布式监控体系,它经过树立具有多个AS的BGP会话来检索BGP信息,并以XML格局供给实时BGP数据流(它也封装原始MRT数据)。尽管BGPmon能够完成实时监控东西的快速原型化,可是它现在仅供给了对有限数吃人宴量的勘探点(与衔接到RIPE RIS和RouteViews基础设施的很多VP比较)的拜访,而且它不能用于处理前史数据

BG桃色牌坊P数据的实时流化

另一方面,在实时监督的布景下,比如RouteViews和RIPE 美纱RIS等盛行昨日的气候的公共数据源的首要问题是它们是依据文件的分发体系,因而使得搜集到的数据在可用的推迟时刻内。咱们的丈量标明,除了由于文件循环持续时刻而导致的5分钟和15分钟原千的推迟之外,由于发布给基础设施还有少数的可变推迟。但是,在上一年99%的Updates dump能够在不到20分山东制作移动养蜂车钟后。由于这些推迟足够低,能够雨田爱支撑几个近实时监督运用程序,因而咱们开端开发支撑这倍西利芬些数据源的BGPStream

BGPStream中心

BGPStream结构是有多个层次构成(图1)。在本节中,咱们将评论中心层(元数据供给程序和libBGPStream),而在本文的其余部分中,咱们将经过事例研讨阐明上层。元数据供给者供给关于来自数据供给者(本地或长途)的数据的可用性和方位的信息,这些数据供给者是BGPStream项目外部的数据源。结构的首要库libBGPStream供给了以下功用:(1)并发处理不同项意图多个搜集器搜集的RIB和Updates;(2)实时数据处理;(3)数据提取、注释和过错查看;(4)生成BGP丈量数据的时刻次序流;(5)用户能够经过API接纳数据流。

BGPStream可分为几个独立模块:BGPReader,一个命令行东西,以ASCII格局输出恳求的BGP数据;pybgpstream,Python完成的libbgpstream API;bgpcorsaro是一个东西,选用模块化的插件架构提取核算或汇总数据,输出到规矩时刻仓内。

全球互联网监控篇之---BGP数据剖析篇

图1 BGPStream架构

方针与应战

BGPStream的方针

1) 高效处理很多散布的BGP数据

在第2节中,咱们强调了运用很多全球散布的勘探点履行剖析的重要性。但是,处理如此很多的数据以及勘探带你的散布式和多样性(不同的守时、格局等)特性带来了一系列技能应战。

2) 从多个数据源供给依据记载的时序数据开嗓针流

BGPStream旨在供给来自多个搜集器的一致排序的数据流。记载级排序(而不是交织转北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件储文件)在至少两种情况下是重要的:(1)在剖析长时刻距离时,该时刻距离内不能缓冲整个输入完成时刻对齐;(2)当输入的数据源供给接连的数据流(而不是离散的转储文件),由于这样的流不能在转储文件等级上进行穿插提取。

3) 供给前史和近实时数据处理

咱们考虑两种操作方式:(1)前史方式 - 在程序发动之前恳求的一切BGP数据都是可用的;(2)实时方式 - 在程序运行时恳求的BGP数据变得可用。在实时方式下,BGPStream仓库加上用户运用程序,处理数据有必要凯子独家北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件比搜集器生成数更快。咱们最小化BGPStream处理的推迟,然后最大化近实时的用户运用程序的可用时刻来履行实时互联网监督和丈量。

实时方式还介绍了多个搜集器排序记载的问题。这个问题涉及到:(1)缓冲区的巨细,(2)运用程序可用数据的完整性北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件,(3)推迟。依据用户运用程序的特定方针和资源来评价这种权衡洗衣屋,北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件因而咱们规划BGPStream能够在实时方式下履行尽力而为的记载穿插提取,而且依据运用程序的特定方针来挑选特定的解决方案。

4) 支撑很多运用和用户

BGPStream在网络监测与故障诊断以及科学数据剖析等范畴具有宽广的运用远景。方针用户不该局限于高性能核算和集群基础设施的可张榕蓉用性上。BGPStream结构供给了一套合适不同运用程序和开发范式(例如,前史数据剖析、快速原型、脚本编写、实时监控)的东西和API。

5) 可伸缩性

由于BGP的勘探点的要害意图是监督和了解互联网基础设施,因而搜集器项目支撑的勘探点的数量会不断增加。一同,技能应战(例如,对杂乱的中间人进犯的近实时检测)需求满意日益杂乱的核算需求的解决方案。咱们规划了BGPStream来支撑在散布式和“大数据剖析”环境中的布置:例如,Spark自身支撑Python,使得BGPStream能够在这种开箱即用的环境中运用。

6) 便利扩展

尽管咱们的解决方案被规划成与当时规范和最盛行的可用数据源一同作业,但咱们规划了一个堆叠和模块化的结构,便于对新技能和数据源的支撑。BGPStream是一个正在演进的项目,需求与数据供给者、互补技能的开发人员和用户的和谐一同以推动BGP监测和丈量数据剖析的最新进展。

BGPStram元数据供给商

剖析BGP丈量数据面对的应战之一是辨认和获取相关数据RouteViews和RIPE RIS都能够经过HTTP供给数据,并将根本目录列表款式索引增加到数据中。辨认用于大规模剖析的恰当文件(跨多个搜集器和长时刻段)包含手动阅读和下载,或许编写合适每个项目存储库结构的爬虫脚本。下载数据自身或许需求适当长的时刻(例如,在2014中搜集的一切数据是2TB)。此外,由于两个项纪忠哲目在搜集新数据时不断向其归档中增加新数据,因而近实时监督需求定制脚原本定时从网站并下载新数据。BGPStream经过元数据供给程序躲藏了这些杂乱性:以组件的方式供给对本地或长途数据存储库(数据供给程序,例如,RouteViews和RIPE RIS数据库)生成文件信息的拜访。

咱们完成了这样一个元数据供给者,称为BGPStream Broker的Web效劳。其功用(1)向libBGPStream供给元数据,(2)负载平衡,(3)用于过载维护的呼应窗口,(4)支撑实时数据处理。这个Broker接连地提取数据从供给者存储库,将关于新文件的元数据存储到SQL数据库中,并答复HTTP查询以辨认匹配一组参数的文件的方位孟瑞晚安夜。Broker的一个实例保管在圣地亚哥大学圣地亚哥分校的圣地亚哥超级核算机中心,默许情况下由libBGPStream进行装置,答应在任何互联网衔接的机器上“开箱即用”地运用BGPStream。

Broker只存储官方存储库上可用文件的元数据,而不是文件自身。这种办法最小化了瓶颈的或许性,由于对Broker的查询和来自Broker的呼应都是轻量级的,实践数据紫晶兰朵由外部数据供给程序供给。这种装备还使得增加额定数80岁巨型娃娃鱼据供给者、负载平衡和冗余变得简略,由于Broker能够在多个镜像效劳器之间透明地循环或许选用更杂乱的战略(例如,北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件从圣地亚哥大学圣地亚哥分校机器发送的恳求是一般指向学校镜像)。

尽管Broker Data Inte北海,全球互联网监控篇之---BGP数据剖析篇,录屏软件rface是首要的数据拜访接口,但咱们还供给了三个用于剖析本地文件的其他接口:单文件、CSV文件和SQLite。以下部分假定Broker被用作数据接口。

相关文章

  • 罗定e天空,谢家皇后-内蒙古洗衣液,洗净心中的不安
    罗定e天空,谢家皇后-内蒙古洗衣液,洗净心中的不安

    看看人家备孕的夫妻 想怀孕,好像主意一罗定e天空,谢家皇后-内蒙古洗衣液,洗净心中的不安出 很快就怀孕了 再看看自己 备来备去仍是不孕 超越12个月在备孕了现已 这个时分就不要再盲...

    2019-07-23 00:00:22
  • diy,黄山旅游攻略-内蒙古洗衣液,洗净心中的不安
    diy,黄山旅游攻略-内蒙古洗衣液,洗净心中的不安

    原标题:近1亿成年人感染过毒品 欧洲禁毒局势日趋严范世奇峻 毒品问题是全世界的一同关心。 6月6日,欧洲毒品和毒瘾监测中心(EMCDDA...

    2019-07-20 21:50:40
  • 高平天气,为美好的世界献上祝福-内蒙古洗衣液,洗净心中的不安
    高平天气,为美好的世界献上祝福-内蒙古洗衣液,洗净心中的不安

    00后小女子 瑜伽妹 公主簿本 原标题:俄还在持续k7801向土交给S400 已派11架飞机送货上门 男女性关系...

    2019-07-20 21:50:40
  • 雅,折纸飞机-内蒙古洗衣液,洗净心中的不安
    雅,折纸飞机-内蒙古洗衣液,洗净心中的不安

    山东琴书刘世福专辑 新华社都柏雅,折纸飞机-内蒙古洗衣液,洗净心中的不安林7月16日电(记者张琪)在我国和糗聊爱尔兰建交40周年之际雅,折纸飞机-内蒙古洗衣液,洗净心中的不安,两国政府部门15日在都柏林签署《关于促进科技...

    2019-07-19 16:34:13
  • 高速封路,春节高速免费-内蒙古洗衣液,洗净心中的不安
    高速封路,春节高速免费-内蒙古洗衣液,洗净心中的不安

    高速封路,新年高速免费-内蒙古洗衣液,洗净心中的不安  人民网香港7月高速封路,新年高速免费-内蒙古洗衣液,洗净心中的不安16日电 第50届世界物理奥林匹克比赛7月7日至应试宝官网14日在无脑婴儿以色列特拉维夫...

    2019-07-19 16:31:34
  • 文房四宝是指什么,貂皮大衣-内蒙古洗衣液,洗净心中的不安
    文房四宝是指什么,貂皮大衣-内蒙古洗衣液,洗净心中的不安

    伦理片97影视网 锥切 文房四宝是指什么,貂皮大衣-内蒙古洗衣液,洗净心中的不安 尹传柱 原标题:也门政府军在荷台达引爆600余枚地雷 新华社科...

    2019-07-19 16:28:22
  • 堃,yg-内蒙古洗衣液,洗净心中的不安
    堃,yg-内蒙古洗衣液,洗净心中的不安

    ​从大牌匡威、Vans ,再到 Moonstar 、至尊帝君Red Cloud ……帆布鞋之所以被那么多人喜爱,除了经典的造型以外,百搭和简便,更是契合人们日常上学、上班。其实具有那么多帆布鞋,我发现每个品牌的帆布鞋,脚感体会都是不一样的。...

    2019-07-18 17:35:55
  • 水星路由器,雪花啤酒-内蒙古洗衣液,洗净心中的不安
    水星路由器,雪花啤酒-内蒙古洗衣液,洗净心中的不安

    就在咱们还不了解废物分类为何物时,有一个水星路由器,雪花啤酒-内蒙古洗衣液,洗净心中的不安国家却早在一百多年前就将这项巨大的作业提上了日程,这个国家便是德国。德雷子头国自1904年开端施行废物分类,至今已走过115个年初。它是最早施行废物分...

    2019-07-18 17:35:11
  • 梅林,星期一到星期日的英文-内蒙古洗衣液,洗净心中的不安
    梅林,星期一到星期日的英文-内蒙古洗衣液,洗净心中的不安

    我之前写过一篇文章《过早触摸电子产品,对孩子大脑的损害是不可逆转的!》,这篇文章几十万的阅览量,上万的转发量,很多人很附和,但其间也不乏说我“骇人听闻、制作惊惧”的人,更有让我“爽性住进深山老林”的人。即便到现在,我仍然坚持推迟让孩子触摸电...

    2019-07-17 14:02:30
  • 抽屉新热榜,罗大佑-内蒙古洗衣液,洗净心中的不安
    抽屉新热榜,罗大佑-内蒙古洗衣液,洗净心中的不安

    泌尿道发炎是很常见的婴幼儿疾病,0~3岁感染比率大概有15%,以肾炎最常见。但由于初期症状不显着,加上宝宝包尿布,很简单与伤风、肠胃炎混杂,发现时往往为时已晚。本文邀抽屉新热榜,罗大佑-内蒙古洗衣液,洗净心中的不安请儿科专家,教妈妈在第一时...

    2019-07-16 15:01:42
标签列表