每当西雅图华盛顿大学 (University of Washington) 就读是何许一番体会?flume和kafka区别。

http://www.zhihu.com/question/20811431

日志采集系统flume和kafka有啊分别与联络,它们各自在什么时候以,什么时候又足以组合?

长品 

分享

依投票排序按日排序

 

5 个回答

26赞同

不予,不见面来得你的人名

图片 1晓鹰 ,哈哈,人跟人里面的想法不同真好游戏

26 人赞同

良凑巧,都用了这点儿个体系。
简言之:这点儿个区别非常死,使用状况分别吧生十分。
先说flume:
日记采集。线达多少一般要是诞生文件要经过socket传输给另外一个系统。这种场面下,你不行为难推动线上运用或劳务去窜接口,直接为kafka里描写多少。这时候你或许就用flume这样的系辅助你错过举行传输。
对数据级别,做了单机upd的flume source的布置,100+M/s数据量,10w qps
flume就从头大量丢包。因此我们当搭建系统不时,抛弃了flume,自己研发了千篇一律模仿传输体系。但flume设计之source-channel-sink模式还是于好的,我们于开发体系时常无耻的也罢抄袭了这种办法。

Kafka:
自个人觉得kafka更应该定位也中件系统。LinkedIn开发之东西目的也罢是这个初衷。可以掌握为一个cache系统。你居然足以将她知道吧一个广义意义的数据库,里面可以存放一定时间之数量。kafka设计下了硬盘append方式,获得了酷好之效力。我道就是kafka最深的长处。不同系统间融合往往数据生产/消费速率不同,这时候你得以这些网里面加上kafka。例如线上多少要入HDFS,线及数生产快还具有突发性,如果直接上HDFS(kafka-consumer)可能会见教高峰日hdfs数据勾勒黄,这种情景而可以管多少先勾勒到kafka,然后从kafka导入到hdfs上。印象中LinkedIn公司发这般用。

业界比较典型的同一遇之所以法是:
丝及数据 -> flume -> kafka -> hdfs -> MR离线计算 或者:
丝及数据 -> flume -> kafka -> storm

编辑于
2015-10-21 3
条评论 感谢 

分享

 收藏 • 未曾拉 • 举报 • 禁止转载

0赞同

不予,不见面显得你的姓名

图片 2删除中 ,历史,计算机,竞技爱好者

粗略点连
flume类似于管道,kafka类似于信息队列。之所以题主觉得仿佛大概是因都能够用于数据传

发布于
2015-12-17 长品 感谢 

分享

 收藏 • 从未有过帮 • 举报 • 作者保留权利

6赞同

不予,不会见显你的人名

图片 3知乎用户 ,Googling StackOverflow

6 人赞同

Flume和Kafka本身是死相似之系,都能够管压力传导很老的数据量。

细节上她们本发无数不比,但是总结下,如果您纠结到底是为此Kafka还是Flume:

  1. Kafka是pull based, 如果你生多下游的Data Consumer,用Kafka;
  2. Kafka有Replication,Flume没有,如果要求非常高的容错性(Data High
    Availability),选kafka;
  3. 欲重新好之Hadoop类产品接口,例如HDFS,HBase等,用Flume。

理所当然,这片只分别就是见面为人口自然而然的想到整合双方,这样既好有所Kafka的容错能力,和Flume的又接口,例如:
Events —>Flume —> Kafka —> Flume —> Storage System
(Hadoop Cluster)
本来,坏处就是若待支付保护多单系统… 

面前同截似乎看到Cloudera提出过一样缓Flafka的app,说之饶是立即片款款产品的做,有趣味可以去搜搜。

编辑于
2015-12-15 3
条评论 感谢 

分享

 收藏 • 没有拉 • 举报 • 笔者保留权利

0赞同

不予,不见面显得你的全名

图片 4周工 ,大数据领域学习者

自家偏爱Flume,因为架构简单,依赖少。
但是同的,功能也简单,但是够灵活。
它们的稳是数据通道,不是信息队列。

Flume和Kafka应该结合来运,Flume作为日志收集端,Kafka作为日志消费端。

Flume的Source-Channel-Sink模型,非常适合作为日志收集之型。你可想转,如果你来开一个日志收集之Agent,如果开能尽可能确保日志数据的传输成功率,应本着劳动端的各种异常情况,以及怎样巧的连通各种不同之日记类型。
Kafka就不用多说了,生产者消费者模型,看你怎么去构建日志消费的下游了。有了音队列作为中件,消费之下游和上游可以全面的解耦。

发布于
2016-05-08 累加品 感谢 

分享

 收藏 • 未曾帮助 • 举报 • 笔者保留权利

0赞同

不予,不会见来得你的全名

图片 5justin
zhang ,软件工程师

flume:日志采集系统
kafka:消息中间件
呢因而了楼上说的构成:
log->flume->kafka->hdfs(solr)

发布于
2015-12-03 3
条评论 感谢 

分享

 收藏 • 无帮 • 举报 • 笔者保留权利

预先说全校。
优点:

  • 比方您是个文青/装逼犯,你来针对地方了。连绵不断的雨水会一下子深受写诗文的感到用您满载。
  • 美观之校园。尤其是3-4月绝美的樱花。还并未武大那么基本上口围观,随便拍。校园就在华盛顿湖边,景色非常好。
  • 波音微软亚马逊都先在华大招生。高科技酷公司很多,西雅图本来就是生挺。
  • 多你想到什么课什么正儿八经,文科理科工程医学,华大都有,而且质量尚都较高。这或多或少近似没什么,但实则对于一个高校以来是很不便成功的。其中生物类(包括医学、护理学、药学、生物工程、生化等)是举世超级水准。
  • 公共交通非常繁荣(这一点LA真之若跪了)。公交车网特别密集,基本上去哪里公交还能顶。学生用upass坐公交免费。如果您免思量买车,totally
    fine,绝对也会过得很舒服。

缺点

  • 要你免希罕下雨,你不过不要来。尤其是10-4月份的雨季,出太阳的次数绝对免交每周一差。
  • 宿舍非常渣。我莫太了解在西校区新建的那么几座新公寓(据说贵的可怕),但西校区之直宿舍与北校区的那么几单宿舍,尤其是McCarty和Haggett那片栋地牢,我衷心不引进。研究生能摊上Hansee,但房间异常粗。周边公寓市场从中国本科生数量上爆炸式增长后,都于中国口包了。房租一年较同等年愈。不过西雅图的房租比从其它异常城市可一定便宜了。
  • over-enroll问题。每年的budget
    cut都于学生等蛋碎了一样软以平等浅。600人口之大课,一节省课25只TA这种还未是呀新鲜事儿。研究生当然要好广大。不过该校没有钱,你想以国产深用到钱呢是相近不可能的事宜。
  • 学校最好老。无论是人数及要面积高达。广场及连续挤满了人数。
  • 华大使用numerical grading。是好还是坏,因人而异吧。

气候、环境、周边、购物、吃饭

  • 冰暴,雨,雨。不过不用带伞。带一管为推行,雨天别打。
  • 着力未产雪。一下雪便停课。西雅图对许雪上的体制就是这么糟糕。
  • 空气OK,如果您而同洛杉矶、纽约这种地方比较的语。
  • 广大的少良国家公园:Olympic和Rainier。建议无论如何也使去同不好Olympic。
  • 起一个国度的左上角出发是一锤定音了失何方都认为多。但温哥华、波特兰立有限只发车三钟头内之尚可。温哥华用签(现在相像发生10年之了),波特兰没消费税。
  • 滑雪之地方重重。另外有一个小镇为Leavenworth,有接触意思。
  • 买中国丁之东西,可以去Lynnwood或Kent的大华(东部没有喔),和Chinatown。Chinatown比不上温哥华,加州暨纽约的,但是整体来说还是该有的还出。
  • 遭受餐厅,Bellevue有很多(鼎泰丰),Chinatown有过多。学校周围的Ave上大都是大杂烩,中国之日本底越南的韩国之印度之泰国底巴基斯坦的阿富汗之德国之美国家乡的意大利的希腊之啦国菜基本上还发出。

事先想到这么多。一会儿再度补充。

迎接来UW。哈士奇欢迎你。

 

发布于
2013-03-01 27
条评论 • 笔者保留权利

赞同37

不予,不见面来得你的姓名

图片 6Sisyphus,大四电子工程

Eric
Lord、红堡主、孟尧 等人倾向

多年来扣UW在Youtube上投的院所宣传片看得好激动,过来补充答案。
https://www.youtube.com/watch?v=0h33Y9Zw8oQ\#action=share

西雅图华盛顿大学,最紧要的是她当西雅图,这个以Downtown的学校享受了森这所国际化都市之资源:

  • 随即是美国去亚洲宇航距离最近底城池,受亚洲影响深远,文化及伙食都跟亚洲看似,疏离感较弱。
  • 全校旁边发生同样条长长的美食街Ave,比国内高校相邻的小吃街选择还差不多,这无异点就是深城市的补益。
  • 学内连续自夸我们发出全美第二顺应创业之都市西雅图,第二的IT行业,第七之计算机系。
  • 西雅图Seahawks胜利了2014年超级杯,自信满满。学校每次校队在自家体育馆由之早晚,礼乐队在周五就见面绕学校同一圆提前助势。
  • 西雅图非常重法,而我校剧场为是西雅图一不行剧院,全年全球的戏班会于Meany
    Hall上演,我上次失去押之凡云门舞集的“流浪者之歌”。
  • 公交与国内同样方便。2017年机场的轻轨能一直接入到学校,下机就能够顶校门口。

而说全校间发生什么优势,

  • 近年全校野心很挺,西区宿舍都全拆倒重建,北区啊当备拆;准备翻新一座建改吧计算机系;前段时间全球排名跃迁到了第十四名叫,虽然全美排名还当五十叫做左右徘徊…
  • 入学门槛低,但里面二蹩脚罗,竞争可以,尤其是于商科以及生物工程等专业简直是千钧一发竞争;计算机是及电子工程GPA要求为要命高。每年约能上五个商科,两单生物工程,和三十几各项电脑要电子工程正式,能进入的且是会人。但规范分程度高,就业对口很好。我们EE专业十四单分叉项目,专门以引导就业。
  • 创业引导老周到,foster商学院内部有创业专业,商学院对外正式也供辅修,校内Startup
    Hall和Fluke Hall有特别针对学员的孵化器,黑客马拉松的频率为蛮高。
  • 咱们好少涉及,华大有全美第一之海洋学专业,东亚法政研究院,护理专业,和勇于联盟校队><
    (谢谢评论指正,Asian Study的优势就限于政治方面)
  • 东亚政研究之上进呢潜移默化到了文学上,比如看九十年代国内的影霸王别姬,活在,颐和园之类的可以一直以学校借。书啊足以当该校找原版,譬如最近在读的出生地中国,还是繁体原版。
  • 计算机有关男阴比接近1:1,相当舒服的性比。微软与亚马逊于招人上吧赞同被招华盛顿州当地的大学,所以华大计算机有关有的资源异常红火。最近还打算扩建,2018年亦可之好。
  • 公办大校,各专业平均。心理学,语言学,古典学,围绕人类设计工程,你若啊你协调讲。
  • 口大都,小众兴趣能找到人开。
  • 怀念套物理的,欧洲原子能机构及我校有合作,做LHC。
  • 校校园建筑大有十九世纪末的含意,又在门户上,整座学校于为Mt.Rainer,在没雾的时候整座学校就是平等道本来之场景。图片 7

如说学校发啊劣势,

  • 新生人多。中国学校扩招的速飞快,形成了一部分社群的隔离。
  • 温带海洋气候,冬季掉日照多雨多雾。但比东海岸的暴雪严寒使好不少,还可择上暑校冬天回国。
  • 人心向背专业竞争可以。
  • 航天航空工程不造成国际生,波音飞机设计无望。医药学不招外州学生,走医师无望。
  • 西雅图地区9.5%之消费税。
  • 申请Deadline十二月一模一样如泣如诉,比常青藤早一个月份。

校园内樱花已开。三月十五日放开用结果,如果吃圈定,欢迎来到UW。来得整个

 

编辑于
2015-03-09 86
条评论 • 作者保留权利

赞同13

反对,不会见显得你的全名

图片 8潘玥,兴趣广泛而不精 爱好聊天

王熙悦、知乎用户、龙直轩 等丁支持

补偿一下—————————–
本身今天大一,没有提请标准,目标方向社会学/早期教育/艺术史。有一个回是关于社会学的,有趣味可以拘留一下。关于研究生,专业申请等方面不熟识,望谅解。现在以罗马出席study
abroad program,christianity VS
empire。apply和初入学各种题材欢迎骚扰~~ 

刚好从罗马归~~
去矣欧洲三独国玩耍,从头开始认识基督教和教的意思。应一些同室要求介绍一下study
abroad program。
图片 9率先独礼拜,老师领下了逐一名胜古迹➕专业艺术史老师做导游陪同。感触最老也复活节前的星期五,斗兽场举办good
friday,pope
francesco也来出席了。人生第一蹩脚正式接触大型宗教活动,很有意思。图片 10
为了探究基督教的进步,南行那么不勒斯,索伦多;北至弗洛伦萨,阿西西。最有感动的凡以阿西西(assisi)小镇,franciscan教的源,值得大家一如既往去。
@读书之事物不多说,涉猎比较小众,有趣味之足同自身深聊。
———————————————————————————充满运动细胞的分界线—————————————————————————————
自家好各种体育,最轻网球足球,在欧洲立即三独月幸运去了几乎庙会比赛,简直不能够重新神,而且连从未花很多钱。
图片 11图片 12
罗马公开赛~连续跑了三上,所有名人都扣留了单总体,在沉陷球场看了三上比赛!
图片 13
法律,小威封神再夺一冠。
图片 14
想念问问有没有发罗马球迷 haha 顺便爆照
图片 15图片 16
是想念要介绍是的…有没有发自己萨村球迷?
哈维的倒数第二庙竞技,当他当自面前发角球的当儿还快泪目了。那场佩刀还上前了一个倒钩,印象深刻。

————————————————————————————跑题严重分割线———————

恐有人会咨询,问你美国阅读,华大读书的题目应是干嘛。如果是为炫耀,我真的不要,一凡发图找图好辛苦,二凡是这些记忆本就属于自我要好,不在投的含义。我是想念告知所有想使出国读书的同室,我早就看了一样句话,“出国读是喻你世界发出差不多格外,然后被投机之前景发出再次多不同之可能性。”
我十分感激华大叫自身这机遇被自己失去得重远,继续协调之育。最要胆量的是倒下,而己举行了的保有决定中,走出来的结果连当仁不让的。还有人说学基督教没意义,那若拘留咱们怎么定义“有意义”了。我弗是不屑一顾金钱至上,只是大家对各位不同的人生都应抱来基本的看重。对自我而言,很多小面,不同面之知识是整合我生的相同有,并且,往往是这些文化为自带来了多出乎意料之大悲大喜。

——————————回答问题的分割线————————————————————————

刚来这里三单多月份,就今天完结发表几个感受。
1.
文学气息浓厚,此处吐槽一下博物馆要收费,不过每个月份第一只礼拜四免费。西雅图星巴克居多,而且咖啡师技术还没错,心情好还可让你来单special。人犹特别亲和,见面微笑。买东西就非打呢会暨而拉聊死嗨,造成自己一段时间进店纯聊天的好习惯…前段时间在母校拍片,以外发现了校的确处处是风光,哥特式建筑好美好美。

  1. 关于吃。平时教不得不吃学校的事物,如果停止宿舍还得保证一个dining
    plan,就是饭卡。难!吃!无!比!你于个彻底汤面都见面吓过多底…但是西雅图的吃的哪怕其它当别论了,光是chinatown里面的就美不胜收,各个地方的还来。
  2. 艾。我已在传说被好高昂的west
    campus,对,就是蛮高昂,所以我过年坚决搬出去啊。但是宿舍环境呢确好好,楼下免费之健身房开至夜晚十一点,私人卫生间。然后出少数独雅热心之RA(宿舍长)和而提人生讲笑话组织不!费!活动。
    4.
    资源。和三万人快一个学府确实还不行痛苦,大概选课是每个华大人心中的痛。不过你是研究生应该就是从不什么问题。反观之,人大都啊意味着了资源多。就自我要好吧,我过年春错过罗马参加一个类,研究教堂和罗马帝国的涉及。学校这么的型多个,还有与早稻田大学交换什么的,实在不可知再次高。
    5.
    地位。这个标题实在是…前面的无说错,华大在美国西北就是死牛X很叼的校。我错过举行志愿者说是华大的幼们的视力都转移了
    哈哈。我是模仿社会学以及教化的,以后毕业就职可能不极端好,但是我们学的med和STEM,也就是是“医学”和各种工程学(包括计算机方面)简直不克再好就业。华盛顿大学之卫生站即是全州最好之卫生院。据说阿里巴巴当美国底第一下庄即将在西雅图,亚马逊的对面(好有脑),理工完美啊。前片上失去矣TEDxRainier,里面一半底演讲人是华大的任课,从环境法到生物及大体及电脑及人文各个方面。
  3. 娱乐。GO HUSKIES!
    公立的雅院校,尤其是州里瞩目的形似体育还对,比如俄亥俄州立,肯塔基。我们学校排球全美第四,橄榄球虽然比不上UCLA
    STAN,但是还会于得中偏上。那种现场氛围,全场学狗叫(因为咱们吉祥物是不过狗…),太带感了。然后礼拜天又全聚在TV室里看seahawks。除了体育美国人日常娱乐还特别无聊之。尤其是西雅图,好像全跟太阳有关的hiking,bicycling什么的且算是进来了。我们就算是周四兄弟姐妹会party,然后万圣节party,然后也未曾了。

同时于楼上学长学姐招手~~~著整个

 

编辑于
2015-07-10 45
条评论 • 笔者保留权利

赞同2

不予,不会见显得你的人名

图片 17胡三蛋,猫奴/死宅/化工狗

Charlie、h0twinter 赞同

365天300天下雨 = =

发布于
2013-12-03 2
条评论 • 作者保留权利

赞同3

反对,不会见来得你的全名

图片 18Kelsey Tian

LUO
KA、郭珊珊、朱可昊 赞同

西雅图地理位置与生活条件实在太好。。好到本科后持续phd。。

发布于
2015-03-05 丰富评价 • 作者保留权利

赞同5

反对,不会见展示你的全名

图片 19海笑

花间一丸子、知乎用户、知乎用户 等丁倾向

西雅图:不像南加那么晒,也未像波士顿那么冷,夏天貌似不见面跨30渡过,冬天般不会见不如过0过,如果无算是阴沉普降的言辞可以算上气候宜人。离温哥华不多。
差一点单巨型企业之总部集中在西雅图和Bellevue,居民发生一半之上供职于各级大商店,总体来说素质比较高。
即时所城池比文艺,比较冷静,可能还有点闷,反正什么还未缺就是欠缺阳光。

华大:学科全面,完美的综合性大学,排名靠前,学费面临达成,公立学校,本州居民学费打折。
校园很老,周围设施一应俱全,文化底蕴不错,校园很抖,有山有水,不过人多,下课时熙来攘往。学校外有几乎寒遭遇餐馆,治安不错。
位居条件较不同,由于学校于城区,历史也长期,所以就算你于U-district附近租房子,条件为不是可怜好,因为房屋大多于一直于老,而且好霸气,有时还租赁不顶,因为丁尽多。对该校的卧室不是怪了解。住的极端远的语可乘坐公交上,学校来U-pass,挺方便。不绝建议开车上,因为停车费很昂贵。

发布于
2014-02-21 1
条评论 • 作者保留权利

赞同3

反对,不会见显你的真名

图片 20jwang,湾区小码农

晓澜静荷、张尼玛、坡本健一 赞同

再次凑巧楼上一个左: 波音好像不完international student。

当一个新毕业生来说两句,(来加州办事大多两独多月份了)
1)我向没看西雅图下雨很不能够忍心。
下雨的时刻莫过于并未楼上说的那基本上。全年80%底气象不要太好。
2)学校,学术,针对计算机的说一下尽管是专事超级超级好。
3)西雅图,城市好好,人吗深nice,开车还比斯文,总的相比bay area,
我重新欣赏西雅图。安静,气候宜人,周围新的店堂吧超级多,对于IT
行业之人头来说,觉得是一个值得推荐的该校。
4)税收,
以前不留意,现在才发现华州的捐税很没有。。相对于加州相近30%之税外加9%的消费税。。实在是无与伦比好了,偶尔要购置大件物品的早晚,还会去Oregon
shopping。。

总而言之,如果您想事IT行业相关的,绝对推荐,CS,EE,
informatics都是相当对的业内(即便你也许怪麻烦进入CS,但是在UW你产生多空子把温馨塑造成一个SOFTWARE
ENGINEER)。

编辑于
2014-10-04 9
条评论 • 笔者保留权利

赞同1

不予,不见面显得你的真名

图片 21Isabella Ning,对于来酒窝和虎牙的人一齐没抵抗力啊

三百两 赞同

能够说说McCarty怎么了为。。。最近选寝室纠结万分中。。。

发布于
2014-05-08 3
条评论 • 作者保留权利

赞同2

不予,不会见显示你的全名

图片 22黄帆,不忘怀初心

叶枫、晓澜静荷 赞同

率先称第二曰都说之要命具体 但是自己不能不反对其中几漫漫!
关于下雨问题 根本没有网上说之那重好为? 基本就是11月份及2-3月份是暴风雨季
其他时间向不怎么下雨 基本是好阳光 365龙300天下雨更是不可能的从
倍感网上把这边的雨季说之过于浮夸了 其实天气或者那个对的 。
除此以外关于宿舍问题 我华大的西区宿舍吗从没那高昂吧?基本中国人数还于那
而且宿舍物有所值 非常好 建议去优酷看看CSSA宿舍宣传片哦
华大今年排名而上来了 不像中东部学校那么村 也非像加州那么晒
兼职学习定居工作是佳底啊~ 欢迎学弟学妹们过来!Go Huskies!

发布于
2015-03-16 4
条评论 • 作者保留权利

赞同2

反对,不会见展示你的全名

图片 23知乎用户,哪上班招聘网站 创始人/CEO

三百两、知乎用户 赞同

杀赞同楼上之叙说…
华盛顿大学于国际学生绝对是一个学+生活+工作实习的好地方! Go
Huskies. 

近年境内的华盛顿大学校友会也异常有力!

发布于
2013-12-01 5
条评论 • 笔者保留权利

赞同0

不予,不见面展示你的全名

图片 24知乎用户,没有来不肯定的语言考试

 

重中之重是地理位置最好了。西雅图的自然资源真是应有尽有,雪山、森林、湖泊、大海,真是要什么产生啊。虽说雨多,大多数但是drizzle而已嘛,伞都不要于。反正去矣永不会后悔的。

发布于
2014-07-07 增长评价 • 笔者保留权利

赞同0

不予,不见面展示你的姓名

匿名用户

 

球问这个学校的CS专业学起来难休碍事。。。本是的处理器工程而一半软件一半硬件,怕直接转CS编程内容尽多矣hold不住啊。。。
谢谢!

发布于
2015-03-01 2
条评论 • 作者保留权利

赞同0

反对,不会见显你的全名

匿名用户

 

相思咨询一下,申请到了华大本科的。当初报名之时报之是工商管理,大二的下还为此更考试专业也!据说考标准一定火爆。。好正式根本上不去啊!!

发布于
2015-03-20 3
条评论 • 作者保留权利

赞同0

反对,不会见来得你的全名

图片 25野鹰不便于猫

 

qwq有没发生跟数学专业的友人?想问华大的数学是怎样的状态,大一新人23333
还有美国之同桌等友善吗?

发布于
2015-03-30 2
条评论 • 笔者保留权利

赞同0

不予,不会见显你的人名

图片 26bin liu

 

话说自己录了nyu tesol master 和华大edu policy
master,真的不知底应去哪,谁会于同样碰建议

发布于
2015-04-22 累加评价 • 笔者保留权利

赞同0

反对,不会见显得你的全名

图片 27张轶伦

 

近年来于挑美国之该校,一直想模仿航空航天工程,听说西雅图的华盛顿大学之航空航天不招international
student,是真正吗?UIUC都造成,没下手懂华大为什么非招

发布于
2015-06-17 2
条评论 • 笔者保留权利

赞同0

不予,不见面来得你的全名

图片 28Ber Lou,Going anywhere from here

 

起伴知道uw的college of built
environment怎么样么?网上资料似乎十分少,没有见到出与伴申相关标准

相关文章