WYK's Blog
For the shadow of lost knowledge at least protects you from many illusions.
知识,哪怕是知识的幻影,也会成为你的铠甲,保护你不被愚昧反噬。
-
storm and jstormHadoop与Storm比较1.Storm用于实时计算,Hadoop用于离线计算。2.Storm处理的数据保存在内存中,源源不断;Hadoop处理的数据保存在文件系统中,一批一批。3.Storm的数据通过网络传输进来;Hadoop的数据保存在磁盘中。4.Storm与Hadoop的编程模型相似。Storm架构NimbusStorm集群的Master节点,负责分发用户代码,指派给具体的Super...
-
java高并发及多线程问题参考博文:https://blog.csdn.net/suifeng3051/article/details/52611310; https://blog.csdn.net/li396864285/article/details/49331369; https://blog.csdn.net/luoweifu/article/details/46613015最近在...
-
mapResuce shuffle和spark shuffleSpark 和 Hadoop一直是大数据离线计算的必经之路,自己在工作中也经常用到,所以学习一下原理还是很有必要的,不然碰到问题很容易一脸懵逼,其中感觉shuffle是两者的核心之一,故整理下,方便以后回顾。大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark,mapReducehe和Spark之间的最大区别是前者较偏向于离线处理,而后者重视实现性。MapR...
-
Hello World!突然想到整个博客,记录下自己生活、工作及学习上的心得和体会。无奈前端水平有限,果断Fork了下别人的代码,希望自己能一直坚持下去。(附赠女神壁纸一张)For the shadow of lost knowledge at least protects you from many illusions.