炼数成金 大数据架构
订阅

架构

从5台服务器到两地三中心:魅族系统运维架构演进之路
从5台服务器到两地三中心:魅族系统运维架构演进之路
魅族的互联网业务起步得比较早, 2011 年就开始,到 2014 年真正转变为一家移动互联网公司。从 2014 年开始,魅族互联网业务呈现爆发式增长,截至 2015 年底,Flyme 注册用户突破 3000 万,应用商店超过 100 万款应 ...
Kafka实战:从RDBMS到Hadoop,七步实现实时传输
Kafka实战:从RDBMS到Hadoop,七步实现实时传输
本文是关于Flume成功应用Kafka的研究案例,深入剖析它是如何将RDBMS实时数据流导入到HDFS的Hive表中。对于那些想要把数据快速摄取到Hadoop中的企业来讲,Kafka是一个很好的选择。Kafka是什么?Kafka是一个分布式、可 ...
京东消息中间件JMQ:架构,与Kafka的对比,主要特性和应用场景
京东消息中间件JMQ:架构,与Kafka的对比,主要特性和应用场景
JMQ是京东自主研发的一款消息中间件系统,具有高可用、数据高可靠等特性。广泛应用于公司内部系统,包括订单、支付、库房等场景。服务端提供了配置信息分发、重试消息管理和消息存储与分发这三大类功能。每个服务端 ...
数据治理十年架构师告诉你,元数据为什么适用于微服务
数据治理十年架构师告诉你,元数据为什么适用于微服务
企业IT架构已经发展了多个阶段,在SOA阶段主要解决应用间集成问题,但随着企业业务的发展,单个应用逐渐成为“巨石型”应用,既难以扩展又难以维护。微服务架构将“巨石”应用拆分成为多个服务,以微服务为单独单元 ...
一次心惊肉跳的服务器误删文件的恢复过程
一次心惊肉跳的服务器误删文件的恢复过程
经历了两天不懈努力,终于恢复了一次误操作删除的生产服务器数据。对本次事故过程和解决办法记录在此,警醒自己,也提示别人莫犯此错。也希望遇到问题的朋友能找到一丝灵感解决问题。安排一个妹子在一台生产服务器上 ...
消息队列的流派之争
消息队列的流派之争
Message Queue(MQ),消息队列中间件。很多人都说:MQ通过将消息的发送和接收分离来实现应用程序的异步和解偶,这个给人的直觉是——MQ是异步的,用来解耦的,但是这个只是MQ的效果而不是目的。MQ真正的目的是为了 ...
余额宝技术架构及演进
余额宝技术架构及演进
余额宝总结起来包括这样几个属性,第一它是一个传统的货币基金,但它把 T + 0 做到极致,另外他管理大量的用户资产。同时他具备极简的用户体验,符合互联网精神。我们在网页、支付宝 APP 或者其他途径能快速方便的进 ...
Google为什么要把数十亿行代码放到一个库中?
Google为什么要把数十亿行代码放到一个库中?
近日,谷歌工程师Rachel Potvin和Josh Levenberg在《美国计算机学会通讯》上发表了一篇论文,介绍谷歌为什么采用一个定制的大型单体共享库。该库有一个集中式源代码控制系统管理。谷歌采用该方法已达16年之久。如今 ...
去哪儿网利用Mesos和Docker构建dev—beta环境
去哪儿网利用Mesos和Docker构建dev—beta环境
首先是业务线的一些期望,因为我们之前有一个发布系统,最早的时候是单模块发布,但是我们业务上线的时候基本上需要多模块一起上线才能组成一个完整的服务,所以大家在发布的时候就会比较头疼,需要手工把所有的项目 ...
58同城沈剑:好的架构源于不停地衍变,而非设计
58同城沈剑:好的架构源于不停地衍变,而非设计
对很多创业公司而言,很难在初期就预估到流量十倍、百倍以及千倍以后网站架构会是什么样的一个状况。同时,如果系统初期就设计一个千万级并发的流量架构,很难有公司可以支撑这个成本。因此,这里主要会关注架构的眼 ...
高可用、开源的Redis缓存集群方案
高可用、开源的Redis缓存集群方案
由于单台Redis服务器的内存管理能力有限,使用过大内存的Redis又会使得服务器的性能急剧下降,一旦服务器发生故障将会影响更大范围业务,而Redis 3.0 beta1支持的集群功能还不适合生产环境的使用。于是为了获取更好 ...
React知识库内容精选:10篇文章让你迅速了解该框架
React知识库内容精选:10篇文章让你迅速了解该框架
React作为前端框架的后起之秀,凭借其在构建SPA上的出色表现,正吸引着大量前端开发者深入研究。目前包括Strikingly、杭州大搜车在内的越来越多企业已在实际开发中探索、应用React。目前有关React的学习资源满天飞, ...
大型网站技术架构探讨
大型网站技术架构探讨
每个目标背后面临着技术、设计、维护等诸多方面的挑战; 而目标本身的期望值也会根据实际情况进行调整,这也意味着网站架构建设是个不断调整的过程。访问量持续增大,页面响应越来越慢。考虑到网站还处在试水性成长 ...
AWS的130万台服务器带来规模飞轮效应
AWS的130万台服务器带来规模飞轮效应
Oppenheimer认为到2023年AWS将产生570亿美元的收入,并下注赌亚马逊的股票价格能够达到930美元。Amazon Web Services将要拥有130万台服务器,比现有的企业系统、数据中心的效率高三倍,并且能够更好地利用空间,产生 ...
架构师必知的各种开源实时流处理系统
架构师必知的各种开源实时流处理系统
这里对目前业界开源的一些实时流处理系统做一次小结,作为日后进行技术调研的参考资料。S4(Simple Scalable Streaming System)是Yahoo最新发布的一个开源流计算平台,它是一个通用的、分布式的、可扩展性良好、具有 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-19 22:02 , Processed in 0.111497 second(s), 16 queries .