炼数成金 大数据架构
订阅

架构

京东Nginx平台化实践
京东Nginx平台化实践
Nginx是优秀的HTTP和反向代理服务器,京东各部门都在广泛使用,但普遍都面临着一些问题:配置复杂,专业性强。配置文件无法批量修改且配置变更依赖重启操作。不同应用依赖不同模块、配置项,管理混乱。同一应用的Ngi ...
Uber是如何使用Mesos和Cassandra来处理每秒上百万次的数据处理
Uber是如何使用Mesos和Cassandra来处理每秒上百万次的数据处理
如果你也是Uber技术团队的一员,司机和乘客App每30秒就要发出一次定位数据,而你就要把这些数据全保存下来,你会怎么做?在Uber有很多类似的要实时处理的数据。Uber的解决方案是非常完善的。他们在Mesos上面运行了Ca ...
架构师和开发者争吵的5个理由
架构师和开发者争吵的5个理由
尽管行业内的公司对于软件架构师究竟做什么工作有相当大的差异,但万变不离其宗的观念是,架构师是技术上有成就的人。几乎一成不变的是,公司总是期望架构师起初可以做开发者,并且能力很强。当这种情况行不通时,矛 ...
日消息量突破50亿,小米是如何设计高可用推送系统的?
日消息量突破50亿,小米是如何设计高可用推送系统的?
小米推送是目前国内领先的推送服务提供商,主要为开发者提供快捷、准确、稳定的推送服务。目前接入APP 7000+家,日活跃设备突破3亿,日消息量突破50亿。之所以取得如此的成绩,一方面得益于我们在小米手机上系统级的 ...
Nginx 引入线程池,提升 9 倍性能
Nginx 引入线程池,提升 9 倍性能
众所周知,NGINX 采用异步、事件驱动的方式处理连接。意味着无需对每个请求创建专门的进程或线程,它用一个工作进程(worker process)处理多个连接和请求。为了达到这个目的,NGINX采用非阻塞模式的 socket,并利用 ...
为何Yelp弃用Storm和Heron,自建流处理器PaaStorm?
为何Yelp弃用Storm和Heron,自建流处理器PaaStorm?
在2010年时,Yelp开源了一个名叫MRJob的框架,是用来在AWS基础设施上运行大MapReduce Job的。Yelp的工程师们用MRJob实现了很多功能,从广告推送到翻译,比比皆是。事实证明,MRJob是一个非常强大的工具,可以在我们 ...
用Elasticsearch+Redis构建投诉系统,看Airbnb如何保证用户增长
用Elasticsearch+Redis构建投诉系统,看Airbnb如何保证用户增长
如今,我们如何了解到用户日益增长的新问题?对特定某个人来说,这个问题似乎很好回答——对于每家公司来说,都是明确易答的问题。但实际上,我们发现这个问题没那么简单。当然,我们的数据库存储有用户问题的数据, ...
从5台服务器到两地三中心:魅族系统运维架构演进之路
从5台服务器到两地三中心:魅族系统运维架构演进之路
魅族的互联网业务起步得比较早, 2011 年就开始,到 2014 年真正转变为一家移动互联网公司。从 2014 年开始,魅族互联网业务呈现爆发式增长,截至 2015 年底,Flyme 注册用户突破 3000 万,应用商店超过 100 万款应 ...
Kafka实战:从RDBMS到Hadoop,七步实现实时传输
Kafka实战:从RDBMS到Hadoop,七步实现实时传输
本文是关于Flume成功应用Kafka的研究案例,深入剖析它是如何将RDBMS实时数据流导入到HDFS的Hive表中。对于那些想要把数据快速摄取到Hadoop中的企业来讲,Kafka是一个很好的选择。Kafka是什么?Kafka是一个分布式、可 ...
京东消息中间件JMQ:架构,与Kafka的对比,主要特性和应用场景
京东消息中间件JMQ:架构,与Kafka的对比,主要特性和应用场景
JMQ是京东自主研发的一款消息中间件系统,具有高可用、数据高可靠等特性。广泛应用于公司内部系统,包括订单、支付、库房等场景。服务端提供了配置信息分发、重试消息管理和消息存储与分发这三大类功能。每个服务端 ...
数据治理十年架构师告诉你,元数据为什么适用于微服务
数据治理十年架构师告诉你,元数据为什么适用于微服务
企业IT架构已经发展了多个阶段,在SOA阶段主要解决应用间集成问题,但随着企业业务的发展,单个应用逐渐成为“巨石型”应用,既难以扩展又难以维护。微服务架构将“巨石”应用拆分成为多个服务,以微服务为单独单元 ...
一次心惊肉跳的服务器误删文件的恢复过程
一次心惊肉跳的服务器误删文件的恢复过程
经历了两天不懈努力,终于恢复了一次误操作删除的生产服务器数据。对本次事故过程和解决办法记录在此,警醒自己,也提示别人莫犯此错。也希望遇到问题的朋友能找到一丝灵感解决问题。安排一个妹子在一台生产服务器上 ...
消息队列的流派之争
消息队列的流派之争
Message Queue(MQ),消息队列中间件。很多人都说:MQ通过将消息的发送和接收分离来实现应用程序的异步和解偶,这个给人的直觉是——MQ是异步的,用来解耦的,但是这个只是MQ的效果而不是目的。MQ真正的目的是为了 ...
余额宝技术架构及演进
余额宝技术架构及演进
余额宝总结起来包括这样几个属性,第一它是一个传统的货币基金,但它把 T + 0 做到极致,另外他管理大量的用户资产。同时他具备极简的用户体验,符合互联网精神。我们在网页、支付宝 APP 或者其他途径能快速方便的进 ...
Google为什么要把数十亿行代码放到一个库中?
Google为什么要把数十亿行代码放到一个库中?
近日,谷歌工程师Rachel Potvin和Josh Levenberg在《美国计算机学会通讯》上发表了一篇论文,介绍谷歌为什么采用一个定制的大型单体共享库。该库有一个集中式源代码控制系统管理。谷歌采用该方法已达16年之久。如今 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-7-20 15:00 , Processed in 0.329751 second(s), 16 queries .