炼数成金 大数据架构
订阅

架构

浅显易懂的RPC平台框架(上篇)
浅显易懂的RPC平台框架(上篇)
一、RPC简介RPC协议具有语言无关、通信协议无关在大中型分布式系统中,远程服务调用是十分关键的环节。RPC由于具有语言无关、简单高效等特点,在远程服务调用中有着广泛应用。本文将简单介绍一下RPC的基本概念,以及 ...
浅谈 CloudStack 与 ZStack 架构与性能
浅谈 CloudStack 与 ZStack 架构与性能
众所周知,云计算提供三种服务模式:基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。当前IaaS相关技术热火朝天,一大批商业和开源的公有云和私有云解决方案相继涌现。笔者从大学时代开始接触GNU/ ...
Kubernetes 1.0发布,KuberCon也来了
Kubernetes 1.0发布,KuberCon也来了
Kubernetes 可以说是市面上最主要的容器平台。它的应用越来越普遍,有大量的支持者和一个正在成长的社区在支持它。昨夜,Google的高级软件项目经理Brendan Burns合并Kubernets V1.0.0代码到master分支。在这次预期的 ...
深解微服务架构:从过去,到未来
深解微服务架构:从过去,到未来
微服务架构是一种架构模式,它提倡将单块架构的应用划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值。每个服务运行在其独立的进程中,服务与服务间采用轻量级的通信机制互相沟通。每个服务都围 ...
调试大规模服务器集群的五大策略
调试大规模服务器集群的五大策略
对运行中的真实环境进行调试,比在IDE中进行要困难很多。断点,单步执行等都会变得非常奢侈。因此要做的第一件事是要做出周密的调试计划,否则漫无目的单纯依靠日志记录的做法,将是非常低效的。其次,规模越大的架 ...
滴滴CTO详解大数据战略与三次生死战役的架构变迁
滴滴CTO详解大数据战略与三次生死战役的架构变迁
滴滴打车正在滴米系统、用户画像系统、精准营销、智能匹配、需求预测系统和运能预测系统等方面构建自己的技术核心竞争力。在研发的路上,大数据、机器学习不仅是滴滴打车产品的心脏,还是滴滴打车商业的心脏。
双机高可用,负载均衡,MySQL(读写分离、主从自动切换)架构设计
双机高可用,负载均衡,MySQL(读写分离、主从自动切换)架构设计
前几天网友来信说帮忙实现这样一个架构:只有两台机器,需要实现其中一台死机之后另一台能接管这台机器的服务,并且在两台机器正常服务时,两台机器都能用上。于是设计了如下的架构。架构简介此架构主要是由keepaliv ...
大型网站架构体系的演变
大型网站架构体系的演变
互联网上有很多关于网站架构的各种分享,有些主要是从运维和基础架构的角度去分析的(堆机器,做集群),太关注技术细节实现,普通的开发人员基本看不太懂。本文上篇将主要介绍大型网站基础架构的扩展,下篇则重点从 ...
深入 NGINX: 我们如何设计性能和扩展
深入 NGINX: 我们如何设计性能和扩展
NGINX 能在 web 性能中取得领先地位,这是由于其软件设计所决定的。许多 web 服务器和应用程序服务器使用一个简单的基于线程或进程的架构,NGINX 立足于一个复杂的事件驱动的体系结构,使它能够在现代硬件上扩展到成 ...
NGINX引入线程池 性能提升9倍
NGINX引入线程池 性能提升9倍
1. 引言正如我们所知,NGINX采用了异步、事件驱动的方法来处理连接。这种处理方式无需(像使用传统架构的服务器一样)为每个请求创建额外的专用进程或者线程,而是在一个工作进程中处理多个连接和请求。为此,NGINX ...
架构师必知:使用Storm处理实时的大数据
架构师必知:使用Storm处理实时的大数据
Hadoop(大数据分析领域无可争辩的王者)专注于批处理。这种模型对许多情形(比如为网页建立索引)已经足够,但还存在其他一些使用模型,它们需要来自高度动态的来源的实时信息。为了解决这个问题,就得借助 Nathan ...
实时处理日均50亿会话,解析Twitter Answers的架构
实时处理日均50亿会话,解析Twitter Answers的架构
去年我们发布了Answers,至今移动社区产生了惊人的使用量,让我们感到兴奋不已。现在Answers每天处理50亿次会话,并且这个数量在持续增加。上亿设备每秒向Answers端点发送数以百万计的请求。在你已经阅读到此处的这 ...
从Hadoop到Spark的架构实践
从Hadoop到Spark的架构实践
当下,Spark已经在国内得到了广泛的认可和支持:2014年,Spark Summit China在北京召开,场面火爆;同年,Spark Meetup在北京、上海、深圳和杭州四个城市举办,其中仅北京就成功举办了5次,内容更涵盖Spark Core、Sp ...
支撑4.5亿活跃用户的WhatsApp架构概览
支撑4.5亿活跃用户的WhatsApp架构概览
服务4.5亿用户的高可靠架构信息源需要注意的是, WhatsApp的整体架构并未公开,这里仅仅是从不同信息源中获取不同的片段。Rick Reed的讲座主要分享了使用Erlang实现单服务器200万连接数,虽然很有价值,但是并不是整 ...
架构师必知:Facebook的开源项目
架构师必知:Facebook的开源项目
Facebook的开源大手笔1. 开源Facebook平台代码Facebook在2008年选择将该平台上的重要部分的代码和应用工具开源。Facebook称,平台已经基本发展成熟,此举可以让开发者更全面地理解整个Facebook平台,更容易地为Faceb ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-7-20 15:00 , Processed in 0.138977 second(s), 16 queries .