炼数成金 大数据架构
订阅

架构

深入 HBase 架构解析(2)
深入 HBase 架构解析(2)
前言这是《深入HBase架构解析(1)》的续,不多废话,继续。。。。HBase读的实现通过前文的描述,我们知道在HBase写时,相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起,甚至删除一个Cell也只是写入一个新 ...
深入 HBase 架构解析(1)
深入 HBase 架构解析(1)
前记公司内部使用的是MapR版本的Hadoop生态系统,因而从MapR的官网看到了这篇文文章:An In-Depth Look at the HBase Architecture,原本想翻译全文,然而如果翻译就需要各种咬文嚼字,太麻烦,因而本文大部分使用了 ...
PostgresSQL HA高可用架构实战
PostgresSQL HA高可用架构实战
本文由萧少聪在高可用架构群所做的分享整理而来,转载请注明高可用架构公众号:ArchNotes。萧少聪(花名:铁庵),广东中山人,阿里云RDS for PostgreSQL/PPAS云数据库产品经理。自2006年以来,长期从事RedHat及SuSE ...
流式大数据处理的三种框架:Storm,Spark和Samza
流式大数据处理的三种框架:Storm,Spark和Samza
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍,然后尝试快速、高度概述其异同。Apache Storm在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(t ...
架构师必知的各种开源实时流处理系统
架构师必知的各种开源实时流处理系统
这里对目前业界开源的一些实时流处理系统做一次小结,作为日后进行技术调研的参考资料。S4S4(Simple Scalable Streaming System)是Yahoo最新发布的一个开源流计算平台,它是一个通用的、分布式的、可扩展性良好、具 ...
服务发现:Zookeeper vs etcd vs Consul
服务发现:Zookeeper vs etcd vs Consul
如果使用预定义的端口,服务越多,发生冲突的可能性越大,毕竟,不可能有两个服务监听同一个端口。管理一个拥挤的比方说被几百个服务所使用的所有端口的列表,本身就是一个挑战,添加到该列表后,这些服务需要的数据 ...
5大架构:细数数据平台的组成与扩展
5大架构:细数数据平台的组成与扩展
One size does not fit all! 数据处理平台已不集中于传统关系型数据库,各种其他平台层出不穷,也各有其适用范围。从哪些角度去理解各种数据处理平台的设计思想及发展演进呢?下面我们从几个角度讨论一下:
浅显易懂的RPC平台框架(下篇)
浅显易懂的RPC平台框架(下篇)
四、Motan实战1、Motan RPC基本使用方式Motan RPC是按接口提供和调用服务,以java服务为例,一般由服务提供方声明服务的接口类,并同时提供一个默认的RPC Client调用配置,然后将接口类与默认的Client配置xml文件一 ...
浅显易懂的RPC平台框架(上篇)
浅显易懂的RPC平台框架(上篇)
一、RPC简介RPC协议具有语言无关、通信协议无关在大中型分布式系统中,远程服务调用是十分关键的环节。RPC由于具有语言无关、简单高效等特点,在远程服务调用中有着广泛应用。本文将简单介绍一下RPC的基本概念,以及 ...
浅谈 CloudStack 与 ZStack 架构与性能
浅谈 CloudStack 与 ZStack 架构与性能
众所周知,云计算提供三种服务模式:基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。当前IaaS相关技术热火朝天,一大批商业和开源的公有云和私有云解决方案相继涌现。笔者从大学时代开始接触GNU/ ...
Kubernetes 1.0发布,KuberCon也来了
Kubernetes 1.0发布,KuberCon也来了
Kubernetes 可以说是市面上最主要的容器平台。它的应用越来越普遍,有大量的支持者和一个正在成长的社区在支持它。昨夜,Google的高级软件项目经理Brendan Burns合并Kubernets V1.0.0代码到master分支。在这次预期的 ...
深解微服务架构:从过去,到未来
深解微服务架构:从过去,到未来
微服务架构是一种架构模式,它提倡将单块架构的应用划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值。每个服务运行在其独立的进程中,服务与服务间采用轻量级的通信机制互相沟通。每个服务都围 ...
调试大规模服务器集群的五大策略
调试大规模服务器集群的五大策略
对运行中的真实环境进行调试,比在IDE中进行要困难很多。断点,单步执行等都会变得非常奢侈。因此要做的第一件事是要做出周密的调试计划,否则漫无目的单纯依靠日志记录的做法,将是非常低效的。其次,规模越大的架 ...
滴滴CTO详解大数据战略与三次生死战役的架构变迁
滴滴CTO详解大数据战略与三次生死战役的架构变迁
滴滴打车正在滴米系统、用户画像系统、精准营销、智能匹配、需求预测系统和运能预测系统等方面构建自己的技术核心竞争力。在研发的路上,大数据、机器学习不仅是滴滴打车产品的心脏,还是滴滴打车商业的心脏。
双机高可用,负载均衡,MySQL(读写分离、主从自动切换)架构设计
双机高可用,负载均衡,MySQL(读写分离、主从自动切换)架构设计
前几天网友来信说帮忙实现这样一个架构:只有两台机器,需要实现其中一台死机之后另一台能接管这台机器的服务,并且在两台机器正常服务时,两台机器都能用上。于是设计了如下的架构。架构简介此架构主要是由keepaliv ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-19 22:00 , Processed in 0.106320 second(s), 16 queries .