炼数成金 大数据架构
订阅

架构

GraphQL 在微服务架构中的实践
GraphQL 在微服务架构中的实践
简单对象访问协议(SOAP)从今天来看已经是一门非常古老的 Web 服务技术了,虽然很多服务仍然在使用遵循 SOAP 的接口,但是到今天 REST 风格的面向资源的 API 接口已经非常深入人心,也非常的成熟;但是这篇文章要介 ...
微服务那么好,这家公司为何要退回单体架构?
微服务那么好,这家公司为何要退回单体架构?
在微服务和单体架构之间做选择时,要注意它们各自都有自己需要考虑的因素。我们的架构中有些部分是微服务表现更出色,但服务端的目标迁移到微服务后的一系列麻烦是一个很好的教训,证明这一流行趋势在某些情况下能对 ...
Flume+Kafka+Storm+Redis构建大数据实时处理系统
Flume+Kafka+Storm+Redis构建大数据实时处理系统
从构建实时处理系统的角度出发,我们需要做的是让数据在各个不同的集群系统之间打通(从上面的图示中也能很好地说明这一点),即需要做各个系统之前的整合,包括Flume与Kafka的整合,Kafka与Storm的整合。当然,各个 ...
腾讯的蓝鲸平台是怎么做持续集成和部署的?
腾讯的蓝鲸平台是怎么做持续集成和部署的?
蓝鲸是腾讯游戏沉淀多年的技术运营支撑体系,承担着数百款业务线上运营的使命。如图所示,蓝鲸的服务支撑覆盖到娱乐、文学、游戏、影视等不同领域的业务。这些业务来自于腾讯自研或者代理的,研发团队间的技术栈以及 ...
聊聊Netflix技术那些大胆的创新
聊聊Netflix技术那些大胆的创新
微服务很多公司(eBay, Amazon, BAT)都有,甚至比Netflix做得更早,但Netflix大概是大规模生产级微服务做得最杰出的。100s范围的微服务,1000s范围的每日生产变更,10,000s范围的实例,1,000,000s范围的活跃客户数,1 ...
京东618千亿的秘密 | 全球最大规模Kubernetes生产集群
京东618千亿的秘密 | 全球最大规模Kubernetes生产集群
当我们在狂欢时,是什么在背后默默的支撑着我们每一次点击?如此大规模的交易量,这得需要多大的数据中心?多少服务器呀?或者说,京东是如何撬动数据中心的?厉害之处在于,京东相关IT系统早就不是基于数据中心的物 ...
十问 TiDB :关于架构设计的一些思考
十问 TiDB :关于架构设计的一些思考
为什么在数据库领域有这么多永远也躲不开的坑? 从 2015 年我们写下第一行代码,3 年以来我们迎面遇到无数个问题,一边思考一边做,尽量用最小的代价来快速奔跑。 作为一个开源项目,TiDB 是我们基础架构工程师和社 ...
集中式与分布式,微服务与巨石,对峙是偏狭,融合是趋势!
集中式与分布式,微服务与巨石,对峙是偏狭,融合是趋势!
经常在机场穿行的人们,很难注意不到铺天盖地的云计算广告牌。尤其是近几年阿里云的一系列广告创意相当霸气,大肆宣称“超过第二名至第十名规模总和”。我素来对于各种大词不感冒,反倒是广告里一行小字引发了关注: ...
中小型企业大数据体系建设的核心技术选型
中小型企业大数据体系建设的核心技术选型
准确来说 “大数据” 这个概念并不存在,其就是在曾经我们提到过的 “海量数据” 的基础上,数据量级再一次增大,导致传统的处理手段无法进行及时、有效地处理。为了表征与传统数据处理手段的区别,表明技术的先进性 ...
微服务化的数据库设计与读写分离
微服务化的数据库设计与读写分离
数据库永远是应用最关键的一环,同时越到高并发阶段,数据库往往成为瓶颈,如果数据库表和索引不在一开始就进行良好的设计,则后期数据库横向扩展,分库分表都会遇到困难。对于互联网公司来讲,一般都会使用Mysql数 ...
支付宝何以支撑双十一4200万次/秒的数据库请求峰值?
支付宝何以支撑双十一4200万次/秒的数据库请求峰值?
OceanBase数据库是阿里巴巴和蚂蚁金服完全自主研发的金融级分布式关系数据库系统,和基于开源数据库产品进行改造的解决方案不同的是:OceanBase内核100多万行代码都是我们的同学一行行写出来的,所以我们对其有完全 ...
如何提升集群资源利用率? 阿里容器调度系统Sigma 深入解析
如何提升集群资源利用率? 阿里容器调度系统Sigma 深入解析
Sigma 是阿里巴巴全集团范围的 Pouch 容器调度系统。2017年是 Sigma 正式上线以来第一次参与双11,在双11期间成功支撑了全集团所有容器(交易线中间件、数据库、广告等多业务)的调配,使双11IT成本降低50%,是阿里 ...
批处理ETL已死,Kafka才是数据处理的未来?
批处理ETL已死,Kafka才是数据处理的未来?
Kafka 的基础是 log 的理念,log 是只能往上追加(append),完全有序的数据结构。log 本身采用了发布 - 订阅(publish-subscribe,pubsub)的语义,发布者能够非常容易地以不可变的形式往 log 上追加数据,订阅者可 ...
eBay的Elasticsearch性能调优实践
eBay的Elasticsearch性能调优实践
Elasticsearch 是一个基于 Apache Lucene 的开源搜索和分析引擎,允许用户近实时地存储、搜索和分析数据。Pronto 是 eBay 托管 Elasticsearch 集群的平台,使 eBay 内部客户易于部署、运维和扩展 Elasticsearch 以进 ...
揭秘中国建设银行新IT架构
揭秘中国建设银行新IT架构
2016年,建设银行实现税后净利润2324亿元,集团总资产达到21万亿元,平均资产回报率和平均股东权益回报率分别为1.18%和15.44%,各项业务稳中见强,核心指标和市值排名均处于同业前列。2016年建设银行还先后获得国内 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-8-21 12:07 , Processed in 0.079132 second(s), 16 queries .