炼数成金 大数据架构
订阅

架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群
京东618千亿的秘密 | 全球最大规模Kubernetes生产集群
当我们在狂欢时,是什么在背后默默的支撑着我们每一次点击?如此大规模的交易量,这得需要多大的数据中心?多少服务器呀?或者说,京东是如何撬动数据中心的?厉害之处在于,京东相关IT系统早就不是基于数据中心的物 ...
十问 TiDB :关于架构设计的一些思考
十问 TiDB :关于架构设计的一些思考
为什么在数据库领域有这么多永远也躲不开的坑? 从 2015 年我们写下第一行代码,3 年以来我们迎面遇到无数个问题,一边思考一边做,尽量用最小的代价来快速奔跑。 作为一个开源项目,TiDB 是我们基础架构工程师和社 ...
集中式与分布式,微服务与巨石,对峙是偏狭,融合是趋势!
集中式与分布式,微服务与巨石,对峙是偏狭,融合是趋势!
经常在机场穿行的人们,很难注意不到铺天盖地的云计算广告牌。尤其是近几年阿里云的一系列广告创意相当霸气,大肆宣称“超过第二名至第十名规模总和”。我素来对于各种大词不感冒,反倒是广告里一行小字引发了关注: ...
中小型企业大数据体系建设的核心技术选型
中小型企业大数据体系建设的核心技术选型
准确来说 “大数据” 这个概念并不存在,其就是在曾经我们提到过的 “海量数据” 的基础上,数据量级再一次增大,导致传统的处理手段无法进行及时、有效地处理。为了表征与传统数据处理手段的区别,表明技术的先进性 ...
微服务化的数据库设计与读写分离
微服务化的数据库设计与读写分离
数据库永远是应用最关键的一环,同时越到高并发阶段,数据库往往成为瓶颈,如果数据库表和索引不在一开始就进行良好的设计,则后期数据库横向扩展,分库分表都会遇到困难。对于互联网公司来讲,一般都会使用Mysql数 ...
支付宝何以支撑双十一4200万次/秒的数据库请求峰值?
支付宝何以支撑双十一4200万次/秒的数据库请求峰值?
OceanBase数据库是阿里巴巴和蚂蚁金服完全自主研发的金融级分布式关系数据库系统,和基于开源数据库产品进行改造的解决方案不同的是:OceanBase内核100多万行代码都是我们的同学一行行写出来的,所以我们对其有完全 ...
如何提升集群资源利用率? 阿里容器调度系统Sigma 深入解析
如何提升集群资源利用率? 阿里容器调度系统Sigma 深入解析
Sigma 是阿里巴巴全集团范围的 Pouch 容器调度系统。2017年是 Sigma 正式上线以来第一次参与双11,在双11期间成功支撑了全集团所有容器(交易线中间件、数据库、广告等多业务)的调配,使双11IT成本降低50%,是阿里 ...
批处理ETL已死,Kafka才是数据处理的未来?
批处理ETL已死,Kafka才是数据处理的未来?
Kafka 的基础是 log 的理念,log 是只能往上追加(append),完全有序的数据结构。log 本身采用了发布 - 订阅(publish-subscribe,pubsub)的语义,发布者能够非常容易地以不可变的形式往 log 上追加数据,订阅者可 ...
eBay的Elasticsearch性能调优实践
eBay的Elasticsearch性能调优实践
Elasticsearch 是一个基于 Apache Lucene 的开源搜索和分析引擎,允许用户近实时地存储、搜索和分析数据。Pronto 是 eBay 托管 Elasticsearch 集群的平台,使 eBay 内部客户易于部署、运维和扩展 Elasticsearch 以进 ...
揭秘中国建设银行新IT架构
揭秘中国建设银行新IT架构
2016年,建设银行实现税后净利润2324亿元,集团总资产达到21万亿元,平均资产回报率和平均股东权益回报率分别为1.18%和15.44%,各项业务稳中见强,核心指标和市值排名均处于同业前列。2016年建设银行还先后获得国内 ...
揭秘农业银行新IT架构
揭秘农业银行新IT架构
作为国内网点最多、业务辐射范围最广的大型国有商业银行,中国农业银行的IT建设相比于建设银行、工商银行,稍显滞后。这也和农业银行的特点有着直接的关系。相比其他国有商业银行,中国农业银行最大的特点是“点多、 ...
从滴滴出行业务中台实践聊聊如何构建大中台架构
从滴滴出行业务中台实践聊聊如何构建大中台架构
在创业初期,为了快速拥抱业务,架构的建设在体系化、完善度等方面会有所不足。随着时间的推移,架构在可持续性、稳定性等方面不断进步。2015 年末,滴滴出行在短时间内形成了包括快车、出租车、专车、顺风车、代驾 ...
单点登录怎么实现?
单点登录怎么实现?
假设一个场景:公司内部有财务、OA、订单服务等各类相互独立的应用系统,员工张三对这些系统有操作权限,如果张三想要登录某个系统进行业务操作,那么他需要输入相应的账号与密码。想象一下,当公司内部有 100 个应 ...
基础设施助力双11(七):软硬件深度优化,让存储IO如丝般顺滑
基础设施助力双11(七):软硬件深度优化,让存储IO如丝般顺滑
某业务在使用某型号搭配新型NVME SSD的服务器过程中发现IO抖动问题,IO抖动造成了业务抖动,严重影响业务性能稳定性。业务不仅关注NVME SSD本身的读写延时、IOPS,而且需要保证所有IO的延时、IOPS要保持稳定,不能剧 ...
基础设施助力双11(六):看网络如何“自愈”
基础设施助力双11(六):看网络如何“自愈”
目前每天的数据采集量接近万亿级的水平,采集的类型包括日志、SNMP采集(路由器交换机性能指标采集)、AliPing采集(内网质量采集)、AliInternet采集(互联网质量采集)、Netflow采集(流数据采集)等。网络设备跟 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-6-25 17:24 , Processed in 0.082765 second(s), 16 queries .