炼数成金 大数据架构
订阅

架构

如何提升集群资源利用率? 阿里容器调度系统Sigma 深入解析
如何提升集群资源利用率? 阿里容器调度系统Sigma 深入解析
Sigma 是阿里巴巴全集团范围的 Pouch 容器调度系统。2017年是 Sigma 正式上线以来第一次参与双11,在双11期间成功支撑了全集团所有容器(交易线中间件、数据库、广告等多业务)的调配,使双11IT成本降低50%,是阿里 ...
批处理ETL已死,Kafka才是数据处理的未来?
批处理ETL已死,Kafka才是数据处理的未来?
Kafka 的基础是 log 的理念,log 是只能往上追加(append),完全有序的数据结构。log 本身采用了发布 - 订阅(publish-subscribe,pubsub)的语义,发布者能够非常容易地以不可变的形式往 log 上追加数据,订阅者可 ...
eBay的Elasticsearch性能调优实践
eBay的Elasticsearch性能调优实践
Elasticsearch 是一个基于 Apache Lucene 的开源搜索和分析引擎,允许用户近实时地存储、搜索和分析数据。Pronto 是 eBay 托管 Elasticsearch 集群的平台,使 eBay 内部客户易于部署、运维和扩展 Elasticsearch 以进 ...
揭秘中国建设银行新IT架构
揭秘中国建设银行新IT架构
2016年,建设银行实现税后净利润2324亿元,集团总资产达到21万亿元,平均资产回报率和平均股东权益回报率分别为1.18%和15.44%,各项业务稳中见强,核心指标和市值排名均处于同业前列。2016年建设银行还先后获得国内 ...
揭秘农业银行新IT架构
揭秘农业银行新IT架构
作为国内网点最多、业务辐射范围最广的大型国有商业银行,中国农业银行的IT建设相比于建设银行、工商银行,稍显滞后。这也和农业银行的特点有着直接的关系。相比其他国有商业银行,中国农业银行最大的特点是“点多、 ...
从滴滴出行业务中台实践聊聊如何构建大中台架构
从滴滴出行业务中台实践聊聊如何构建大中台架构
在创业初期,为了快速拥抱业务,架构的建设在体系化、完善度等方面会有所不足。随着时间的推移,架构在可持续性、稳定性等方面不断进步。2015 年末,滴滴出行在短时间内形成了包括快车、出租车、专车、顺风车、代驾 ...
单点登录怎么实现?
单点登录怎么实现?
假设一个场景:公司内部有财务、OA、订单服务等各类相互独立的应用系统,员工张三对这些系统有操作权限,如果张三想要登录某个系统进行业务操作,那么他需要输入相应的账号与密码。想象一下,当公司内部有 100 个应 ...
基础设施助力双11(七):软硬件深度优化,让存储IO如丝般顺滑
基础设施助力双11(七):软硬件深度优化,让存储IO如丝般顺滑
某业务在使用某型号搭配新型NVME SSD的服务器过程中发现IO抖动问题,IO抖动造成了业务抖动,严重影响业务性能稳定性。业务不仅关注NVME SSD本身的读写延时、IOPS,而且需要保证所有IO的延时、IOPS要保持稳定,不能剧 ...
基础设施助力双11(六):看网络如何“自愈”
基础设施助力双11(六):看网络如何“自愈”
目前每天的数据采集量接近万亿级的水平,采集的类型包括日志、SNMP采集(路由器交换机性能指标采集)、AliPing采集(内网质量采集)、AliInternet采集(互联网质量采集)、Netflow采集(流数据采集)等。网络设备跟 ...
阿里巴巴新一代自研SSD - AliFlash V2 上线支持业务
阿里巴巴新一代自研SSD - AliFlash V2 上线支持业务
作为阿里巴巴数据中心的重要组成部分, 存储系统承载着双11巨大的数据读写流量, 其性能、可靠性和稳定性对用户体验有着重要的影响。2017年的双11全球购物狂欢节,阿里巴巴新一代自研SSD - AliFlash V2在阿里巴巴数据 ...
基础设施助力双11(四):图片编码FPGA硬件优化
基础设施助力双11(四):图片编码FPGA硬件优化
目前互联网上的图片还是以JPEG格式为主,伴随新的图像视频编解码技术的发展,也产生了多种更高效的图片编解码算法,这些高效的图片编解码算法相比JPEG图片格式可以提升50%以上的压缩率。如果客户端对图片的请求采用 ...
基础设施助力双11(三):阿里智能流量调度(NetO)
基础设施助力双11(三):阿里智能流量调度(NetO)
阿里部署了互联网质量分析系统,实时监测互联网质量,为用户分配最近的阿里网络入口,让用户尽快连接到阿里提供的服务。此外,阿里持续大力增加与中小运营商的Peering合作,在用户热点地区增加阿里的服务点从而提升 ...
基础设施助力双11(二): 发挥异构计算硬件资源的软实力
基础设施助力双11(二): 发挥异构计算硬件资源的软实力
经典的编译算法解决了多种编程语言对多种微处理器架构的问题,在统一的编译框架上实现高级编程语言(比如C++ 和Java)到目标机器可执行代码的转换,这是编译1.0 时代的主要目标。在编译2.0 时代,增强了通用优化和关 ...
基础设施助力双11(一):X86 CPU的定制和演进
基础设施助力双11(一):X86 CPU的定制和演进
双11的最终成功是一个从上层业务应用到底层服务器集群的庞大系统协同的结果,其中作为计算力输出主角的定制X86 CPU功不可没 。双11只是阿里业务对计算需求的高速持续增长的一个缩影。而与之形成鲜明对比的是,支撑半 ...
聊聊HTTPS环境DNS优化:美图App请求耗时节约近半案例
聊聊HTTPS环境DNS优化:美图App请求耗时节约近半案例
DNS 服务作用于网络连接之前,将域名解析为 IP 地址供后续流程进行连接。DNS 查询时,会先在本地缓存中尝试查找,如果不存在或是记录过期,就继续向 DNS 服务器发起递归查询,这里的 DNS 服务器一般就是运营商的 DNS ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-4-20 17:17 , Processed in 0.091575 second(s), 16 queries .