炼数成金 大数据架构
订阅

架构

github 迁移到Kubernetes 背后的思考
github 迁移到Kubernetes 背后的思考
去年,GitHub 已经改进了 Ruby on Rails 应用的基础设施,该应用负责运行 github.com 和 api.github.com。最近我们实现了一个重要里程碑,即:所有 Web 和 API 请求都由 Kubernetes 集群中运行的容器来处理,这些集 ...
要怎样努力,才能修炼成一个架构师?
要怎样努力,才能修炼成一个架构师?
我觉得在未来,编程会像英语、电脑一样是一个很通用的技能。首先是编程的门槛越来越低,从 Fortran, Pascal, C 到 Java, Python,编程语言其实是越来越简单的,即使你不是专业的软件工程师,学会用 Python 写一些简 ...
高可用性的几个级别
高可用性的几个级别
通过创建与主实例保持虚拟同步的虚拟机,使应用在服务器发生故障的情况下也能够持续可用。这种方法常通过使主虚拟机 和辅助虚拟机执行相同顺序的 x86指令来完成此过程。主虚拟机捕获所有输入和事件,并在辅助虚拟机 ...
基于Spark的机器学习平台在点融网风控应用介绍
基于Spark的机器学习平台在点融网风控应用介绍
机器学习的一般流程是,我们先有一个数据集,拿到这个数据集之后会作一个拆分,拆成一个 (X train, Y train)、(X test, Y test)。然后会根据训练集的特征作一个预处理。处理过程可能会包括比如缺失值的处理、相关性 ...
Airbnb 的核心日志系统架构及主要系统模块的设计之道
Airbnb 的核心日志系统架构及主要系统模块的设计之道
什么是日志平台系统?首先我们知道大数据对于互联网公司有非常重要的价值,对 Airbnb 也不例外。我们通过数据可以为客户提供最佳的旅行体验,同时我们也可以通过数据发掘用户的需求、市场需求,对我们的产品做出正确 ...
微信后台基于时间序的海量数据冷热分级架构设计实践
微信后台基于时间序的海量数据冷热分级架构设计实践
微信的后台数据存储随着微信产品特性的演进,经历了数次的架构改造,才形成如今成熟的大规模分布式存储系统,有条不紊的管理着由数千台异构机型组成的机器集群,得以支撑每天千万亿级的访问、键值以及 PB 级的数据。 ...
静下心来想想,为什么领域模型对于架构师如此重要?
静下心来想想,为什么领域模型对于架构师如此重要?
在信息化时代,人们在碰到问题的时候,经常会希望通过构建一套信息系统直接或间接的来解决问题。比如说一家传统企业,在企业内部最常见的请假审批、费用报销审批这类的日常事务处理上,一开始碰到的问题是流程不够透 ...
架构师经常参考的Netflix架构,它的全貌是怎样的?
架构师经常参考的Netflix架构,它的全貌是怎样的?
Netflix 由 Marc Randolph 和 Reed Hastings 于 1997 年在加州 Scotts Valley 成立,由 30 名员工和 925 名租赁用户组成,现在是全球领先的互联网电视网络,在 50 个国家拥有超过 6,900 万用户每月享受超过 100 亿小 ...
聊聊基于Lucene的搜索引擎核心技术实践
聊聊基于Lucene的搜索引擎核心技术实践
搜索服务,已经成为了互联网最常用的基本服务: 从谷歌、百度搜索关键字,到电商平台搜索商品,再到微信查看附近的人。我们几乎每时每刻都在用到它。所以,搜索引擎技术一直为大家关注。作者本人曾负责一些大型的分布 ...
深入浅出聊聊企业级API网关
深入浅出聊聊企业级API网关
API Gateway(API GW / API 网关),顾名思义,是出现在系统边界上的一个面向 API 的、串行集中式的强管控服务,这里的边界是企业 IT 系统的边界,主要起到隔离外部访问与内部系统的作用。在微服务概念的流行之前,A ...
Google、IBM和Lyft开源其大型微服务系统管理工具Istio
Google、IBM和Lyft开源其大型微服务系统管理工具Istio
谷歌、IBM 与 Lyft 三方已经共同公布了 Istio 项目的首次公开发行版。Istio 是一个开源项目,旨在提供一种统一化的微服务连接、安全保障、管理与监控方式。我们目前的发行版主要面向 Kubernetes 环境 ; 当然,在后续 ...
回滚机制
回滚机制
回滚是指当程序或数据出错时,将程序或数据恢复到最近一个正确版本的行为。最常见的如事务回滚、代码库回滚、部署版本回滚、数据版本回滚、静态资源版本回滚等。通过回滚机制保证系统某些场景下的高可用。在执行数据 ...
从淘宝到云端,阿里高可用架构演进实战
从淘宝到云端,阿里高可用架构演进实战
这是一个淘宝的店铺系统,这套系统是一个非常典型的高并发的浏览系统,在前几年的双 11 峰值有 20 万次的 Web 页面请求,平均一个页面对应了 20 次的 RPC 调用,这个时候对于整个系统的集合来说每秒的 QPS 是 400 万 ...
人工智能应用微服务化:从模型到线上系统搭建的最佳实践
人工智能应用微服务化:从模型到线上系统搭建的最佳实践
最开始当团队比较小,或项目比较简单的时候,微服务的优势没有那么明显。原因在于,最开始的时候为了完成微服务的架构要做很多前期准备工作,要做各种脚本和自动化,所以单体架构其实更能满足比较简单的业务需求。但 ...
实时离线融合在唯品会的进展:在实时技术、数据、业务中寻找平衡
实时离线融合在唯品会的进展:在实时技术、数据、业务中寻找平衡
实时大数据分析是指对规模巨大的数据进行分析,利用大数据技术高效的快速完成分析,达到近似实时的效果,更及时的反映数据的价值和意义。所有人都能理解数据的时效性对于数据的价值至关重要。以唯品会为例,唯品会已 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-19 22:22 , Processed in 0.105272 second(s), 16 queries .