炼数成金 大数据架构
订阅

架构

中小型研发团队架构实践之集中式日志ELK
中小型研发团队架构实践之集中式日志ELK
日志可分为系统日志、应用日志以及业务日志,系统日志给运维人员使用,应用日志给研发人员使用,业务日志给业务操作人员使用。我们这里主要讲解应用日志,通过应用日志来了解应用的信息和状态,以及分析应用错误发生 ...
京东618大促网关承载十亿调用量背后的架构实践
京东618大促网关承载十亿调用量背后的架构实践
网关系统需要扛几十亿的流量调用,接口的平稳运行、每一个接口在后端服务之后的性能耗损都非常重要。比如我们使用了一个Redis集群,然后构建了两个机房,每一个机房都搭建了一个Redis集群,这样的话就能够很好地保证 ...
如何打造应对超大流量的高性能负载均衡?
如何打造应对超大流量的高性能负载均衡?
什么是负载均衡呢?用户输入的流量通过负载均衡器按照某种负载均衡算法把流量均匀地分散到后端的多个服务器上,接收到请求的服务器可以独立的响应请求,达到负载分担的目的。从应用场景上来说,常见的负载均衡模型有 ...
摩拜物联网架构演进之路:数据与架构齐驱,看摩拜创造奇迹
摩拜物联网架构演进之路:数据与架构齐驱,看摩拜创造奇迹
在Wikipedia上对架构的定义为The process and the product of planning,designing,and constructing structures.也就是规划、设计及构建的过程和产物。架构有很多种,包括研发架构,团队架构各种,今天分享的主题主 ...
几种常见的微服务架构方案—ZeroC IceGrid、Spring Cloud ...
几种常见的微服务架构方案—ZeroC IceGrid、Spring Cloud ...
微服务架构是当前很热门的一个概念,它不是凭空产生的,是技术发展的必然结果。虽然微服务架构没有公认的技术标准和规范草案,但业界已经有一些很有影响力的开源微服务架构平台,架构师可以根据公司的技术实力并结合 ...
中小型研发团队架构实践三要点
中小型研发团队架构实践三要点
中小型研发团队很多,而社区在中小型研发团队架构实践方面的探讨却很少。中小型研发团队特别是 50 至 200 人的研发团队,在早期的业务探索阶段,更多关注业务逻辑,快速迭代以验证商业模式,很少去关注技术架构。这 ...
体系化认识RPC
体系化认识RPC
RPC(Remote Procedure Call),即远程过程调用,是一个分布式系统间通信的必备技术,本文体系性地介绍了 RPC 包含的核心概念和技术,希望读者读完文章,一提到 RPC,脑中不是零碎的知识,而是具体的一个脑图般的体 ...
深度解密京东登月平台基础架构
深度解密京东登月平台基础架构
登月平台的基础架构以Docker+Kubernetes为中心,底层基础设施包括CPU、GPU、FPGA计算资源,IB、OPA高速互联网络以及多样化的文件系统,之上是机器学习框架和算法库,最上层是业务应用。管理中心包括权限管理、任务管 ...
链家大数据多维分析引擎实践
链家大数据多维分析引擎实践
OLAP 翻译成中文叫联机分析处理,OLTP 叫联机事务处理。OLTP 它的核心是事务,实际上就是我们常见的数据库。我们业务数据库就是面向于事务。它的并发量会比较高,但是操作的数据量会比较小。它是实时更新的。数据库 ...
github 迁移到Kubernetes 背后的思考
github 迁移到Kubernetes 背后的思考
去年,GitHub 已经改进了 Ruby on Rails 应用的基础设施,该应用负责运行 github.com 和 api.github.com。最近我们实现了一个重要里程碑,即:所有 Web 和 API 请求都由 Kubernetes 集群中运行的容器来处理,这些集 ...
要怎样努力,才能修炼成一个架构师?
要怎样努力,才能修炼成一个架构师?
我觉得在未来,编程会像英语、电脑一样是一个很通用的技能。首先是编程的门槛越来越低,从 Fortran, Pascal, C 到 Java, Python,编程语言其实是越来越简单的,即使你不是专业的软件工程师,学会用 Python 写一些简 ...
高可用性的几个级别
高可用性的几个级别
通过创建与主实例保持虚拟同步的虚拟机,使应用在服务器发生故障的情况下也能够持续可用。这种方法常通过使主虚拟机 和辅助虚拟机执行相同顺序的 x86指令来完成此过程。主虚拟机捕获所有输入和事件,并在辅助虚拟机 ...
基于Spark的机器学习平台在点融网风控应用介绍
基于Spark的机器学习平台在点融网风控应用介绍
机器学习的一般流程是,我们先有一个数据集,拿到这个数据集之后会作一个拆分,拆成一个 (X train, Y train)、(X test, Y test)。然后会根据训练集的特征作一个预处理。处理过程可能会包括比如缺失值的处理、相关性 ...
Airbnb 的核心日志系统架构及主要系统模块的设计之道
Airbnb 的核心日志系统架构及主要系统模块的设计之道
什么是日志平台系统?首先我们知道大数据对于互联网公司有非常重要的价值,对 Airbnb 也不例外。我们通过数据可以为客户提供最佳的旅行体验,同时我们也可以通过数据发掘用户的需求、市场需求,对我们的产品做出正确 ...
微信后台基于时间序的海量数据冷热分级架构设计实践
微信后台基于时间序的海量数据冷热分级架构设计实践
微信的后台数据存储随着微信产品特性的演进,经历了数次的架构改造,才形成如今成熟的大规模分布式存储系统,有条不紊的管理着由数千台异构机型组成的机器集群,得以支撑每天千万亿级的访问、键值以及 PB 级的数据。 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-9-19 13:28 , Processed in 0.094405 second(s), 16 queries .