炼数成金 大数据架构
订阅

架构

SpiderDuck与NoSQL – Twitter实时URL抓取服务架构
SpiderDuck与NoSQL – Twitter实时URL抓取服务架构
Twitter开发者博客上发表了一篇文章,向大家介绍了Twitter的URL抓取服务SpiderDuck,其中用到了Cassandra,HDFS和Memcached作为存储部件。是一个了解NoSQL使用方法的好例子。SpiderDuck的架构如下图所示:其分为下面 ...
淘宝海量数据库OceanBase:系统架构详解
淘宝海量数据库OceanBase:系统架构详解
无论从数据量还是访问量,OceanBase不再能够是一个单机系统,即使一台单机能服务高达几个TB的数据、提供几万QPS的服务能力,因此,分布式系统不可避免,然而,内部如何实现拆表(拆库)以及如何实现数据库的事务,成为 ...
Yahoo数据仓库架构简介
Yahoo数据仓库架构简介
Yahoo数据仓库在基础架构上由hadoop集群和Oracle集群组成,hadoop集群是一个计算平台,完成所有ETL数据处理过程;Oracle集群只是一个查询环境。
关于数据仓库架构的思考
关于数据仓库架构的思考
计算数据中心:提供统一的结构化和半结构化的数据存储服务并提供对这些数据的计算能力; 平台的关键字是稳定和弹性,其特性应包括:1,存储服务的提供:数据群集存储服务,应用对数据访问透明,无需关心存储的位置;提 ...
Evernote架构探析:为什么不用NoSQL?
Evernote架构探析:为什么不用NoSQL?
Evernote是非常著名的在线记事本应用。下面我们来一起探析它的后台架构,看看Evernote为什么没有选择流行的NoSQL。
Pixable的架构如何支持每天2000万张图片?
Pixable的架构如何支持每天2000万张图片?
Pixable通过各种社交平台聚合你的图片,你不会错过任何一个重要的瞬间。目前,Pixable每天要处理超过2000万张新增图片:抓取、分析、分类,并和已有的超过50亿张图片比较并对其排序。如何理解这些数据是很大的挑战, ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-9-19 13:28 , Processed in 0.109780 second(s), 16 queries .