炼数成金 › 大数据›架构

架构

使用Zeppelin和Spark一键搭建数据分析及可视化平台案例: 在互联网时代，所有业务都需要搭建自己的大数据平台集群，目前最有效率的方式就是在公有云平台上，利用已有的脚本以及镜像，可以在几分钟内搭建好一套大数据系统用于开发、测试及线上部署。高可用架构精心挑选一个典 ...

Apache Spark的Lambda架构示例应用: 目前，市场上很多玩家都已经成功构建了MapReduce工作流程，每天可以处理TB级的历史数据，但是在MapReduce上跑数据分析真的太慢了。所以我们给大家介绍利用批处理和流处理方法的Lambda架构，本文中将利用Apache Spark ...

京东Nginx平台化实践: Nginx是优秀的HTTP和反向代理服务器，京东各部门都在广泛使用，但普遍都面临着一些问题：配置复杂，专业性强。配置文件无法批量修改且配置变更依赖重启操作。不同应用依赖不同模块、配置项，管理混乱。同一应用的Ngi ...

Uber是如何使用Mesos和Cassandra来处理每秒上百万次的数据处理: 如果你也是Uber技术团队的一员，司机和乘客App每30秒就要发出一次定位数据，而你就要把这些数据全保存下来，你会怎么做？在Uber有很多类似的要实时处理的数据。Uber的解决方案是非常完善的。他们在Mesos上面运行了Ca ...

架构师和开发者争吵的5个理由: 尽管行业内的公司对于软件架构师究竟做什么工作有相当大的差异，但万变不离其宗的观念是，架构师是技术上有成就的人。几乎一成不变的是,公司总是期望架构师起初可以做开发者，并且能力很强。当这种情况行不通时，矛 ...

日消息量突破50亿，小米是如何设计高可用推送系统的？: 小米推送是目前国内领先的推送服务提供商，主要为开发者提供快捷、准确、稳定的推送服务。目前接入APP 7000+家，日活跃设备突破3亿，日消息量突破50亿。之所以取得如此的成绩，一方面得益于我们在小米手机上系统级的 ...

Nginx 引入线程池，提升 9 倍性能: 众所周知，NGINX 采用异步、事件驱动的方式处理连接。意味着无需对每个请求创建专门的进程或线程，它用一个工作进程（worker process）处理多个连接和请求。为了达到这个目的，NGINX采用非阻塞模式的 socket，并利用 ...

为何Yelp弃用Storm和Heron，自建流处理器PaaStorm？: 在2010年时，Yelp开源了一个名叫MRJob的框架，是用来在AWS基础设施上运行大MapReduce Job的。Yelp的工程师们用MRJob实现了很多功能，从广告推送到翻译，比比皆是。事实证明，MRJob是一个非常强大的工具，可以在我们 ...

用Elasticsearch+Redis构建投诉系统，看Airbnb如何保证用户增长: 如今，我们如何了解到用户日益增长的新问题？对特定某个人来说，这个问题似乎很好回答——对于每家公司来说，都是明确易答的问题。但实际上，我们发现这个问题没那么简单。当然，我们的数据库存储有用户问题的数据， ...

从5台服务器到两地三中心：魅族系统运维架构演进之路: 魅族的互联网业务起步得比较早， 2011 年就开始，到 2014 年真正转变为一家移动互联网公司。从 2014 年开始，魅族互联网业务呈现爆发式增长，截至 2015 年底，Flyme 注册用户突破 3000 万，应用商店超过 100 万款应 ...

Kafka实战：从RDBMS到Hadoop，七步实现实时传输: 本文是关于Flume成功应用Kafka的研究案例，深入剖析它是如何将RDBMS实时数据流导入到HDFS的Hive表中。对于那些想要把数据快速摄取到Hadoop中的企业来讲，Kafka是一个很好的选择。Kafka是什么？Kafka是一个分布式、可 ...

京东消息中间件JMQ：架构，与Kafka的对比，主要特性和应用场景: JMQ是京东自主研发的一款消息中间件系统，具有高可用、数据高可靠等特性。广泛应用于公司内部系统，包括订单、支付、库房等场景。服务端提供了配置信息分发、重试消息管理和消息存储与分发这三大类功能。每个服务端 ...

数据治理十年架构师告诉你，元数据为什么适用于微服务: 企业IT架构已经发展了多个阶段，在SOA阶段主要解决应用间集成问题，但随着企业业务的发展，单个应用逐渐成为“巨石型”应用，既难以扩展又难以维护。微服务架构将“巨石”应用拆分成为多个服务，以微服务为单独单元 ...

一次心惊肉跳的服务器误删文件的恢复过程: 经历了两天不懈努力，终于恢复了一次误操作删除的生产服务器数据。对本次事故过程和解决办法记录在此，警醒自己，也提示别人莫犯此错。也希望遇到问题的朋友能找到一丝灵感解决问题。安排一个妹子在一台生产服务器上 ...

消息队列的流派之争: Message Queue（MQ），消息队列中间件。很多人都说：MQ通过将消息的发送和接收分离来实现应用程序的异步和解偶，这个给人的直觉是——MQ是异步的，用来解耦的，但是这个只是MQ的效果而不是目的。MQ真正的目的是为了 ...

1 2 3 4 567 8 9 10 ... 14 / 14 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

社区热帖

GMT+8, 2018-9-19 13:27 , Processed in 0.111680 second(s), 16 queries .