炼数成金 › 大数据›架构

架构

Apache Beam成功孵化为Apache顶级项目：将统一大数据平台开发: 1 月 10 日，Apache 软件基金会宣布，Apache Beam 成功孵化，成为该基金会的一个新的顶级项目。Apache Beam 在2016年1月发布第一个版本，由 Google 捐献给开源社区，凝聚着 Google 研发大数据基础设施的多年经验。大 ...

京东容器集群建设之路: 2013年初，京东商城研发布局虚拟化技术方向。那时的我们从0起步。从几人小团队开始起航。在物理机时代，应用上线等待分配物理机时间平均在一周。应用混部要看脸看颜值的，没有隔离的应用混部如履薄冰，所以在物理机 ...

传统企业如何转型互联网？苏宁六年技术架构的演进总结: 苏宁的业务是很复杂的。2012年，第一次接触苏宁的时候，我还在IBM工作，单纯地想苏宁不就是卖电器的吗？可能直到今天，很多人还是有这个误解。实际情况当然不是，这是非常大的误解。比如苏宁有体育版块，包括江苏足 ...

携程大数据实时风控的架构及实践: 携程作为国内OTA领头羊，每天都遭受着严酷的欺诈风险，个人银行卡被盗刷、账号被盗用、营销活动被恶意刷单、恶意抢占资源等。目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步，经过五 ...

Apache再次接受阿里开源产品捐赠移动开发框架Weex进入孵化: 12月15日，阿里巴巴宣布将移动开源项目Weex捐赠给Apache基金会开始孵化，Weex有望成为中国移动领域的首个Apache顶级项目，这意味着中国移动技术开始反哺世界。据悉，这也是继JStorm、RocketMQ之后，阿里向Apache捐赠 ...

微信异步化改造实践：8亿月活、万台机器背后的解决方案: 如今，微信拥有月活跃用户8亿。不可否认，当今的微信后台拥有着强大的并发能力。不过，正如罗马并非一日建成；微信的技术也曾经略显稚嫩。微信诞生于2011年1月，当年用户规模为0.1亿左右；2013年11月，微信月活跃用 ...

深度学习硬件架构简述: 深度学习具有极高的计算需求，要对深度学习应用进行开发并商业化，就需要找到合适的硬件配置。目前，在开发用于深度学习应用的高效硬件平台这一领域，竞争十分激烈。本文将介绍具体的硬件要求，并讨论未来对深度学 ...

使用Zeppelin和Spark一键搭建数据分析及可视化平台案例: 在互联网时代，所有业务都需要搭建自己的大数据平台集群，目前最有效率的方式就是在公有云平台上，利用已有的脚本以及镜像，可以在几分钟内搭建好一套大数据系统用于开发、测试及线上部署。高可用架构精心挑选一个典 ...

Apache Spark的Lambda架构示例应用: 目前，市场上很多玩家都已经成功构建了MapReduce工作流程，每天可以处理TB级的历史数据，但是在MapReduce上跑数据分析真的太慢了。所以我们给大家介绍利用批处理和流处理方法的Lambda架构，本文中将利用Apache Spark ...

京东Nginx平台化实践: Nginx是优秀的HTTP和反向代理服务器，京东各部门都在广泛使用，但普遍都面临着一些问题：配置复杂，专业性强。配置文件无法批量修改且配置变更依赖重启操作。不同应用依赖不同模块、配置项，管理混乱。同一应用的Ngi ...

Uber是如何使用Mesos和Cassandra来处理每秒上百万次的数据处理: 如果你也是Uber技术团队的一员，司机和乘客App每30秒就要发出一次定位数据，而你就要把这些数据全保存下来，你会怎么做？在Uber有很多类似的要实时处理的数据。Uber的解决方案是非常完善的。他们在Mesos上面运行了Ca ...

架构师和开发者争吵的5个理由: 尽管行业内的公司对于软件架构师究竟做什么工作有相当大的差异，但万变不离其宗的观念是，架构师是技术上有成就的人。几乎一成不变的是,公司总是期望架构师起初可以做开发者，并且能力很强。当这种情况行不通时，矛 ...

日消息量突破50亿，小米是如何设计高可用推送系统的？: 小米推送是目前国内领先的推送服务提供商，主要为开发者提供快捷、准确、稳定的推送服务。目前接入APP 7000+家，日活跃设备突破3亿，日消息量突破50亿。之所以取得如此的成绩，一方面得益于我们在小米手机上系统级的 ...

Nginx 引入线程池，提升 9 倍性能: 众所周知，NGINX 采用异步、事件驱动的方式处理连接。意味着无需对每个请求创建专门的进程或线程，它用一个工作进程（worker process）处理多个连接和请求。为了达到这个目的，NGINX采用非阻塞模式的 socket，并利用 ...

为何Yelp弃用Storm和Heron，自建流处理器PaaStorm？: 在2010年时，Yelp开源了一个名叫MRJob的框架，是用来在AWS基础设施上运行大MapReduce Job的。Yelp的工程师们用MRJob实现了很多功能，从广告推送到翻译，比比皆是。事实证明，MRJob是一个非常强大的工具，可以在我们 ...

1 2 3 4 567 8 9 10 ... 14 / 14 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

• 另一种可微架构搜索：商汤提出在反传中学习架构参数的SNAS

社区热帖

GMT+8, 2019-2-22 20:37 , Processed in 0.130594 second(s), 16 queries .