炼数成金 大数据架构
订阅

架构

京东容器集群建设之路
京东容器集群建设之路
2013年初,京东商城研发布局虚拟化技术方向。那时的我们从0起步。从几人小团队开始起航。在物理机时代,应用上线等待分配物理机时间平均在一周。应用混部要看脸看颜值的,没有隔离的应用混部如履薄冰,所以在物理机 ...
传统企业如何转型互联网?苏宁六年技术架构的演进总结
传统企业如何转型互联网?苏宁六年技术架构的演进总结
苏宁的业务是很复杂的。2012年,第一次接触苏宁的时候,我还在IBM工作,单纯地想苏宁不就是卖电器的吗?可能直到今天,很多人还是有这个误解。实际情况当然不是,这是非常大的误解。比如苏宁有体育版块,包括江苏足 ...
携程大数据实时风控的架构及实践
携程大数据实时风控的架构及实践
携程作为国内OTA领头羊,每天都遭受着严酷的欺诈风险,个人银行卡被盗刷、账号被盗用、营销活动被恶意刷 单、恶意抢占资源等。目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步,经过五 ...
Apache再次接受阿里开源产品捐赠 移动开发框架Weex进入孵化
Apache再次接受阿里开源产品捐赠 移动开发框架Weex进入孵化
12月15日,阿里巴巴宣布将移动开源项目Weex捐赠给Apache基金会开始孵化,Weex有望成为中国移动领域的首个Apache顶级项目,这意味着中国移动技术开始反哺世界。据悉,这也是继JStorm、RocketMQ之后,阿里向Apache捐赠 ...
微信异步化改造实践:8亿月活、万台机器背后的解决方案
微信异步化改造实践:8亿月活、万台机器背后的解决方案
如今,微信拥有月活跃用户8亿。不可否认,当今的微信后台拥有着强大的并发能力。不过, 正如罗马并非一日建成;微信的技术也曾经略显稚嫩。微信诞生于2011年1月,当年用户规模为0.1亿左右;2013年11月,微信月活跃用 ...
深度学习硬件架构简述
深度学习硬件架构简述
深度学习具有极高的计算需求, 要对深度学习应用进行开发并商业化,就需要找到合适的硬件配置。目前,在开发用于深度学习应用的高效硬件平台这一领域,竞争十分激烈。本文将介绍具体的硬件要求,并讨论未来对深度学 ...
使用Zeppelin和Spark一键搭建数据分析及可视化平台案例
使用Zeppelin和Spark一键搭建数据分析及可视化平台案例
在互联网时代,所有业务都需要搭建自己的大数据平台集群,目前最有效率的方式就是在公有云平台上,利用已有的脚本以及镜像,可以在几分钟内搭建好一套大数据系统用于开发、测试及线上部署。高可用架构精心挑选一个典 ...
Apache Spark的Lambda架构示例应用
Apache Spark的Lambda架构示例应用
目前,市场上很多玩家都已经成功构建了MapReduce工作流程,每天可以处理TB级的历史数据,但是在MapReduce上跑数据分析真的太慢了。所以我们给大家介绍利用批处理和流处理方法的Lambda架构,本文中将利用Apache Spark ...
京东Nginx平台化实践
京东Nginx平台化实践
Nginx是优秀的HTTP和反向代理服务器,京东各部门都在广泛使用,但普遍都面临着一些问题:配置复杂,专业性强。配置文件无法批量修改且配置变更依赖重启操作。不同应用依赖不同模块、配置项,管理混乱。同一应用的Ngi ...
Uber是如何使用Mesos和Cassandra来处理每秒上百万次的数据处理
Uber是如何使用Mesos和Cassandra来处理每秒上百万次的数据处理
如果你也是Uber技术团队的一员,司机和乘客App每30秒就要发出一次定位数据,而你就要把这些数据全保存下来,你会怎么做?在Uber有很多类似的要实时处理的数据。Uber的解决方案是非常完善的。他们在Mesos上面运行了Ca ...
架构师和开发者争吵的5个理由
架构师和开发者争吵的5个理由
尽管行业内的公司对于软件架构师究竟做什么工作有相当大的差异,但万变不离其宗的观念是,架构师是技术上有成就的人。几乎一成不变的是,公司总是期望架构师起初可以做开发者,并且能力很强。当这种情况行不通时,矛 ...
日消息量突破50亿,小米是如何设计高可用推送系统的?
日消息量突破50亿,小米是如何设计高可用推送系统的?
小米推送是目前国内领先的推送服务提供商,主要为开发者提供快捷、准确、稳定的推送服务。目前接入APP 7000+家,日活跃设备突破3亿,日消息量突破50亿。之所以取得如此的成绩,一方面得益于我们在小米手机上系统级的 ...
Nginx 引入线程池,提升 9 倍性能
Nginx 引入线程池,提升 9 倍性能
众所周知,NGINX 采用异步、事件驱动的方式处理连接。意味着无需对每个请求创建专门的进程或线程,它用一个工作进程(worker process)处理多个连接和请求。为了达到这个目的,NGINX采用非阻塞模式的 socket,并利用 ...
为何Yelp弃用Storm和Heron,自建流处理器PaaStorm?
为何Yelp弃用Storm和Heron,自建流处理器PaaStorm?
在2010年时,Yelp开源了一个名叫MRJob的框架,是用来在AWS基础设施上运行大MapReduce Job的。Yelp的工程师们用MRJob实现了很多功能,从广告推送到翻译,比比皆是。事实证明,MRJob是一个非常强大的工具,可以在我们 ...
用Elasticsearch+Redis构建投诉系统,看Airbnb如何保证用户增长
用Elasticsearch+Redis构建投诉系统,看Airbnb如何保证用户增长
如今,我们如何了解到用户日益增长的新问题?对特定某个人来说,这个问题似乎很好回答——对于每家公司来说,都是明确易答的问题。但实际上,我们发现这个问题没那么简单。当然,我们的数据库存储有用户问题的数据, ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-19 21:56 , Processed in 0.101664 second(s), 16 queries .