炼数成金 大数据架构
订阅

架构

如何实现Spark on Kubernetes?
如何实现Spark on Kubernetes?
“数据湖”正在被越来越多人提起,尽管定义并不统一,但企业已纷纷投入实践,无论是在云上自建还是使用云产品。阿里云大数据团队认为:数据湖是大数据和AI时代融合存储和计算的全新体系。为什么这么说?在数据量爆发 ...
一个高效的定时任务系统
一个高效的定时任务系统
应用程序部署在操作系统上,定时任务依赖操作系统的时钟。鉴于大部分的服务器都部署在 Linux 上,我们就只讨论 Linux 的时间系统,Windows 服务器别打我。大部分 PC 机中有两个时钟源,他们分别叫做 RTC(Real Time ...
王者荣耀为什么不使用微服务架构?
王者荣耀为什么不使用微服务架构?
微服务为了把业务完美拆解,把原来的同一个进程里的模块拆分成不同的服务,显著增加额外的网络开销。更别说什么Service Mesh,各种Gateway,Proxy,Sidecar简直就是担心延迟太低。微服务基本只有request/response的 ...
专为流式数据设计的另一种缓存:流式缓存技术解读
专为流式数据设计的另一种缓存:流式缓存技术解读
传统的缓存解决方案将每一个缓存项都当作一个不可变的数据块对待,这在重度追加的注入工作负载上会产生很多问题,而这种模式的负载在 Pravega 上却非常常见。每一个追加到流上的事件因此要么需要有它自己独立的缓存 ...
微服务架构的核心关键点
微服务架构的核心关键点
当我们架构微服务应用时首先遇到的一个问题是,作为消费者如何访问并调用服务提供者所提供的服务,作为服务提供者如何能让服务消费者知道并进行消费。在传统应用开发时,通常是在开发语言层面上解决这个问题,可能我 ...
Spark on K8S 的最佳实践和需要注意的坑
Spark on K8S 的最佳实践和需要注意的坑
Spark 哪个地方需要用到 K8S 呢?K8S 是 Spark 上全新的集群管理和调度系统,其他三个资源管理和调度为 Standalone、YARN 以及 Apache Mesos。YARN 集群中的 Spark 版本、Python 版本以及依赖都是全局配置的,缺乏隔 ...
22款好用的CLI工具
22款好用的CLI工具
Shell- 毋庸置疑,在终端中,Shell 是使用最频繁也最重要的工具。过去,我曾经使用过 Bash 和 Z Shell,而如今,我正在使用的是 Fish Shell。这是一个非常优秀的终端 Shell 工具,拥有许多开箱即用的功能,例如语法 ...
Netflix 微服务架构设计解析
Netflix 微服务架构设计解析
数年来,Netflix 一直是全球体验最好的在线订阅制视频流媒体服务,其流量占全球互联网带宽容量的 15%以上。 在过去的2019 年,Netflix 已经有 1.67 亿名订阅用户,平均每个季度新增 500 万订户,服务覆盖全球 200 ...
亿级 ELK 日志平台构建实践
亿级 ELK 日志平台构建实践
Filebeat:轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。换句话说:Filebeat就是新版的 Logstash-fowarder,也会是 ELK Stack 在 Agent 的第一选择。Kafka: 数据缓冲队列。作为消息队列解耦了处 ...
去Oracle实录:如何在线更换金融核心场景中的数据库?
去Oracle实录:如何在线更换金融核心场景中的数据库?
陆金所从 2018 年启动全站去 O 项目以来,在不做任何服务降级的情况下,历时 2 年通过上百次变更,把全站 98% 的 Oracle 数据库无缝切换到 MySQL 上。其中,这 98% 的数据库覆盖了陆金所的账务、资金、资产中心、支 ...
如何让你的Nginx 提升10倍性能?
如何让你的Nginx 提升10倍性能?
提升Web应用的性能从未像今天这样刻不容缓。在线经济活动的比例日益提高,就连发展中国家和地区的经济活动都已经有5%以上在线进行了(相关数据请参考本文后面的资源)。在这个超级链接、随时在线的现代世界,用户的 ...
8场5胜,微服务VS单体架构
8场5胜,微服务VS单体架构
越来越多的组织开始放弃单体应用,逐步转向微服务的架构模式–将业务流程分为多个独立的服务。例如,在一个机票预订中,就可能涉及许多个单独的过程:在航空公司预订机票,付款,并在机票成功预订后向客户发送确认信 ...
技术选型:没有谷歌的命,得了谷歌的病
技术选型:没有谷歌的命,得了谷歌的病
1998 年的谷歌和今天的谷歌相差甚远,他们也是利用了一定技巧和捷径才走到今天的位置。谷歌也曾从小鱼慢慢发展为庞然大物。如果没有强大的开发军团,就做不了在全球部署的产品。公司规模的不同,决定了技术决策的不 ...
5种主要的软件架构模式
5种主要的软件架构模式
软件架构模式是经过验证的,具有良好设计结构的方法。更具体地说,架构模式是在实践中归纳总结的一组设计决策,具有明确定义的属性,并可以重复使用。软件开发有时可以看作是选择,定制和组合架构模式的过程。软件架 ...
分布式锁原理——redis分布式锁,zookeeper分布式锁
分布式锁原理——redis分布式锁,zookeeper分布式锁
首先分布式锁和我们平常讲到的锁原理基本一样,目的就是确保,在多个线程并发时,只有一个线程在同一刻操作这个业务或者说方法、变量。在一个进程中,也就是一个jvm 或者说应用中,我们很容易去处理控制,在jdk java ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2021-4-13 15:57 , Processed in 0.122955 second(s), 16 queries .