Cloud Data Fusion 是一项全托管式云原生企业数据集成服务,用于快速构建和管理数据流水线。Cloud Data Fusion 网页界面可让您构建可伸缩的数据集成解决方案,以便清理、准备、混合、转移和转换数据,而无需管理基础架构。(Cloud Data Fusion 由开源项目 CDAP 提供支持。)
月份:2023年8月
多块 gp3 制作 raid 0 提升磁盘性能
随着业务规模的增长,单块EBS已经无法满足IO需求。本文介绍了通过RAID 0方式组合多块EBS卷,实现IO性能的水平扩展。同时也测试了修改EBS类型和调整配置后对RAID 0性能的影响。
使用 Dataflow 模板创建从 Pub/Sub 到 BigQuery 的流处理流水线
快速进行流式数据分析
Dataflow 可实现快速、简化的流式数据流水线开发,且数据延迟时间更短。
简化运营和管理
Dataflow 的无服务器方法消除了数据工程工作负载的运营开销,让团队可以专注于编程,而不必管理服务器集群。
降低总体拥有成本
资源自动扩缩功能搭配费用优化的批处理功能,使得 Dataflow 可提供几乎无限的容量来管理季节性和峰值工作负载,而不会让您过度开支。
配置AWS Health Dashboard邮件告警
在当今云计算时代,AWS作为全球领先的云服务提供商,为企业提供了众多强大的服务和工具。其中,AWS Health Dashboard(AWS健康仪表板)是一个重要的工具,它可以帮助我们了解AWS服务的可用性和运行状况。然而,仅仅查看健康仪表板可能无法满足我们对于实时监控和告警的需求。为了让我们能够更快地了解到潜在的问题和变更,配置Health Dashboard邮件告警显得尤为重要。
使用 Cloud Armor 对 Google Cloud 负载均衡限流
Google Cloud 全球负载均衡 Google Cloud Load Balancing (GCLB) 作为一个全球分布式软件定义负载均衡,可以将全球各地的网络请求通过谷歌边缘节点和骨干网高效投递到用户在任一 Google Cloud 数据中心部署的后端服务,是使用频率非常高的一个云产品。其工作模式为通过分布在全球的数百个边缘节点将用户请求接收并通过自建骨干网将这些请求投递到后端服务。GCLB 在没有配置 WAF 的时候,会无条件接收所有外部的 HTTP/HTTPS 请求,而不做任何限流。但是,在某些场景下,比如流量增长高于后端承载能力,或者遭到 CC 攻击的时候,用户希望负载均衡能
Compute Engine 永久性磁盘在线扩容
当GCP虚拟机实例需要额外的存储空间或增加的性能限制时,我们可以增加永久性磁盘的大小。无论磁盘是否挂接到正在运行的虚拟机,都可以增加磁盘大小。
注意:您只能增加磁盘大小,而不能减小磁盘大小。如需减小磁盘大小,您必须创建较小的新磁盘。在删除较大的原始磁盘之前,您需要为这两个磁盘付费。