Intuit 的云分析之旅

如何使用 Amazon Redshift 提供新一代数据服务 2014 年，Intuit 时任首席技术官 Tayloe Sainsbury 全力投入云计算，并开始将 Intuit 的传统本地 IT 基础设施迁移到 Amazon AWS。截至 2018 年 2 月，Intuit 已出售其最大的数据中心，并在云端处理 100% 的 2018 年税务申报。 但现在 Intuit 面临着不同的挑战——优化云支出并将支出分配给产品和用户。AWS 通过“成本和使用情况报告”(“CUR”) 向客户计费。由于其云支出规模巨大，Intuit CUR 包含数十亿行，并且每天都在不断增长。Intuit 从本地数据仓库转向现在使用 Amazon Redshift 每天处理 4-50 亿行原始 CUR 数据。

在这篇文章中，我将向您介绍 Jason Rhoades 使用 Redshift 构建 Intuit 数据管道的方法。Jason 是 Intuit 的架构师，他们拥有一个小型数据团队，为 8,000 多名 Intuit 员工提供关 沙特阿拉伯电报号码数据 键业务数据。 注意——这是一篇很长的文章，有很多细节！ 三大块： Intuit 业务概述，以及税务处理的季节性如何使 Intuit 成为最早迁移到云的公司之一。 如何使用 Amazon Redshift 构建新的数据服务层，为整个企业提供其所使用的云服务的近乎实时的成本和使用数据。 处理数据的“新方式”——数据湖、数据科学等——使您的整个公司能够利用数据提高生产力，而不会出现任何性能瓶颈。



我们先来概述一下业务。 数字化改变了 Intuit 运营业务的方式 Intuit 为消费者和小型企业打造财务管理和合规产品及服务。Intuit 还向会计专业人士提供税务产品。 产品包括 QuickBooks、TurboTax、Mint和 Turbo。这些产品帮助客户经营业务、支付员工工资、发送发票、管理费用、追踪资金以及提交所得税。通过这些产品，Intuit 为超过 5000 万客户提供服务。 Intuit 始于 20 世纪 80 年代，并构建了其第一个桌面产品 Quicken 的原始版本，首先是 MS-DOS，然后是 Windows。随着互联网的出现，这种使用转移到了网络和移动设备上。这一变化的影响早在 2010 年就已显现出来。

楼主辛苦了！