谷歌数据工程师不优化 SQL，竟是因为存储太便宜了！
微wx笑
2022-11-12【文摘】
0
0关键字：
SQL优化
我是谷歌公司的一个外部供应商。合作过程中，我看到一些谷歌工程师写的 SQL 语句效率很低。这些语句每10分钟对数据库生成一个快照，要浪费好几 TB 的空间。谷歌为什么不优化这
我是谷歌公司的一个外部供应商。
合作过程中，我看到一些谷歌工程师写的 SQL 语句效率很低。
这些语句每10分钟对数据库生成一个快照，要浪费好几 TB 的空间。谷歌为什么不优化这些语句呢？
后来，我想明白了这是为什么。
首先，很多现代数据库具有实时优化功能，会自己优化 SQL 语句，不需要在这方面投入人力。
其次，根据公开数据，2022年数据工程师的平均年薪为11.25万美元，谷歌工程师的收入显然更高。因此，谷歌认为，工程师的时间最好花在创造业务价值上，而不是用来优化 SQL 查询，这种事情应该留给数据引擎的开发人员和云计算。
第三，存储几乎是免费的，而且每天都变得更便宜。现在谷歌 GCP 云平台上每年存储 1TB 数据的成本约为 20 美元。如果每15分钟对一个包含大约 300 万条记录的小表生成快照，那么每年生成的数据大约就是 1TB。
一个美国数据工程师的每小时工资平均为54美元，让他在优化查询、编写合并语句、创建单独的管道、提交代码、对其进行审查、长期维护上工作一个小时的时间，就大致相当于数据存储两年的成本。
实际上，我的估计是，工程师对这个项目的 SQL 查询进行优化，可能需要花费8小时（一天的工作时间），那就大约是16年的存储成本。
由于存储成本如此之低，而且越来越低，工程师的时间用于快速行动和创造业务价值，远比浪费在编写精巧的 SQL 语句上更有价值。
本文为转载文章，版权归原作者所有，不代表本站立场和观点。
