数据技术提要

大数据技术的两个核心问题是存储和计算, 不存在通用的最优方案, 需根据实际场景选择合适的技术.

磁盘操作和网络传输是主要的性能瓶颈, 优化的切入点在于高效利用内存、尽可能本地计算.

数据的价值在于准确且全面地反映现实业务情况, 静止的业务数据是没有意义的, 需经由动态的变化揭示事物的发展规律.

"解析-计算"普遍存在的范式是: 逻辑优化 —> 物理优化, 两者是解耦的.