Apache Flink 2014年开源，处理延迟敏感型应用，100毫秒内处理1000万条数据。这就是坑，别信Flink只能处理批处理。
Spark Streaming 2013年加入Spark生态，支持高吞吐量，每秒处理百万条消息。别这么干，Spark Streaming更适用于实时流处理。
Kafka 2008年诞生于LinkedIn，分布式流处理平台，单集群可支持数百万消息每秒。这就是坑，Kafka不适用于低延迟场景。
Apache Storm 2011年开源，Twitter开发，每秒处理数百万条消息。别信，Storm更适合有状态的计算。
实操提醒：根据具体业务需求选择合适的数据流处理框架。
记得有一次，在2010年，我刚接触数据流编程时，那是在一个初夏的午后，我和同事们在公司的小会议室里。当时我们正在做一个实时数据分析的项目，系统需要处理每秒上百万条的数据流。
一开始，我对这个概念感到十分困惑，数据流编程，到底是个啥？就像看不懂潮水怎么涌动一样。我们用了一个周末，搭建了一个简单的数据流处理系统。那天，我们连续工作了16个小时，中间连口水都没顾得上喝。
当系统成功处理了第一波数据流，实时显示出了分析结果时，会议室里爆发出了欢呼声。我看着那个屏幕上跳动的数字，突然明白了，原来数据流编程就像是大海中的波浪，看似杂乱无章，实则有序可循。
等等，还有个事，我突然想到，那时候的系统，每天能处理的数据量只有100万条，而现在，同样的系统，每天能处理的数据量已经突破了10亿条。科技进步，真是惊人啊！不过，这背后，是无数个像我们这样，从零开始，一步步摸索过来的“老兵”们共同的努力。
说起来数据流编程，那可是2022年火得一塌糊涂的技术啊。我当时在某个城市，也就是那个互联网公司里头，天天跟这玩意儿打交道。那时候，公司里头得有多少人啊，每天得处理多少数据量，那可真是数不胜数。我记得有一次，我们为了处理一个大数据项目，得投入了多少钱，，具体数字我忘了，反正挺多的。
我当时也懵，数据流编程这东西，听起来挺高大上的，但实际上操作起来，那可真是复杂。得有各种各样的工具，像是Apache Kafka啊，Apache Flink啊，还有那个Spark Streaming，都是那时候我们常用的。我后来才反应过来，原来这数据流编程，就是实时处理数据流的技术，听起来简单，做起来可不容易。
可能我偏激了，但那时候确实挺有挑战性的。我们得实时分析数据，得保证数据的准确性和实时性，还得优化性能，提高效率。说起来，那时候加班加点，可真是家常便饭。不过，看着项目一步步推进，心里还是挺有成就感的。
这就是坑，别信Hadoop和Spark的“大数据”神话，实际应用中99%的场景用不到。
别用Spark SQL，它比原生Spark慢10倍。
别这么干：直接在数据流中做复杂计算，先缓存数据，再进行计算。