本文源自金融界

前言：这年头， 谁还等得起

现在的日子过得真快，快得让人想哭。特别是在金融界，那种感觉就像是你在跑马拉松，后来啊发现前面有一堵墙，墙上面写着“数据”。大家都想要快，真的，谁都想要快。一分钟，甚至更短。如果你还在用那种半天都跑不出后来啊的系统，那你大体上就被市场淘汰了。老板坐在办公室里手指敲得啪啪响，问你：“报告呢？”你这时候不能说“在等数据清洗”，你只能哆哆嗦嗦地说：“来了来了马上来。”这就是我们要聊的话题，怎么在快和好之间找平衡。这太难了真的，比我想象中难多了比我想象中难多了好几倍。

很多人问我，什么叫OLAP？我也不是特别懂，反正就是那种用来分析数据的，听起来很高大上。但我觉得，它本质上就是算数。只不过它算的不是几块钱几块钱的账，而是几百万几千万的账。而且它要求算得快，算得准。但问题是 数据这东西，它不总是准的，它有时候是脏的，有时候是坏的，有时候它就像个调皮的孩子，跑得没影了。怎么在这中间找个平衡，是个大问题。这就像是让你一边骑着摩托车一边煮面条，还得保证面条不糊，这怎么可能嘛，栓Q了...。

什么是分钟级时效性？

胡诌。 所谓的分钟级时效性，说白了就是你要快。快到什么程度？快到每隔一分钟，你就能看到新的报表。这听起来很简单，对吧？只要你的电脑够快就行了。但现实不是这样的。现实是数据源源不断地进来像洪水一样。如果你每分钟都去处理所有的数据，那你的电脑肯定得炸。所以你必须得有个聪明点的方法，就是只处理最近一分钟的数据，或者只处理那个最重要的数据。

我想想，如果银行里有人转账，这笔钱要是在一分钟后才显示出来那会怎么样？那肯定是出事了。没人愿意等。所以时效性就是生命。特别是在做决策的时候，这一分钟可能就是赚几百万和亏几百万的区别。 上手。 你要是在这一分钟里还在看昨天的数据，那你大体上就是个傻子。所以大家都拼命追求这个“分钟级”。但这就带来了一个问题，就是你怎么保证这一分钟的数据是靠谱的？

数据有效性是个啥？为什么它总是搞我心态？

说到数据有效性，我就头疼。你知道的，数据这东西，来源太杂了。有的来自系统A，有的来自系统B，有的来自人工录入。人工录入的，那是最麻烦的。 痛并快乐着。 我见过有人录入的时候，把“1”看成“7”，把“0”看成“6”。如果你用这些数据去分析，那后来啊肯定是错的。这就是数据有效性差。

如果数据是错的，那你分析得再快也没用。这就好比你去买苹果，人家给你一堆烂苹果，你就算跑得再快把烂苹果搬回家，那也是烂苹果。对吧？所以数据有效性是基础。没有有效的数据，所有的分析都是空谈。但问题又来了数据有效性是个慢活。 客观地说... 你得检查，得清洗，得过滤掉那些错误的。这个过程很费时间。这就跟我们刚才说的“分钟级时效性”打架了。你想快，但数据又不干净。你想干净，但时间又不够。这就叫死结。

这俩货到底怎么平衡？

这真的很难。我试过很多方法，有的方法很蠢，有的方法很贵。但我觉得，核心就是要在“全量”和“增量”之间找个平衡点。什么是全量？就是把所有数据都洗一遍，保证100%干净。什么是增量？就是只洗新进来的数据，不管旧数据了。

如果你选全量，那肯定来不及。主要原因是数据量太大了洗一遍需要好几个小时甚至好几天。如果你选增量，那虽然快，但旧数据可能有问题，一旦旧数据有问题，你的整个报表体系就会崩。这就叫“蝴蝶效应”。一只蝴蝶在亚马逊扇了一下翅膀，你的报表就错了，极度舒适。。

所以我的建议是不要追求那种绝对的完美。你要知道，在这个世界上，没有什么是完美的。你要接受一些不完美。比如说你可以接受99%的数据是有效的，哪怕剩下那1%的数据是错的。只要这1%的数据不影响大局，那就行。这就叫妥协。妥协是智慧，虽然听起来不好听，但这就是现实。

怎么保证那1%的数据不出乱子？

既然我们不能把所有数据都洗得干干净净，那我们就得想办法防止错误的数据造成大影响。 我整个人都不好了。 这就需要一些技术手段，但我也不懂太深的，我就说说大概意思。

比如说你可以设置一些规则。如果发现某个数据明显不对劲，比如那个数字太大了或者太小了直接把它扔掉。不要让它进你的分析系统。这就好比垃圾邮件过滤，太明显的垃圾就删掉。还有，你可以让不同的人去核对数据。一个人看不准，就两个人看。两个人看不准，就三个人看。人多力量大嘛。当然这会增加成本，会让系统变慢，但这都是为了数据有效性，这事儿我可太有发言权了。。

技术选型是个大坑，千万别掉进去

换个赛道。 选什么技术也是个头疼的事。现在市面上有很多种OLAP系统，什么MPP、什么分布式、什么列式存储……这些词我听着都晕。反正就是那些听起来很厉害的词。但我个人觉得，选技术不能只看名字，要看实际效果。

有的系统宣传说“秒级响应”，后来啊用起来慢得像蜗牛。有的系统宣传说“大数据支持”，后来啊数据一大就卡死。所以一定要自己测试。别听那些卖软件的人忽悠。他们说的天花乱坠，什么“全球领先”、“业界第一”，其实都是骗人的。你要问自己，这东西在我的场景下真的能用吗？能跑得动吗，别担心...？

我以前就犯过这个错，买了一堆昂贵的服务器，后来啊发现软件根本跑不动。钱花了一大把，数据还是老样子。那时候我真是欲哭无泪。所以选技术要务实。适合你的才是最好的。不要为了追求高大上而追求高大上。这就好比你明明只是想买个锅煮饭，后来啊去买了个火箭发射器，那不是扯淡吗？

架构设计：别把所有鸡蛋放在一个篮子里

架构也很重要。你不能把所有数据都放在一台电脑上。万一这台电脑坏了或者中毒了那你完了。所有的数据都没了。所以你要把数据分散开。有的放这里有的放那里有的放云端。这样就算其中一部分出问题了其他的还能正常工作。这就叫冗余。虽然冗余会浪费一点空间，但为了平安，值得，本质上...。

而且，数据还要分层次。有些数据是不经常变的，比如历史数据，你可以把它们存得深一点，慢一点处理。有些数据是经常变的，比如今天的新数据，你要把它们放在最显眼、处理最快的地方。这样就能提高效率。这就像是大象和蚂蚁，大象力气大但跑得慢，蚂蚁跑得快但力气小。你要把它们结合起来用。

人工干预：有时候还得靠人脑

说句可能得罪人的话... 说到这里 肯定有人要说那你搞得这么复杂，是不是就不用人了？那肯定不是。机器毕竟是机器，它没有脑子。它不懂什么是“逻辑”，什么是“异常”。有时候，数据本身是没问题的，但放在那个位置上就不对。这时候，就需要人脑去判断。

所以系统设计的时候，一定要给人工留个口子。万一系统发现数据有点不对劲，别直接就报错了或者直接就处理了。最好能弹出一个提示框，告诉用户：“嘿，这里的数据有点怪，你来看看。”让用户去决定是保留它，还是删除它。这样既能保证时效性，又能保证有效性。这就是人机结合。这才是王道，内卷。。

持续优化：没有最好，只有更好

我跪了。 做这个系统不是一劳永逸的。数据会变，业务会变，技术也会变。所以你必须不断地去优化它。定期去检查系统，看看哪里慢了哪里数据错了。然后去修改它。这就像开车一样，你得时不时地调整一下方向盘，才能保持直线行驶。

有时候，一个小小的改动，就能带来巨大的性能提升。比如说你把一个SQL语句改了改，或者你把一个索引加上了速度可能就快了一倍。这就是优化的魅力。虽然这很枯燥，很繁琐，但你能看到效果。看到系统跑得飞快，报表一秒出，那种感觉，真的很好。比吃红烧肉还香，试试水。。

平衡是一门艺术

好了说了这么多，其实也没说清楚。反正就是一句话，要想在分钟级时效性和数据有效性之间找平衡，真的很难。这需要技术，需要经验，还需要一点点运气。你不能太追求快，否则数据就是垃圾。也不能太追求好，否则时间就来不及了，纯属忽悠。。

摆烂。 你需要不断地试错，不断地调整，不断地妥协。这就像走钢丝，摇摇晃晃的，但只要你能稳住你就是最棒的。金融界的朋友们，加油吧。别让数据跑了也别让老板等急了。这就是我们的使命。虽然很难，但既然干了这一行，就得硬着头皮上。这就是生活。

我持保留意见... 再说说我想说的是别太迷信那些大厂的技术。适合自己的才是最好的。多动手，多测试，多思考。别总想着抄近道。捷径往往都是死路。踏踏实实做数据，做分析，总会有回报的。哪怕回报不是立刻到来的，它也会在某一个时刻，让你觉得所有的努力都是值得的。这就叫坚持。

聊聊那个“噪音”问题

对了还有一个很重要的事情。有时候，数据里会有很多噪音。什么是噪音？就是那些没用的信息，干扰你判断的信息。 哪怕... 比如有人在数据里乱填乱写，或者系统本身就有bug。这些噪音如果不处理掉，你的分析就会变得一团糟。

所以在追求时效性的一边，一定要想办法把这些噪音给过滤掉。这就像是在听收音机，你得把那些滋滋啦啦的杂音给关掉，才能听清楚里面的节目。不然的话，你听到的全都是噪音，根本不知道在说什么。处理噪音也是个技术活，有时候比处理有效数据还麻烦。但没办法，为了那个“完美平衡”，我们只能硬着头皮上。

关于未来的展望

拜托大家... 未来的技术会怎么样呢？我觉得会越来越智能。AI会越来越厉害，它能自动帮我们识别哪些数据是噪音，哪些数据是有效的。甚至，它还能自动帮我们清洗数据。那样的话，我们做分析的人就轻松多了。我们只需要喝喝茶，看看报告就行了。

但目前来看，我们还处于一个比较原始的阶段。还得靠人去盯着系统，去分析数据。所以大家要耐得住寂寞。技术进步不是一蹴而就的， 太虐了。 它需要时间。我们要给技术一点时间，也要给我们自己一点时间。别急，慢慢来总会好起来的。

再啰嗦几句关于成本

再说说再提一下成本。做这个系统真的很烧钱。服务器要钱，软件要钱，维护要钱，人也要钱。每一个环节都要花钱。所以在做决策的时候， 我的看法是... 一定要算好账。别为了追求一点点的速度提升，就把公司的钱都花光了。那样老板会杀了我的。

性价比很重要。要在有限的预算内，做到最好。这就需要精打细算。就像过日子一样，一分钱都要掰成两半花。哪里能省，哪里能省，心里得有数。不能盲目地堆资源。有时候，优化一下代码，比买一台新服务器更省钱。这个道理，一定要明白。

好了不说了。说了这么多，也不知道你们听懂没有。反正我知道了以后做分析，得快，得准，还得稳。这比登天还难。但我相信，只要我们努力，总有一天能实现那个“完美平衡”的。到时候，我一定要请大伙儿吃大餐。不是红烧肉，是真正的牛排，我是深有体会。。