大模型+电力预测？

自ChatGPT问世以后，大模型非常的火，不出意外的话，电力系统方向又打算搞事情了。大模型+电力任重道远。最近听说了一些关于大模型+风光功率预测、负荷预测、电价预测的想法，初步分析下，很遗憾的是，个人得出结论是不可行。简单来说，如果强行使用大模型来做电力预测，本质上可能只是一厢情愿的希望大模型去预测一个噪声罢了。

为什么大模型做不了电力预测

以日前电价预测为例。日前电价的产生过程实质并不复杂。日前电价是通过各个交易单元的日前报量报价出清计算出来的值。日前电价预测之所以复杂，是因为出清过程里的信息对预测的那一方来说并不是能够全部获取的。需要预测电价的往往是参与市场的交易方，但他并不知道参与交易的风光场站的功率预测值，也不知道全国的负荷预测结果。因此，日前电价预测难的是获取有效的数据，而非过程。对于风光功率预测来说同样如此。风光功率预测通常依赖于天气预报，风光功率预测的主要难度也在于如何处理天气预报的噪声干扰，而风力发电机和光伏发电的过程也是一个对于大模型而言并不复杂的物理过程。而如果要在日前对实时电价进行预测，可能就更难了。实时电价的产生主要来源于日前承诺与实时发电的不平衡，这个不平衡量通常含有的就是大量的风光功率预测误差的成分。要预测实时电价，就好比是预测一个预测模型的误差。而一个训练良好的预测模型，产生的误差理论上是均值为0的噪声。要是误差可预测，那为什么原来的预测模型不去预测误差呢？

大模型当前的成功主要还是表现在自然语言处理和天气预测上。究其宏观的原因，还是因为这两件事情的过程足够复杂。自然语言的处理本身就是一种难以用数学和规则量化的事情，它更像是在群体社会这样的复杂系统中涌现出来的产物，自然语言处理依赖于大量的数据积累和难以量化的过程。因此自然语言处理需要用复杂系统来学习和建模。天气预报也是类似，天气本来就是一类混沌系统，天气里的物理量的变化遵循的是天气系统里的各种微分方程。天气系统里PDE本来就是一类没有解析解的问题，天气预测的复杂来源于它的混沌，因此也需要一个足够大和深的模型来表示。

诚然，在提升模型大小和深度的方向上CV和NLP都取得了一定程度的成功。但遗憾的是，风光功率预测、负荷预测、电价预测的体系并不是上述这样的复杂系统。这些预测任务虽然是复杂的，但复杂的性质却跟自然语言处理和天气预测并不一样。电力预测的复杂并不在于预测量产生过程的复杂，而是在于缺少了信息的情况下引入的噪声影响预测精度。当然，大家可能会说即便缺少数据，从时间序列预测的角度确实能够提升精度。但如果大模型没有从数据角度解决这件事情，大模型预测所利用的信息与之前的方法是一样的，那么大模型的意义就仅在于模型大了一点深了一点。模型越大一定越好吗，这个道理显然不是。大模型意味着更大的数据支撑，也取决于数据集样本。要是以为任何事情都可以力大砖飞，不去细究背后的过程，最后换来的结果只是模型记住了一切的噪声，然后过拟合罢了。说到底，电力预测的有限性，还是在数据质量中带来的难以克服的噪声上。企图通过大模型来弥补这个噪声是不现实的，并不是什么都可预测，也并不是什么都能通过更大更深的模型来预测。以一个不恰当的比喻来看，用大模型预测风光、预测电价，就像是给大模型圆周率的前N位，让它预测后面的数据。它虽然确实可能擅长时间序列预测，但并不是万能到预测随机。

除了机理上的分析，从工程的角度而言，大模型意味着大数据的支持。一个7B参数大模型，每个参数以float32方式存储，大约需要28GB的显存空间。一个28GB大小的模型，数据量该有多大合适呢？假设数据量是28GB，即便不划分训练集测试集，那么也只能找到唯一个满秩解。就好比线性回归里只有一个参数的线性模型拟合一个数据点一样滑稽。早期做LLM的公司都是或多或少有搜索引擎或是跟搜索引擎合作的，海量的数据获取和管理并不简单，更何况像电力这样大部分数据都是非公开难以获取的了。抛开数据的问题，硬件成本也是一个不菲的经费，从头训练一个大模型并不是几张3090显卡能做的。

大模型未来的方向

大模型确实很火，但如果只是像借鉴大模型的大，借鉴它的深度学习架构，最后得到的也只是一个堆起来的transformer架构罢了，并没有从一个更新的方向去改进电力预测。真正可以下手的方向，我认为还是需要从语言模型入手，借鉴当前LLM发展的优势，以语言模型作为驱动器来驱动物理过程或计算过程。换句话说，大模型+电力的目标并不应该是提升一点点精度指标类似的事情，而应该着眼于实现更多工作的自动化。就像是NLP和CV的目标并不是要在说话上比人更好听，也不是要在识别物体上比人更准，更多的是将这些难以用数学规则表示的过程建模为一个可以自动化的过程，让这些过程不再受人的精力限制。这大概也是我理解的AGI的终极目标吧，即实现充分的自动化，而不是超越于人。

若有不对之处，欢迎探讨。