2024乍到，会成为小模型的当打之年吗？

作者：小岩

编辑：美美

来源： 新火种

乘着ChatGPT爆火的东风，2023年成为了当之无愧的“大模型爆发之年”。跟随ChatGPT的脚步，诸多大厂和知名企业推出了自己的AI大模型。也正因此，大模型赛道的竞争变得异常激烈，烧钱的势头也变得异常凶猛。

不过，这样的趋势很可能在2024年产生变化。每个事物的发展都要经历“产生，发展，高潮，低谷”的阶段， 已经在2023年大放异彩，涌现无数高光时刻的大模型很可能在2024年渐渐冷却，褪掉光环，而小模型，则有可能成为今年的破局之道。

“大模型虽然亮眼，但企业对这些技术的采用几乎没有实质性的增长”。

众所周知，在高新技术和烧钱测试的加持下，大模型产品的表现变得十分突出，整个赛道也卷的出奇。但可惜的是，这些花大力气砸出来的优秀大模型产品很难成功变现。

根据印度IT巨头Infosys的最新发现， 只有6 %的欧洲公司通过生成式AI用例创造了商业价值 。麦肯锡也在2023年的一份报告中得出结论，“尽管生成式AI的使用可能会刺激其他人工智能工具的采用，但我们认为，企业对这些技术的采用几乎没有实质性的增长。”

而资本市场对于大模型AI的态度也不乐观。从融资规模来看，生成式AI的投资浪潮是一次“短暂繁荣”，尽管头部以及率先抢占先机的AI公司获得了不少资本的青睐，但后续的AI公司如果想要收获资金，并不容易。根据Crunchbase数据显示，2023 年，人工智能独角兽公司的融资大幅下降，仅为 2021 年市场高峰时的25 %左右；全球最活跃的9大 VC 在AI独角兽公司的投资也是大幅下降。

究其原因，这并不难理解。潮水退去，方知谁在裸泳。投资者都是趋利避害的，自然想看到自己投资的AI公司产出尽可能多的利润。在这种情况下，针对AI的投资泡沫会越来越少，据此，AI公司试错的成本将大大提高。

大模型发展即将受阻，小模型能否顺势而为，迎来自己的井喷元年？

在这种情况下，AI模型需要朝着效率更高，成本更低的方向去发展。从这个角度去说，小模型很可能比大模型更实用，更方便。

Snorkel AI曾做过一个试验，分别用GPT-3微调和自己搭建的小模型来训练一个法律领域的垂直模型。GPT-3的微调和搭建成本是7418美元，10000推理的花费是173美元，而自己搭建的小模型成本仅为1915美元，10000次推理也只是花费了0.26美元。 从正确率来看，GPT-3微调的垂直模型正确率为71.4 %，小模型则为71.3 %。

值得一提的是，GPT-3的参数量很大，是小模型的1400倍。我们当然不能因为GPT-3微调的正确率与小模型的正确率相似就妄下结论，认为“参数量没用”。不过，这或许就是“杀鸡焉用牛刀”的道理， 就像《华尔街日报》提到的那句玩笑，用GPT-4总结电子邮件就像“让兰博基尼送披萨”。毕竟，在很多场景下，用户需要的并没有那么多。

目前，国内的AI领域也在面临相同的状况。

如今，国内已经发布的所谓“大模型”超过200个，“百模大战”进行的如火如荼。而处于头部的几个大模型都曾宣称自己的参数规模超千亿级别，有的甚至达到了万亿的规模。

但规模只要够大，就一定够好吗？未必。百度的李彦宏曾经说过，“100多个大模型浪费社会资源……尤其在中国算力还受限制情况下，企业应该去探索各行各业的应用结合，全新的 APP产品可能性等。”

事实上，与李彦宏持有相同观点的人并不在少数。相较于要把AI模型的规模不断做大这件事，大家更应该关注如何将模型更好的应用到实处。 不是大模型做不起，而是小模型更具性价比。

做小模型的本质，其实是在做离用户更近的模型。

更重要的是，从某种层面来说，更好操作，更低成本的小模型或许更能匹配C端用户的核心诉求。

大模型看似高大上，但却存在成本高，个性化不足的问题。 如果大模型可以变小，甚至直接走进移动端，将模型塞进手机，智能汽车，机器人等设备，那么一定会大大提高C端用户的黏着度。特别是从创业角度来看，搭建离用户更近的模型自然也更有生存空间，因为他们离用户更近。

事实上，很多企业已经将这样的策略提上了日程。有媒体报道，早在2022年初，阿里巴巴达摩院，上海浙江大学高等研究院，以及上海人工智能实验室的联合研究团队通过蒸馏压缩和参数共享等技术手段，将3.4亿参数的M6模型压缩到了百万参数，其规模只有以大模型的三十分之一，却保留了大模型90 %以上的性能。当然，2022年的3.4亿，较今天的大模型规模来看不算太大，但这个举动无疑为“大规模瘦身” 开了一个好头。

2023年初，关于AI大模型的竞争逐渐激烈，局面逐渐焦灼，最终演变成了一场声势浩大的模型竞赛。如今，潮水褪去，在耗费了大量金钱，人力，时间成本之后，愈来愈多的AI公司悟出了一个道理：如何“变大”并不是关键，关键在于要如何“既大又好”，更重要的是，当大模型进入应用环节，如何该做到“以小驭大。

如同区块链行业一样，野蛮生长之后势必会迎来监管的压力，AI也将面临同样的状况。如今，随着AI影响力的增强，相关的问题也开始凸显譬如Midjourney + Elevenlabs 生成的假新闻就引起过极大的影响。

此外，AI大模型的推进将消耗掉大量的资源。 有新闻报道，到2027年，全球的AI需求可能会消耗掉66亿立方米的水资源，几乎相当于美国华盛顿州全年的取水量。AI对环境和能源可能造成的影响会对AI行业造成一定的经济压力和政治压力。到了那时，如何用更少的数据，更少的能源训练出更好用的模型，就成为了未来的重中之重。