你有没有觉得，手机比你妈还懂你
说个事儿。前两天我在地铁上，旁边坐了个小哥，手机屏幕一直在那划拉。我偷瞄了一眼，是个短视频App。他面无表情地划，划，划。突然停住了。嘴角动了一下，笑了。然后继续划。
我当时就想——他大概不知道，那个让他笑了一下的小视频，背后有一整套系统在跟他博弈。
这套系统叫强化学习。
你可能觉得这词儿听着挺高深。其实拆开看特简单。强化学习就是——一段程序在不断试错中，学会怎么拿到最大的好处。它不背标准答案，它自己摸路。摸对了就记住，摸错了就调整。跟你小时候摸热水壶一个道理。被烫一次，下次就不碰了。
但这玩意儿放到互联网上，事情就没那么简单了。
它不是猜你喜欢什么，它是在“训练”你
很多人以为，推荐算法就是猜你爱看什么。你喜欢猫，它就给你推猫。你喜欢做菜，它就给你推菜谱。
太天真了。
强化学习干的事情比这野得多。它想知道的是——给你看什么，能让你的眼睛多停0.5秒。注意，不是“你喜欢什么”，而是“什么能让你停下来”。这俩差别巨大。
一个东西你可能谈不上多喜欢，但你忍不住看完了。比如那种特别离谱的社会新闻。比如一个人在那切肥皂。比如……算了不举例了，你懂的。
这套系统怎么运作的呢。想象它是个特别有耐心的小贩。它手里有一万种不同口味的小零食。它不停地递给你尝。你接过去吃了，它就记住“这个人可能好这口”。你皱眉头扔了，它就换个方向再试。你嘴上说“我不吃甜的”，但每次它递甜的时候你手都伸出去了——它信你的手，不信你的嘴。
你每一次划走、停留、点赞、甚至只是手指悬停了一瞬间，在系统看来全是一个奖励信号。它根据这些信号调整策略。日复一日地调。调到什么程度？调到你打开App的那一刻，它已经知道接下来该给你喂什么了。
说实话，这事儿细想挺吓人的。
“盯住那个刷手机的人”
强化学习有一个特别核心的概念叫奖励函数。你可以把它理解成“游戏的得分规则”。
设计这个得分规则的人，决定了AI会往哪个方向进化。
如果得分规则是“让用户停留时间最长”，那AI就会变得极其擅长——怎么说呢——制造让你走不掉的内容。它会试探各种边界。煽动情绪的、制造悬念的、让你愤怒的、让你焦虑的、让你好奇的。因为这些东西管用。数据摆在那。
问题是，AI不关心你看完之后是不是觉得空虚。它也不在乎你刷完两小时之后是不是有点恨自己。它只关心一件事：你刚才有没有继续滑下去。
这不是AI坏。这是它的目标函数就是这样的。它像一个极度敬业但毫无共情能力的员工。老板说“要增长”，它就冲增长去。至于增长带来的副作用，不在它的考核范围内。
驯狗和训AI，其实是一回事
你养过狗吗？训狗的时候有个基本操作。它做对了，给零食。做错了，不理它。过一阵子，狗就学会了。
强化学习一模一样。只不过“零食”变成了数字信号，“狗”变成了神经网络。
但这里面有个坑。你训狗，狗知道你是个活人。它能感受到你今天心情不好，它能分辨你是真生气还是假装生气。AI不行。它没有上下文，没有常识，它对世界的理解全来自那个奖励数字。
所以有时候你会觉得推荐特别离谱。你只是手滑点了一个猎奇视频，接下来三天全给你推同类的。你早就没兴趣了，可系统还在拼命喂。因为那个“手滑”在它眼里，是一个强烈的正反馈。
它不懂什么叫“手滑”。
还有个更有意思的。有些系统会故意推给你一些你不太感兴趣但又有那么一点点好奇的东西。这不是bug，这是它的探索策略。就像你在一家没去过的餐厅，服务员偶尔会给你推荐一个你没点过但菜单上写着的菜——万一你爱上呢。
强化学习永远在“利用”已知的好东西和“探索”未知的可能性之间找平衡。利用多了，你会腻。探索多了，你会烦。这个度，比米其林大厨调酱汁还难拿捏。
说回那位地铁上的小哥
他后来到站了。把手机揣兜里，站起来，走了。我望着他的背影，想了一个问题。
他今天刷过的那些内容，他明天还记得几条？
大概是零。
但系统记住了他。他每一次无意识的笑、每一次短暂停留、每一次皱眉头，都被记录、被计算、被放进一个巨大的模型里。这个模型比他自己还了解他的注意力弱点在哪。
这就是强化学习在互联网世界里最普遍、也最隐蔽的应用。它不在实验室里，不穿白大褂。它就在你的手机屏幕上，用你每天几分钟的停留，悄悄打磨着一个越来越精确的——你。
对了，最后说一句。我写这篇文章的时候，后台推荐系统正好给我推了三个关于强化学习的视频。你说巧不巧。