反向传播在强化学习中是如何工作的？ 反向传播的优点在于它根据每个参数对损失的影响程度来更新每个单独的参数。这只有在你知道改变每个参数如何影响损失函数的情况下才有可能。 但在强化学习中情况并非如此：环境（以及它产生的奖励）是一个完全独立的系统。你没有某个连续可微的函数来告诉你每个参数的微小变化对掉下悬崖的概率有多大影响。 解决方案非常巧妙！以下是一些为奖励提供可微代理的方法： 策略梯度方法：你无法对网络的奖励进行微分。但你可以对网络建议的不同动作/标记的概率进行微分。因此，只需将损失设置为（负对数的总和）乘以奖励的加权。奖励越低，损失越高，因此模型学习输出导致更高奖励的标记，并且概率更高。 Q学习：同样，奖励与网络的关系不可微分。但你知道什么是可微分的？网络对奖励的预测。你可以根据该预测的错误程度来更新它。现在你可以预测哪些动作会导致什么奖励，你的策略可以简单地是采取预期奖励最高的动作。

《重要问题》第一章的笔记，未来的嘉宾尼克·莱恩。 在引言中，他列出了激励性问题： 为什么细菌在存在了40亿年后仍然相对简单？尽管动物、植物、真菌和原生生物之间存在巨大的形态多样性，所有真核细胞之间为什么有如此多的共同结构？导致真核生物的内共生事件为什么只发生过一次，并且以特定的方式发生？为什么所有生命都是由质子梯度驱动的？ 尼克说，所有这些问题都是相互关联的。 第一章： 莱恩说，有两种不同的哲学观点来解释什么限制了进化探索：环境提供的生态位，或者利用这些生态位所需的内部结构。 教科书的观点是，环境限制了探索，而结构是灵活的，一旦合适的环境到位，就可以适应。尼克·莱恩认为情况正好相反。 发生过两次重大氧化事件——第一次（24亿年前）为真核细胞铺平了道路。第二次（6亿年前）导致了寒武纪大爆发，产生了我们所看到的动物、植物和其他复杂生命的多样性。因此，环境似乎是核心。一旦空气和海洋中有大量氧气，你就可以开始制造各种酷炫的东西。 但等等。如果环境是关键限制，你会期待看到什么：随着有氧呼吸的关键解锁，不同品牌的细菌独立进化出更大的复杂性，以填补新开放的生态位（一个掌握了渗透营养并分化为真菌，另一个进行光合作用，另一个进行吞噬作用，等等）。然而，你并没有看到这种情况。 相反，你会看到所有复杂生命都源自一个共同的真核祖先（22亿年前）。没有独立的趋同进化朝着这种复杂性发展（细菌有40亿年的时间来进化这种复杂性，但在这段时间内保持了惊人的相似性）。 事实上，一旦你获得了这个关键的结构解锁，真核生物就会广泛繁殖，填补从100英尺长的蓝鲸到0.8米长的微小浮游生物的生态位。 更重要的是： - 所有真核细胞之间的共同结构数量是显著的。它们几乎拥有相同的细胞器和成分。尼克写道： “我们大多数人无法通过电子显微镜区分植物细胞、肾细胞和来自当地池塘的原生生物。” - 没有中间的原真核生物，它们具有一些但不是所有真核细胞的功能。这是很奇怪的，考虑到进化的运作方式。我们有关于光感应变形虫和哺乳动物眼睛之间逐步升级的广泛记录。为什么我们没有通过减数分裂繁殖但没有分隔核的原真核细胞，或者有线粒体但没有细胞骨架的细胞？ 尼克认为，根本没有这样的真核特征子集存在，表明仅凭部分真核设备生存在结构上是不可能的——你需要一次性拥有整个包裹。 显然，这引发了一个问题，即整个包裹是如何一次性进化出来的。我认为他将在未来的章节中讨论这个问题。 一些问题给尼克： - 如果他的观点是结构是主要瓶颈，而我们已经有真核生物22亿年了，那么为什么在过去的20亿年里我们没有这些动物和东西？为什么它们只在6亿年前（即寒武纪大爆发）出现？ - 尼克认为，真核细胞的解锁比多细胞性更为重要。多细胞性独立进化了数十次，但我们只有证据表明一次像真核细胞首次出现那样的事件。如果多细胞性在真菌、粘菌、藻类等之间独立进化了这么多次，我们是否看到基于它们进化的情况的有趣差异？它们是否以不同的方式调节细胞的分化、身体的组织和组织之间的沟通？TODO稍后查一下。 一个旁支的想法。关于结构和环境哪个更重要的整个辩论似乎类似于机器学习中关于架构和数据哪个更重要的讨论。在那里，数据似乎相当关键，但为了启动元学习和通用性，架构必须使信息能够以正确的方式流动。例如，上下文学习是一种元学习，只有当模型能够关注数百个先前的标记时才会出现，这在变压器中变得可行。

为我正在阅读的书籍/论文组织一个读书俱乐部会很有趣，以便为面试做准备（或者只是出于对阅读的兴趣）。 最好的组织方式是什么？Twitter Live？Discord/Slack？还是直接在推文中分享想法，让大家在评论中讨论？还有其他选择吗？