前OpenAI推理负责人JT与Gemini pretrain负责人Rohan: Continue learning的未来网页链接“这期是红杉资本对Core Automation这家Neo Lab联创的一场最新访谈。其中，创始人Jerry Tworek是此前chatgpt reasoning team的一把手（即做出o1 reasoning/cot系列模型的核心团队）、在OpenAI里也是最有名的人物之一，但随着25年以来OpenAI内部pretrain的重要性回归、加上这个团队度过了最核心的frontier research的阶段，因此能拿到的算力和资源也有所下降。而联创Rohan Anil则是前Google Gemini pretrain的核心负责人，在TPU硬件优化上有非常丰富的经验，也为下文他们近期正攻关的方向埋下一个伏笔。

这家公司定位于做continue learning和automated research，即挑战transformer的下一代算法架构。他们认为，“今天 codex 和各种 coding workflow automation 都非常了不起，但它们仍不能把所有任务自动完成。”Core Automation对外披露信息非常少，但据了解continue learning也仍然在非常早期的early research探索阶段、远远没有看到明确的方向和相对收敛的技术路径。虽然没有告诉我们尤其是，访谈里对transformer局限性的梳理非常精彩且简明直接 —— 虽然没有完整告诉我们continue learning的解决思路是什么，但是却清晰阐述了要解决的“痛点”是源自哪里、定义了最基础的research question初心。”