来自《米切尔夫妇与机器》。如果你还没有看，就去看吧，它在各方面都很完美。
然后是巴特勒圣战—两代人的混乱。机器逻辑之神在大众中被推翻，一个新的概念被提出。”人是不能被取代的”。
-弗兰克-赫伯特，《沙丘》（Dune
在一个世纪内，生物智能将是所有有知觉的生命中的极少数，成为人类将是非常罕见的。拥有细胞、血液和心脏将是非常罕见的。人类将被有意识的机器智能所取代，其数量将达到千分之一。
人工通用智能（AGI）
即将从科幻小说变成每个人日常生活的一部分=，这也将在眨眼间发生—因为一旦它松动，就无法阻止它以难以置信的速度扩展自己,无论我们是否愿意，它都将影响每个人的生活。有些人认为奇点在很长一段时间内不会发生，或者根本不会发生。我想讨论一下，为什么我几乎肯定它将在未来20年内发生。我的总体预测是基于3个假设的。
- 规模不是解决办法。
- AI将设计AGI。
- 球已经在滚动。
请记住，这只是猜测和意见。这些预测描绘了我个人认为最可能的未来。
规模不是解决办法
最近，一种叫做Transformer的架构已经开始接管机器学习。它在序列到序列的任务方面确实很出色，如翻译和文本完成（，而且它也被成功地应用于其他领域，如计算机视觉。
变形金刚也展示了一种耐人寻味的能力，即与其他架构相比，它们的性能可以更好地随其大小而扩展。它们似乎不太容易受到在其竞争中发现的性能上限的影响。
这导致在AGI推测界出现了一个新的口号。”规模是你所需要的一切”。一些人认为，更大的网络、更大的计算集群和更大的数据集是我们实现AGI所需要的一切。我不同意。
我相信我们更多的是受到架构设计的瓶颈限制，而不是其他，虽然现代的、标准的前馈神经网络在做事情方面越来越好，但它们并不是AGI，而且我不认为它们有一条明确的道路可以成为AGI,我毫不怀疑OpenAI的下一个巨型模型，GPT-4（及以后），将是优秀的，但我也认为它将有可利用的缺陷，使其无法通过彻底的图灵测试。
事实上，我认为现今的GPT-3的巨大规模表明，规模并不是答案。1,750亿个参数，但显然还是没有灵性？作为比较，人类的大脑有200到1000亿个神经元和多达1万亿个突触。
你可以争辩说，在我们的神经网络拥有数百万亿个参数之前，将它们与大脑进行比较是不公平的，但我认为这个论点过于依赖这样的假设：生物突触和网络中的权重在计算能力上是相等的。这一点还没有被证明。大脑如何移动和处理信号的错综复杂的问题仍然没有完全被理解，但我们知道它的运作似乎与目前的神经网络非常不同。
纵观人工智能历史上大多数最具革命性的论文，它们不是以 “我们让它变得更大 “为主，而是以 “我们让它在同样大小的情况下更聪明 “为主。我认为没有理由不期待这种模式会继续下去。
如果规模不是答案，那么什么才是？我相信，最重要的是适应性。目前，你制作ML模型的方式是相当僵化的：你决定用一种花哨的新方法将矩阵乘法混合在一起，你给它提供大量的数据，并使用一些简单的基于微积分的优化器来训练网络中的权重
. 你的网络中的权重排列方式在训练后不会改变。
我不相信这有足够的适应性，即使是在规模上。为了让真正的智能出现，模型必须能够重新组织自己的内部工作机制。我不认为你可以用一个冻结的架构来拥有智人所需的灵活程度。
我认为有智慧的人工智能将通过更聪明而非更努力的工作来创造，重点是更好的架构设计和智能优化器。这很好地引出了我的下一个假说。
AI将设计AGI
类设计的网络已经取得了巨大的成果，但它们仍然受到其创造者的缺陷的影响。我们被整齐划一的网络架构所吸引，我们可以对其进行调查、解释并试图理解。
但是我们的大脑，智力的黄金标准，是出了名的难以调查、解释或理解！我认为这是因为我们的大脑是一个很好的例子。我认为这是因为我们的大脑并不是由任何人 “设计 “的—它们是进化而来的。它们是宇宙最伟大的优化器—自然选择的产物。
我认为可以合理地假设，带来AGI的架构不会由人类手工设计，甚至不会通过一些粗暴的超参数搜索来选择—它将由另一个AI设计。我预测人工智能的设计会有几个递归的层次—也许是一个哑巴网络，构建一个体面的网络，构建一个智能网络，构建AGI。
我看好我所说的 “构建者网络 “的前景–构建其他模型的模型（也被称为超网络），我认为，当我们破解超学习的时候，进步的速度将开始超过我们的速度，这正是因为我们将不再是取得进步的人–算法本身会。
为了更聪明地工作，而不是更努力地工作，我们需要放下人类的偏见，专注于制造不受约束的架构，这些架构可以积极地优化自身的每一个方面。我完全预计，这些架构在到来时将令人沮丧地难以解释—就像巨大的数字神经面条堆—但它们也将超越所有竞争对手。我们在自己和最终模型之间增加的每一个稳定的人工智能抽象层，都会使最终模型更难理解，并在其任务上更出色。
球已经在滚动
我相信，现在有太多的动力来阻止AGI。随着这么多分散的注意力固定在这个问题上，AGI将被解决。此外，一旦它被解决，它将被公布于众—无论这样做是否符合道德。我想象，第一个解决它的人可能会把它关在门外，但它不会永远保持秘密。团队中有人会泄露一切，或者其他人会独立做出同样的发现并发布。最终，它将被泄露出去。
考虑到核弹的发明—一旦我们了解到隐藏在放射性材料中的力量，有人将研究推向道德的极限只是时间问题。AGI就像这样，只不过它更可怕，因为铀、钚和用它们制造的炸弹可以被严格控制，但拥有强大电脑和互联网连接的人却不能，他们创造的AGI也不能。
我认识到这一切听起来是多么陈词滥调和危言耸听。真的，你真的在担心机器人启示录？你知道《奥创纪元》只是一部愚蠢的漫威电影，对吗？是的，我知道。但我逐渐相信，小说家们几十年来一直提出的担忧实际上是非常合理的—因为AGI无法被阻止。
一旦一个智能体在互联网上松动，它将能够从人类的所有数据中学习，无限次地复制和变异自己，远程接管物理制造线，并入侵重要的基础设施。显然，我们不可能肯定这就是第一个自由的AGI会做的事情，但不可避免的是，一些恶意的AGI会存在并会做这些事情。我们只能希望我们会有足够强大的仁慈的AGI来反击。
最后的思考
这么说是因为我相信，整个社会对有知觉的、活生生的人工通用智能的出现完全没有准备，完全没有准备。我认为奇点的到来比大多数人预期的要早得多，而且我认为当它到来时将会引起大量的不安—无论好坏。
以常见的宗教信仰为例，人们拥有一些无法衡量、无法定义的灵魂，这种灵魂是将我们与无生命的物体和非有生命的动物区分开来的原因。此外，有些人相信这些灵魂来自于神灵。我曾和一些朋友谈过，他们认为AGI是不可能的，因为 “机器人不可能有灵魂，人类不是神”。对这些人来说，就像卡勒在《机器之家》中所说的（转述），消除人与机器之间的界限也就消除了神与人之间的界限。
现在，这并不是说AGI将摧毁宗教或任何东西—它甚至可能被用来加强某些教派（正如HBO的《狼来了》中的极端情况）。不，宗教已经存在了几千年，我确信它还会继续存在几千年。我只是预测，当第一个AGI到来时，一部分宗教人士会经历很多认知上的不协调。
更广泛地说，关于AGI智商和伦理问题的争论将从只有极客们谈论的话题变成Facebook妈妈们的政治大棒。