本文探讨了区块链与人工智能安全之间的联系，指出两者在如何调控复杂系统以应对不可预测结果方面存在相似性。作者分析了在DAO治理和加密经济学中面临的共同挑战，以及一些正在探索中的解决方案，例如延迟治理和形式化验证。同时，文章提出了未来DAO可能学习到的经验，强调去中心化的重要性。
特别感谢 Jaan Tallinn 的早期反馈和评论。
最近，来自一个传统上与人工智能及各种形式的未来主义存在风险研究相关的社区，出现了一个越来越多、但仍然很小的对区块链和加密经济系统的兴趣迹象。Ralph Merkle，发明了 现今著名的加密技术，该技术 支撑 以太坊的 轻客户端 协议，已 表达了对 DAO 治理的兴趣。Skype 的联合创始人 Jaan Tallinn 提议 研究区块链技术，以创建解决 全球协调问题 的机制。预测市场的倡导者们，早已理解预测市场作为治理机制的潜力，现在正关注 Augur。这有什么有趣的地方吗？这只是在计算机极客之前吸引了计算机极客友好的话题 A，现在又吸引到了一个完全不相关但同样计算机极客友好的话题 B，还是说两者之间确实有联系？
我认为确实有联系，联系如下。加密经济研究社区与人工智能安全/新网络治理/存在风险社区正在尝试解决的根本上是同一个问题：我们如何用一个简单且愚蠢的系统来规范一个非常复杂、高智能和不可预测的新兴属性的系统，而当这个简单且愚蠢的系统一旦创建，其属性又是不可变的？
在人工智能研究的背景下，一个主要的子问题是定义一个效用函数，该函数将引导超智能代理的行为，而不会意外地指引它做一些满足所写的函数但并不符合初衷的事情（有时称为“ 边缘实例化”）。例如，如果你试图告诉一位超智能的 AI 治愈癌症，它可能推论出最可靠的方法就是先杀死所有人。如果你试图修补这个漏洞，它可能决定仅仅是将所有人永久冷冻，而不杀死他们。等等。在 Ralph Merkle 的 DAO 民主的背景下，问题是确定一个与社会和技术进步以及人们普遍想要的事情相关联的目标函数，而与存在风险反相关，并且其可测量性足够高，以至于其测量本身不会成为政治斗争的源头。
与此同时，在加密经济的背景下，这些问题出人意料地相似。共识的核心问题在于如何用一种固定不变的简单算法激励验证者继续支持和扩展一个连贯的历史，而验证者本身是复杂的经济代理，自由地以任意方式互动。DAO 所遇到的问题是软件开发者复杂的意图出现了分歧，开发者对拆分功能有特定的用意，而软件实施的结果却成为事实。 Augur 努力将共识问题扩展到现实世界的事实。 Maker 正试图为一个希望提供加密货币去中心化和法定货币可靠性的资产创建一个去中心化治理算法。在所有这些情况下，算法是愚蠢的，但它们必须控制的代理却相当聪明。人工智能安全是关于 IQ 为 150 的代理试图控制 IQ 为 6000 的代理，而加密经济则是关于 IQ 为 5 的代理试图控制 IQ 为 150 的代理——这些问题当然是不同的，但其中的相似性是不能被小觑的。
这些都是困难的问题，而且这两个社区已经单独考虑了多年，并且在某些情况下积累了相当大的见解。这些问题的启发式部分解决方案和缓解策略也开始被发现。在 DAO 的情况下，一些开发者正在朝着一种混合的方法发展，这种方法有一组策展人对 DAO 的资产拥有一些控制，但赋予这些策展人仅有限的权力，而这本身已经足够将 DAO 从攻击中拯救出来，但不至于单方面主动实施导致重大破坏的攻击——这种方法与当前对 安全 AI 可打断性 的研究有些相似。
在未来治理制度方面，我们看到对 作为目标函数的利率 的兴趣，某种形式的 未来治理与二次投票的混合 通过自愿锁定币作为治理算法，以及各种形式的有调节的未来治理，它赋予了未来治理足够的权力，防止多数合谋攻击而民主无法做到，但在其他方面则将权力留给投票过程——所有这些创新都值得一个试图利用未来治理建立世界民主 DAO 的团队认真考虑。
另一种被高度低估的解决方案是使用显式放慢事务进程的治理算法——提议的 DAO 硬分叉可能会拯救被包含的资金，正是因为 DAO 包含了一套规则，要求所有操作都有很长的延迟时间。另一个开始被探索的途径是形式验证——使用计算机程序自动验证其他计算机程序，并确保它们满足一组关于程序应该执行什么的声明。
在一般情况下，正式证明“诚实”是不可能的，这要归因于 价值复杂性 问题，但我们可以进行一些部分保证以降低风险。例如，我们可以正式证明某种行动在 7 天内不能被执行，或者如果某个 DAO 的策展人投票切换开关，则某种行动在 48 小时内不能被执行。在人工智能上下文中，这样的证明可以用于防止奖励函数中的某些简单错误，从而导致 AI 产生与预期行为看似极具高价值的完全意外行为。当然，许多其他社区已经考虑了多年形式验证，但现在它正在一个新的环境中被探索并用于不同的用途。
与此同时，在人工智能安全圈中推广的一个概念，可能对那些构建包含 DAO 的经济体系的人非常有用，即 超理性决策理论——本质上是通过承诺运行源代码，对那些也承诺运行该源代码的代理给予更好的对待，从而克服囚徒困境的情境。开放源代码的代理可以采取的一个行动，而“黑盒”代理无法使用的行动是 Scott Alexander 短篇小说 中描述的“价值握手”：两个代理可以同意共同承诺最大化一个目标，该目标是他们之前两个目标的平均值。之前，这样的概念大多属于科幻小说，但现在 未来治理 DAO 真正能做到这一点。更一般地说，DAO 可能是社会机构强烈承诺“运行具有特定属性的源代码”的一种非常有效的方式。
“DAO”只是这一年和下一年将推出的一系列 DAO 中的第一个，你可以打赌，所有后续的实例都将从第一个实例的教训中汲取经验，并且每一个都提出不同和创新的软件代码安全政策、治理算法、策展人系统、缓慢和分阶段的引导和推出流程以及正式验证的保证，以确保它能够抵御加密经济的风暴。
最后，我认为从加密社区中学到的最大教训就是去中心化本身：让不同的团队冗余地实施不同的部分，以尽量减少一个系统的疏忽会在其他系统中未被发现的可能性。加密生态系统正在形成一个活实验，包含许多在软件开发、计算机科学、博弈论和哲学前沿的挑战，无论结果是否以其目前的形式或在经过多次涉及核心概念的重大变化后被纳入主流社会应用，都是任何人都欢迎学习和观察的。
