Concrete ML v1.7：Transformer 模型微调与 DNA 祖源应用
- ZamaFHE
- 发布于 2024-10-09 18:11
- 阅读 13
Concrete ML v1.7 版本发布，引入了多项新功能，包括在加密数据上微调 LLM 模型和神经网络，利用 GPU 加速提升加密推理的性能（最高可达 1-2 倍），以及展示了一个通过加密 DNA 预测祖源的 Hugging Face space 示例。此外，该版本还支持 Python 3.11 和 PyTorch 2。
/
Concrete ML v1.7：Transformer模型微调和DNA祖源应用
2024年10月8日
-
Andrei Stoian
Concrete ML v1.7 引入了几个有趣的新功能。用户现在可以在加密数据上微调 大语言模型和神经网络，从而解锁更多潜在的保护隐私的机器学习用例。Concrete v1.7 还增加了 GPU加速，从而实现更快的性能——对于服务器级 GPU（如 NVIDIA H100）上的大型神经网络，速度提高了 1-2 倍。一个新的 Hugging Face 空间 展示了一个复杂的用例：从加密的 DNA 预测祖源。最后，Concrete ML 现在支持 Python 3.11 和 PyTorch 2。
在加密数据上微调大语言模型
微调大型语言模型是一种强大的技术，可以将模型定制到特定领域和任务。Concrete ML v1.7 使在加密数据上微调 大语言模型和神经网络成为可能。通过使用低秩近似参数高效微调，此功能允许模型在保持数据隐私的同时进行调整。虽然一小组私有微调参数保留在用户端，但涉及大型权重矩阵的计算可以安全地外包给远程服务器。此功能在 微调 GPT2 演示中得到了展示，其中模型了解了全同态加密 (FHE)——一个不在其原始知识库中的主题。
用于加密推理的 GPU 加速
Concrete ML v1.7 通过 GPU 加速 提高了加密推理的性能，尤其是在使用 GPT、ResNet 或 VGG 等大型模型时。通过利用 NVIDIA H100 或 A100 等大型 GPU，用户可以获得显着的加速。例如，在 H100 GPU 上使用 ResNet18 模型进行加密推理比在 192 核 CPU 上快 1.2 倍。对于 CIFAR 上的 VGG 模型，它带来了高达 2 倍的性能提升。与桌面 CPU 相比，H100 GPU 在这两个模型上均实现了 5-10 倍的加速。
要安装启用 GPU 的 Concrete ML 后端，只需运行以下命令：
pip uninstall concrete-python
pip install --extra-index-url https://pypi.zama.ai/gpu concrete-python
加密 DNA 祖源演示
DNA测试平台通常以明文形式分析用户的基因数据，使敏感数据面临暴露的风险。借助 Concrete v1.7，一个新的 Hugging Face 空间 展示了如何在加密数据上执行此分析。该演示侧重于第 22 号染色体，该染色体与追踪人类进化历史和世界各地的迁徙模式特别相关。通过分析该染色体关键位置上称为单核苷酸多态性 (SNP) 的特定标记，该演示使用加密的 DNA 推断祖源，同时确保所有基因数据保持安全和私密。
更多链接
- Star Zama的Concrete ML GitHub仓库以支持我们的工作并帮助我们达到 1,000 颗星 ⭐️ 的里程碑！
- 查看 Concrete ML 文档。
- 在我们的社区频道上获得支持。
- 参与 Zama Bounty Program 以获得现金奖励！
对此帖子有疑问或想法吗？\ \ 在 Zama 社区论坛中与我们的团队一起参与对话！我们已经创建了一个专门的线程来讨论与此主题相关的所有内容——欢迎你提出意见。
阅读更多相关帖子
使用Zama的Concrete ML和全同态加密赢得TikTok黑客马拉松 \ 在TikTok黑客马拉松期间，NUS的一组学生开发了一个基于Zama的Concrete ML的广告服务系统。 2024年10月29日\ \ Jeremiah Au, Nigel Lee, PJ Anthony, Vansh Nath
社区
Concrete ML
[视频教程] 使用 Concrete ML 通过 FHE 构建加密 DNA 测试 \ 在本教程中，Zama 团队成员 Celia Kherfallah 向你展示了如何使用 Concrete ML 通过 FHE 构建加密 DNA 测试。 2024年10月24日\ \ Celia Kherfallah
Concrete ML
教程
Concrete v2.8：与 TFHE-rs 的互操作性和自动模块跟踪 \ Concrete v2.8 引入了 TFHE-rs 和 Concrete 之间的互操作性、自动模块跟踪以及新的用例教程。 2024年10月8日\ \ Quentin Bourgerie
公告
Concrete
TFHE-rs v0.8：加密数组和改进的多 GPU 支持 \ TFHE-rs v0.8 引入了数组类型，增强了多 GPU 计算并进行了许多改进。 2024年10月8日\ \ Jean-Baptiste Orfila, Arthur Meyre, Agnes Leroy
公告
TFHE-rs
Zama 产品发布 - 2024 年 10 月 \ 随时了解 Zama 2024 年 10 月的产品发布，包括 TFHE-rs、Concrete 的新版本... 2024年10月8日\ \ The Zama Team
公告
库
Concrete ↗ Concrete ML ↗ FHEVM ↗ TFHE-rs ↗
产品与服务
开发者
博客 文档 ↗ GITHUB ↗ FHE 资源 ↗ 研究论文 ↗ Bounty Program ↗ FHE STATE OS
公司
联系方式
与专家交谈 联系我们 X Discord Telegram 所有社区频道
在电子时代，隐私对于一个开放的社会是必要的。隐私不是保密。私事是不想让全世界知道的事情，而秘密是不想让任何人知道的事情。隐私是有选择地向世界展示自己的力量。如果双方有某种交易，那么每一方都有他们互动的记忆。每一方都可以谈论他们自己对这件事的记忆；谁能阻止呢？可以制定法律来反对它，但是言论自由，甚至比隐私更重要，对于一个开放的社会来说是根本的；我们尽量不去限制任何言论。如果许多参与者在同一个论坛上发言，每个人都可以向所有其他人发言，并将关于个人和其他参与者的知识汇总在一起。电子通信的力量促成了这种群体发言，而且它不会仅仅因为我们可能希望它消失而消失。既然我们渴望隐私，我们就必须确保交易的每一方只知道该交易直接需要的知识。既然任何信息都可以被说出来，我们就必须确保我们尽可能少地披露信息。在大多数情况下，个人身份并不重要。当我在商店购买一本杂志并把现金交给店员时，没有必要知道我是谁。当我要求我的电子邮件提供商发送和接收消息时，我的提供商不需要知道我在和谁说话，或者我在说什么，或者其他人在对我说什么；我的提供商只需要知道如何将消息发送到那里，以及我欠他们多少费用。当我的身份被交易的底层机制泄露时，我就没有隐私。我不能在这里有选择地展示自己；我必须始终展示自己。因此，开放社会中的隐私需要匿名交易系统。到目前为止，现金一直是主要的此类系统。匿名交易系统不是秘密交易系统。匿名系统使个人能够在需要时以及仅在需要时披露其身份；这是隐私的本质。开放社会中的隐私也需要密码学。如果我说了一些话，我希望只有我打算让其听到的人才能听到。如果我的言论内容对全世界开放，我就没有隐私。加密是为了表明对隐私的渴望，而用弱密码学加密是为了表明对隐私的渴望不太强烈。此外，为了在默认是匿名的情况下有保证地展示自己的身份，需要密码签名。我们不能期望政府、公司或其他大型的、没有面孔的组织出于他们的恩惠而给予我们隐私。说起我们对他们有利，我们应该预料到他们会说。试图阻止他们的言论就是与信息的现实作斗争。信息不仅仅是想成为自由的，它渴望成为自由的。信息会膨胀以填满可用的存储空间。信息是谣言的年轻、强大的表亲；信息比谣言更快捷，有更多的眼睛，知道更多，理解得更少。如果我们期望拥有任何隐私，我们就必须捍卫我们自己的隐私。我们必须走到一起，创建允许匿名交易发生的系统。几个世纪以来，人们一直用耳语、黑暗、信封、关闭的门、秘密握手和信使来捍卫自己的隐私。过去的技术不允许强大的隐私，但电子技术可以。我们这些密码朋克致力于构建匿名系统。我们正在用密码学、匿名邮件转发系统、数字签名和电子货币来捍卫我们的隐私。密码朋克编写代码。我们知道必须有人编写软件来捍卫隐私，而且因为除非我们都这样做，否则我们就无法获得隐私，所以我们将编写它。我们发布我们的代码，以便我们的密码朋克同伴可以练习和使用它。我们的代码供所有人免费使用，在全球范围内。我们不太关心你是否不认可我们编写的软件。我们知道软件无法被销毁，而且广泛分布的系统无法被关闭。密码朋克谴责对密码学的监管，因为加密从根本上来说是一种私人行为。事实上，加密行为将信息从公共领域中移除。即使是反对密码学的法律也只能达到一个国家的边界及其暴力的触角。密码学将不可避免地传播到全球，并随之传播它所实现的匿名交易系统。为了使隐私得到广泛传播，它必须成为社会契约的一部分。人们必须走到一起，为了共同利益而部署这些系统。隐私的延伸程度仅限于一个人的同伴在社会中的合作程度。我们这些密码朋克寻求你们的问题和你们的担忧，并希望我们能够与你们互动，以免我们自欺欺人。然而，我们不会因为有些人可能不同意我们的目标而改变我们的方向。密码朋克正在积极地使网络更安全，以保护隐私。让我们一起快速前进。前进。Eric Hughes著。1993年3月9日。
- 原文链接： zama.ai/post/concrete-ml...
- 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～
