AI领域最大规模的草根运动

主要收获

• AI模型，特别是大型语言模型（LLM）的开发，包括四个阶段：数据准备、预训练、微调与对齐，以及部署与推理。其中，数据准备是最关键的阶段，占总开发时间和精力的70-80%。虽然Transformer架构的出现实现了自监督学习，但技术（验证码、机器人检测）、法律和政策（API限制、货币化）壁垒仍然对数据获取构成重大挑战。

• 数据质量和可靠性的下降是AI行业面临的另一个紧迫问题。数据投毒——即对手故意引入损坏的数据——加上AI生成内容的激增，降低了模型性能并破坏了对数据集的信任。这些挑战增加了AI模型产生不准确或有偏见结果的风险。

• Grass通过建立一个去中心化的网络爬取网络来应对这些挑战。全球的个人设备贡献其未使用的互联网带宽作为网络节点，以检索和处理Web数据，将其转换为针对AI训练优化的结构化数据集。参与者因其贡献而获得 $GRASS 代币奖励。

• Grass经历了显著的增长。2024年，其用户群从20万扩大到300万，增长了15倍，目前在190个国家拥有超过300万个节点。截至2025年3月5日，该网络记录了累计7天的Web数据抓取量为6,694 TB，自推出以来已索引了44亿个URL。

• Grass现在已准备好通过其Sion升级进一步扩展。通过实施分布式计算架构，将处理速度提高10倍，并实现大规模多模态数据处理（包括4K视频）。这些进步加强了Grass的Web抓取和爬行能力，同时开辟了AI数据获取的新领域，使其成为AI行业的关键数据基础设施。

1. 简介

加密技术从根本上不同于传统的金融系统，因为用户不仅可以通过交易获得资产，还可以通过直接为网络做出贡献并参与其生态系统来获得资产。与只能通过购买获得的股权不同（除非是内部人士），加密资产旨在让用户作为网络参与者而不是仅仅作为消费者来参与经济活动。这一特征表明，加密经济可以超越投资资产的范畴，建立一种以用户参与为中心的新经济模式——这一特征可能会引发数十亿普通用户自然涌入加密经济。

从这个角度来看，DePIN（去中心化物理基础设施网络）成为最值得关注的领域。DePIN协议的定义是，它们能够通过区块链透明网络和可验证奖励系统的核心原则，将运输、能源和无线通信等现有基础设施去中心化。DePIN的吸引力在于它具有双重能力，既可以通过解决现实世界的基础设施挑战来展示区块链的实际价值，同时鼓励以前对加密市场几乎不感兴趣的普通用户自愿参与。值得注意的是，DePIN的代币经济模型结合了区块链的优势，同时解决了传统行业的低效率问题，具有通过网络效应实现指数增长的潜力。

最近的政治转变可能有利于DePIN部门的增长。预计特朗普政府领导下的监管放松有望加速受Chokepoint 2.0等严格政策限制的DePIN协议进入美国市场。

如今，DePIN行业的总市值约为200亿美元，这是一个非常早期的市场，不到传统基础设施行业的0.01%。虽然目前每天有超过1300万台设备参与DePIN网络，但有一种协议通过在短时间内获得300万个节点而表现出特别显著的增长。该协议是Grass Network，这是一个为AI开发人员提供Web数据以进行模型训练的去中心化网络。

Grass将去中心化网络原则应用于AI数据获取，允许个人贡献资源以换取奖励，类似于某些DePIN模型，但侧重于AI。通过将基于区块链的激励结构与分布式Web数据收集相结合，Grass正在重塑AI模型访问和利用信息的方式，从而确保为AI行业提供可扩展和可验证的数据供应。

2. AI公司在数据训练过程中面临的挑战

在深入分析Grass协议之前，有必要考察当今AI行业面临的核心挑战。Grass协议之所以受到广泛关注，恰恰是因为它为这些根本问题提供了可行的解决方案。

正如第3节将详细探讨的那样，Grass协议是一个去中心化网络，可为AI开发人员提供Web数据以进行模型训练。这种方法旨在通过利用区块链技术来解决数据集收集阶段（AI开发流程的第一个也是最关键的阶段）中出现的结构性挑战。如今，AI公司在获取Web数据时面临两个主要障碍：数据的中心化和垄断，以及数据质量的下降。这些问题不仅阻碍了单个企业的发展，而且还构成了阻碍AI行业整体进步的系统性障碍。

来源: Grass Foundation

2.1 数据中心化和垄断

AI开发，特别是LLM开发，包括四个阶段：1) 数据准备, 2) 预训练, 3) 微调与对齐, and 4) 部署与推理.

其中，数据准备阶段对于确定训练过程的整体质量起着最关键的作用。它也代表了资源最密集的阶段，估计消耗AI开发所需的总时间和精力的 70–80%。此阶段的主要目标是整理和改进高质量数据集，将其转换为适合模型训练的格式。此过程涉及三个关键步骤：1) Web爬行和抓取以进行数据收集，2) 数据清理和过滤，以及 3) 文本标记化。输入数据的质量直接影响模型性能——有缺陷的数据可能导致不可靠的输出，甚至引发道德问题，从而强化了“垃圾进，垃圾出”的原则。

预训练阶段涉及使用海量数据集训练通用LLM，以开发基础语言能力。此阶段采用基于Transformer架构的自监督学习技术，使模型能够自主掌握语言模式和上下文关系。鉴于此过程需要数万亿个token和巨大的计算资源，因此它代表了AI模型开发中资本最密集的方面。

在这种情况下，数据的数量和质量是LLM开发中竞争力的关键决定因素。微软和谷歌等大型科技公司——它们都控制着搜索引擎和海量的用户数据——在AI领域占据主导地位并非巧合。通过独家数据合作伙伴关系、专有专利、内部用户数据利用和工业规模的Web抓取基础设施，这些公司获得了对最高质量数据集的特权访问。

基于Transformer的架构的引入使得无需手动标记数据即可进行自监督学习，但Web数据抓取仍然存在重大障碍。 这对于获取实时数据尤其重要。 虽然静态知识（例如数学计算或基本事实关系）可以从结构化的百科全书式数据集中充分学习，但实时数据对于理解公众对特定主题的情绪或快速发展的社会趋势是必不可少的。鉴于数十亿用户不断在社交媒体上分享他们的想法和观点，这些平台已成为解决当代AI挑战的关键数据来源。

但是，网站运营商已实施一系列技术、法律和政策措施，以限制AI公司无差别地收集数据：

• 技术限制： 验证码和机器人检测系统、请求速率限制、身份验证要求、数据混淆和非标准HTML结构、API访问限制和货币化。

• 法律和商业限制： 许多网站通过其服务条款 (TOS) 和 robots.txt 策略明确禁止自动数据收集，从而禁止AI公司抓取或爬取其内容。此外，正如在 LinkedIn vs. HiQ Labs (2017–2022) 等案例中所见，一些平台已提起诉讼以强制执行这些限制，美国 court 裁定抓取公开访问的数据并不违反《计算机欺诈和滥用法案》(CFAA)——尽管关于AI数据收集的法律辩论仍未解决。AI公司已通过引用合理使用并实施匿名化技术来遵守 GDPR 和 CCPA 等隐私法规，从而反击了这些限制。

• 政策变更： Reddit、X（前身为 Twitter）和 Meta 等平台停止免费API访问；《纽约时报》等新闻媒体对寻求使用其文章的AI公司施加许可要求。

这些发展正在加速向“围墙花园”互联网模型的转变，其中对有价值数据的访问受到越来越多的限制。作为回应，AI公司采用了各种技术解决方法，包括无头浏览器（例如，Puppeteer、Playwright、Selenium）、验证码绕过技术和API逆向工程。大型公司进一步利用其强大的法律团队来保持在数据获取、合作伙伴关系谈判和知识产权方面的优势。

中国AI公司DeepSeek就是一个值得注意的案例，尽管与OpenAI相比，该公司在数据可访问性方面面临更大的限制，但已成功地将自己确立为强大的竞争对手。DeepSeek的成功可以归因于四个关键策略：1) 利用微信、微博、知乎和哔哩哔哩等国内Web平台——OpenAI几乎无法访问这些来源——获取新闻、研究论文、公司数据和社交媒体洞察，2) 最大限度地利用开源和公共数据集，包括 Common Crawl、Wikipedia、ArXiv 和 GitHub，3) 通过诸如专家混合 (MoE) 和检索增强生成 (RAG) 等新型Transformer结构优化模型架构，以及 4) 获得中国政府的强大支持。

来源: Financial Times

但是，DeepSeek的案例仍然难以概括。 该公司受益于一系列独特的条件，包括国家支持以及对百度、腾讯和阿里巴巴等主要公司提供的国内数据集的特权访问。因此，它的模型没有为全球AI生态系统中更广泛的数据垄断问题提供可扩展或通用的解决方案。最终，数据可访问性仍然是AI开发中的一个关键挑战，并且继续推动行业中心化。

2.2 数据质量和对溯源日益增长的需求

AI行业面临的另一个关键挑战是数据质量的下降和对数据集中溯源日益增长的需求。由于数据是决定AI模型性能的最关键因素，因此存在经过操纵或扭曲的数据集会带来重大风险，从而导致不准确或有偏差的输出。数据质量下降的主要原因可以大致分为两个关键问题：数据投毒和AI生成内容的扩散。

数据投毒是一种对抗性参与者故意将不正确或损坏的数据引入训练数据集中以降低AI模型性能的技术。此策略既可以用作旨在破坏特定模型的攻击性策略（对抗性攻击），也可以用作网站采用的防御性措施（反抓取策略），这些网站试图阻碍AI公司的数据抓取工作。随着AI公司越来越依赖Web爬行和抓取来收集数据，一些网站已开始部署数据投毒技术，以使抓取的数据无法使用，或注入误导性信息。

来源: Industry 4.0 Intelligence under Attack: From Cognitive Hack to Data Poisoning

数据投毒有多种形式。一些在线论坛和网站故意插入误导性信息以混淆AI模型。像 Nightshade 这样的工具允许艺术家将不易察觉的失真嵌入到他们的图像中，从而微妙地改变像素数据，这种改变对于人类观看者来说仍然无法检测到，但会破坏AI学习过程。通过破坏训练数据，这些方法可以防止未经授权的数据抓取。

此外，网站还采用各种技术对策，例如动态修改HTML结构、将文本转换为图像以及实施反爬网机制。X、Facebook 和 Instagram 等主要平台经常混淆其HTML元素，以防止AI爬虫提取内容。

更直接的数据投毒形式涉及将故障数据插入网站——这些数据对人类读者仍然可以理解，但会引入扭曲，从而扰乱AI训练。这包括细微的拼写修改、人为的同义词替换或嵌入在文本中的隐藏水印模式，从而使网站运营商能够检测AI模型是否使用了他们的数据。一些实体甚至部署了包含故意捏造的信息的蜜罐页面，这些信息被AI公司无意中抓取，但后来面临法律后果。

数据投毒不仅降低了AI模型性能，还损害了整个AI生态系统的长期可信度。 如果模型在误导性信息上进行训练，则后果可能很严重，从而导致错误的法律解释、历史不准确和虚假信息的传播。例如，如果恶意参与者将扭曲的历史数据注入训练集中，则AI模型可能会无意中传播虚假叙述。这在法律、医疗保健和金融等关键行业中构成了严重风险，在这些行业中，精度和准确性至关重要。

与此同时，AI生成内容的快速扩散已成为数据质量下降的另一个主要驱动因素。 根据AWS研究人员的一项研究，目前在线发布的所有内容中，有57%是由AI生成的或使用AI算法翻译的。 随着AI模型继续生成越来越多的数字文本、图像和视频，它们越来越多地从“AI创建的数据”而不是原始的人类生成内容中学习。这种现象称为数据近亲繁殖，导致模型以递归方式训练其自身的合成输出，从而导致其泛化能力逐渐下降。

自ChatGPT推出以来，AI生成媒体的数量激增，进一步加剧了这个问题。欧洲刑警组织预测，到2026年，AI将负责生成所有互联网内容的90%。 在训练数据集中包含AI生成的数据有可能会降低数据多样性，从而削弱模型适应现实世界变化的能力。反过来，这会削弱AI模型的上下文感知能力，增加生成不准确预测的可能性，并放大训练数据中的固有偏差。

3. Grass：连接AI公司和个人的去中心化Web数据网络

3.1 Grass 概述

区块链技术的基本目标是建立一个透明、可验证的网络，其中激励机制鼓励不同的参与者为平台运营做出贡献。Grass利用这些优势创建了一个去中心化网络，专门从事Web抓取、实时上下文检索和为AI公司收集Web数据。在Grass网络中，全球的个人设备充当节点，收集和处理原始Web数据，将其转换为针对AI训练优化的结构化数据集。作为回报，为该过程贡献资源的用户会获得适当的激励。

这种高度的可访问性已成为主流采用的强大驱动力，不仅吸引了加密原生用户，还吸引了广泛的普通用户。仅在2024年，该平台的用户群就增长了15倍，从20万增长到300万，而索引视频的数量激增了近1000倍。此外，超过220万用户获得了空投分配，当时总额为1.96亿美元。 该网络现在拥有超过300万个节点，来自190个国家的用户参与数据提供。

根据Grass Foundation的说法，该网络已经展示了强大的数据处理能力，截至2025年3月5日，记录的七天累计抓取量为6,694 TB。该数字最近显示出显着增长，这可能归因于正在进行的Sion升级日益增长的影响，这将在第3.6节中详细讨论。自推出以来，该网络已成功索引了约44亿个URL，突显了其在Web数据收集中的广泛覆盖范围。

来源: Grass Foundation

3.2 是什么赋予Grass竞争优势？

Grass通过有效地满足数据供应商（节点运营商或用户）和数据消费者（AI公司）的需求，在短时间内实现了显着增长。一方面，个人用户可以通过贡献他们未使用的互联网来获得奖励作为激励。另一方面，AI公司可以直接访问高质量的公共Web数据——通过Grass的去中心化抓取网络收集并预处理为即用型数据集。可以从两个关键角度分析这种竞争优势。

3.2.1 利用住宅IP进行高效的数据收集

用于Web抓取的IP地址分为两类：数据中心IP和住宅IP。数据中心IP通常与自动抓取活动相关联，并且经常被网站阻止。在当今的AI市场中，许多主要的Web平台——特别是那些与中心化AI公司合作的平台——都在积极采用数据中心IP禁令和数据投毒策略，以限制竞争对手访问有价值的数据。

相比之下，住宅IP被视为常规用户流量，因此不太容易受到访问限制。Grass的去中心化网络架构使其能够利用来自个人用户的住宅IP，从而有效地绕过传统中心化数据提供商遇到的IP阻止、验证码验证和访问限制等技术障碍。

重要的是，Grass始终专注于用户隐私保护。该网络不会通过其节点收集个人信息；而是将IP地址用于路由目的。这有助于确保Grass用户的其他所有个人信息均未公开且保持机密。

3.2.2 使用区块链和 ZK 处理器确保数据溯源

AI行业面临的一个主要挑战是验证训练数据的溯源。正如在第 2.2 节中讨论的那样，AI生成内容和深度伪造的兴起模糊了准确信息和误导性信息之间的界限。在这种环境下，确保用于AI训练的数据集的可靠性和可验证的来源正变得越来越关键。Grass旨在通过区块链技术解决此问题。

将来，每次Grass节点抓取数据时，都会在区块链上记录验证其来源的元数据。此元数据将永久嵌入到所有数据集中，从而使AI开发人员可以追溯其使用的数据的来源。然后，开发人员将能够与他们的最终用户共享此经过验证的数据历史记录，从而通过确保AI模型不会在有意误导的信息上进行训练来增强对AI模型的信任。

维护这种级别的元数据验证将需要比大多数通用L1区块链可以提供的更高的交易吞吐量。为了应对这一挑战，Grass正在探索一种主权rollup来批量验证元数据。具体来说，Grass的主权rollup将利用 ZK 处理器来批量验证元数据，并为所有数据集提供永久、可验证的记录。将在第3.3节中探讨有关此解决方案的更多技术细节。

最终，Grass的方法具有多种优势，从防止数据投毒到支持开源AI开发。更广泛地说，启用溯源的数据基础设施有望在增强AI模型的可靠性和透明度方面发挥关键作用。

3.3 网络架构

Grass网络由两个主要组成部分组成:

• Grass桌面应用程序: 一个应用程序，使用户能够贡献他们闲置的互联网带宽给网络，以换取 $GRASS 奖励。

• 主权rollup: 一个去中心化的网络，由节点、路由器、验证器、ZK 处理器和一个数据账本组成，负责将非结构化的Web数据来源和转换成结构化的数据集。

主权rollup是一种区块链，它独立运行以进行交易执行和结算，同时依赖外部区块链来获得数据可用性和共识。

Grass将利用Solana来获得共识和数据可用性保证。但是，交易执行和结算将在Grass的rollup中独立管理。值得注意的是，Solana不会验证Grass Rollup交易的准确性——此责任将完全由Grass的验证器节点承担。

此架构旨在解决网络的大量数据处理需求。Grass目前每天处理超过200 TB的Web数据。如果Grass完全依赖L1区块链进行执行，与其他dApp竞争区块空间，将会出现瓶颈。鉴于Solana已经处理了平均每秒4,000–5,000个交易 (TPS)，因此部署专用rollup是一个合乎逻辑且必要的决定。

来源: Grass Foundation

Rollup中的交易流程和关键组件（未来推广）

1. 客户端数据请求

当客户端通过RPC节点提交数据请求时，交易开始，RPC节点充当客户端和Grass网络之间的接口。客户端可以包括AI研究实验室、金融机构、分析公司或代表最终用户行事的Grass Foundation本身。请求包含特定参数，例如：

• 用于数据收集的目标网站或域名。

• 时间范围（例如，仅在某个日期之后发布的内容）。

• 诸如关键字或内容类别之类的过滤器。

2. 验证器请求验证和优化

验证器分析数据请求的可行性，并验证其是否符合网络要求。它们的主要功能包括：

• 过滤冗余请求以优化带宽使用。

• 确保符合法律和网络约束。

• 构建用于高效并行数据收集的请求。

验证后，验证器确定Grass节点之间的最佳工作负载分配，并将此信息传递给路由器。

3. 路由器任务分配和节点数据收集

路由器根据实时因素（例如节点可用性、地理位置和带宽容量）将抓取任务分配给Grass节点，以优化网络效率。Grass节点使用住宅IP地址执行分配的任务，以从指定的Web来源检索数据。收集到的数据将被加密并传输回路由器。

4. 验证器数据验证和完整性检查

数据收集完成后，将抓取的内容转发给验证器进行完整性验证。验证器执行关键的完整性检查，包括：

• 确保收集的数据与请求参数匹配。

• 验证数据集的完整性、一致性以及是否缺少数据投毒。

• 记录源URL、时间戳和节点标识，以进行数据溯源跟踪。

此过程对于确保AI模型在高质量、可验证的数据上进行训练至关重要。验证后，数据集将传递到ZK处理器以生成加密证明。

5. ZK处理器：密码证明生成和链上结算

ZK处理器生成零知识证明 (ZKP) 以验证：

• 数据集的真实性和溯源。

• Grass节点标识（同时保留用户匿名性）。

• 确切的数据收集时间戳和来源。

ZK处理器会将批量处理的加密证明提交到Solana区块链，以进行永久且不可变的验证，而不是在链上存储整个数据集。鉴于Grass预计每分钟处理数百万个Web请求，因此采用ZK处理器至关重要。传统的L1区块链没有处理此类交易量的能力，因此基于ZK的验证和批量处理是关键的扩展解决方案。

6. Grass数据总账：存储和可访问性

验证和加密证明生成完成后，结构化的数据集将存储在Grass数据总账中——该网络的骨干存储层。此总账用作链下数据存储和链上证明验证之间的桥梁，为AI研究公司和客户提供以下好处：

• 访问高质量、经过完整性验证的数据集。

• 训练数据的完整溯源跟踪，将其链接回其原始Web来源。

• 通过不变性和可验证的来源来降低数据投毒的风险。

除了处理单个Web抓取请求外，该总账还可以用作战略性地针对大规模LLM训练进行优化的数据存储库。这使Grass可以将业务模型扩展到实时抓取之外。

7. 最终数据交付给客户

数据收集和验证过程完成后，会将最终数据集交付给客户。客户可以通过两种方式访问该数据集：

• 通过RPC直接调用Grass网络。

• 通过Grass Foundation提供的API接口，Grass Foundation充当中间数据提供商。

最终的结构化数据集可以应用于各个行业和AI应用程序，包括：

• AI模型训练：为模型开发提供实时、高质量和可验证的Web数据。

• 市场情报：提供对金融趋势、社会情绪和地缘政治事件的见解。

• 实时决策：将最新的Web数据集成到AI推理流程中，以进行最新分析。

3.4 $GRASS 代币经济学

$GRASS 在 Grass 网络中具有三个主要功能。

首先，它充当一种权益证明机制，以增强网络安全。Grass 节点和投资者可以将 $GRASS 质押给路由器，从而有助于网络安全，同时赚取奖励。将来，路由器将在处理带宽流量和报告每次交易的资源消耗方面发挥作用。虽然削减机制目前是手动管理的，但计划在网络去中心化时建立一个自动化系统。截至2025年2月10日，总共有3213万个 $GRASS 被质押，约占流通供应量的13.2%。

其次，$GRASS 最终将用作网络服务的付款方式，包括Web抓取操作、数据集购买和 LCR 使用。目前，Grass Foundation 接受美元和 USDC 付款。

第三，$GRASS 用于治理参与，允许代币持有者对网络改进提议、合作伙伴关系和激励结构进行投票，从而影响 Grass 网络的发展轨迹。

3.5 下一步是什么？扩展多模态数据处理和分配

随着AI从基于文本的模型转向生成式AI、自主系统和机器人技术，AI行业正在经历一场范式转变。多模态AI的兴起从根本上改变了数据需求的性质。以集成的方式处理文本、图像、音频和视频的能力现在对于增强AI的真实世界感知和操作准确性至关重要。随着自动驾驶汽车解释路况到AI驱动的机器人操纵对象等实际应用不断增长，对高质量多模态数据集的需求也在加剧。

但是，AI行业目前面临数据供应瓶颈。现有的数据来源方法存在三个基本限制：

1. 数据采集和处理成本飙升。

2. 数据格式和结构分散，使得无缝集成具有挑战性。

3. 处理PB级数据集的可扩展性有限。

这些限制现在正成为下一代AI开发的主要障碍。为了应对这些挑战，Grass宣布了一项重大的基础设施升级，称为 Sion。Sion 的核心目标是显着增强多模态数据处理能力——包括支持复杂、高带宽的任务，例如实时4K视频处理。Sion 遵循分阶段方法，以确保稳定地扩展网络的功能。

• 第1阶段（已完成）：专注于算法优化。通过改进软件架构，Grass 提高了处理效率，而无需额外的硬件升级。在此阶段确定的任何系统限制都已纳入第2阶段的设计中。

• 第2阶段（当前）：专注于物理基础设施扩展。Grass 计划实施分布式计算架构，以有效地分配工作负载并将网络带宽容量提高到每秒1太比特（Tbps）以上，从而将数据处理速度提高10倍以上。第2阶段最显着的进步之一是采用自适应抓取，从而可以无缝地收集和处理4K视频、图像、文本和其他多模态数据格式。

随着Sion升级的成功执行，Grass 已准备好超越传统抓取，并将自己打造为AI行业高质量多模态数据的领先提供商。

来源: Grass Foundation

4. 展望未来

Grass 成为解决AI行业日益增长的数据供应挑战的实用解决方案而脱颖而出。使其方法特别引人注目的是，它不仅仅是一项技术实验，而且从根本上符合现实市场需求。

对AI训练数据的需求持续增长，随之而来的是，Grass 的作用可能会变得越来越重要。数据需求的增长直接转化为 Grass 更高的收入，进而促进了网络扩展、节点参与度提高、更快和更大规模的数据收集以及更具竞争力的数据集的开发。即将推出的两个版本可能会加速这一增长轨迹：移动版本的推出，有可能增加节点数量并增强网络效应；以及目前正在测试阶段的硬件解决方案。如果这种飞轮效应得以实现，Grass 将能够持续吸引新客户，并进一步巩固其在市场中的地位。

最终，关键挑战在于有效地扩展此飞轮。凭借不断扩大的贡献者网络和寻求实时、可验证数据的AI公司，Grass 具有独特的优势，可以成为去中心化AI数据采集的标准。

• 原文链接： 4pillars.io/en/articles/...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～