Dencun升级后，以太坊历史数据的长期存储与访问问题怎么解决？
随着以太坊网络的流行和应用需求的增加，其历史状态数据开始快速增长。为应对这一问题，以太坊一步步改进，从最初的全节点到轻客户端，再到近期的Dencun升级引入状态过期功能来自动清理长期未使用的数据。
以太坊的长期目标之一是通过实现分片将数据分散到不同的区块链上，来减少单个区块链的负载，Dencun升级中实施的EIP-4844是以太坊网络向全面实施分片的重要一步。EIP-4844引入了“blobs”临时数据类型，让Rollup以更低的成本提交更多数据到以太坊主链。为了控制状态数据膨胀，以太坊将blobs数据在共识层节点存储约18天后删除。
除了以太坊自身的改进，还有一些项目比如Celestia、Avail和EigenDA也在构建解决方案以改善数据问题。他们提供了有效的短期数据可用性（DA）解决方案，增强了区块链的实时操作和可扩展性。然后这些方案并没有解决那些需要长期访问历史数据的应用，如那些依赖于长期存储用户身份验证数据的dApp或需要进行人工智能模型训练的dApp。
为了解决以太坊生态系统中长期数据存储的挑战，EthStorage、Pinax、Covalent等项目提出了解决方法。EthStorage为Rollup提供了长期的DA，确保数据可以长期被访问和使用。Pinax、TheGraph和StreamingFast联合开发了长期存储和检索blobs数据包的方案。Covalent的EthereumWaybackMachine（EWM）不仅是一个长期数据存储解决方案，也是一个可以实现数据查询和分析的完整系统。
随着人工智能成为全球技术发展的主流趋势，其与区块链技术的结合也被视为未来的发展方向。这种趋势导致了对历史数据访问和分析需求在不断增长。在这种背景下，EWM展示出其独特的优势。EWM提供了对以太坊历史数据归档和数据处理，使得用户可以检索复杂的数据结构，对智能合约的内部状态、交易结果、事件日志等进行深入分析和查询。
EthereumWaybackMachine(EWM)简介EthereumWaybackMachine（EWM）借鉴了WaybackMachine的概念，保存以太坊上的历史数据，并使其可以被访问和验证。WaybackMachine是由互联网档案馆(InternetArchive)创建的一个数字档案项目，旨在记录和保存互联网的历史。这个工具允许用户查看过去不同时间点上某个网站的存档版本，帮助人们了解网站内容的历史变化。
历史数据是区块链诞生的根本原因，不仅支撑了区块链的技术架构，也是其经济模型的基石。区块链设计之初，就是为了提供一个公开、不可更改的历史记录。比如比特币，是为了创建一个不可篡改、去中心化的账本，它记录每一笔交易的历史，以保证交易的透明性和安全性。历史数据的需求场景非常广泛，但目前缺乏一种高效且可验证的存储方式。EWM作为长期DA解决方案，能够永久存储数据，包括blob数据，可以应对因状态过期和数据分片带来的历史数据可访问性问题。EWM专注以太坊上历史数据的归档和长期可访问性，支持复杂的数据结构查询。接下来，我们将详细探讨EWM如何通过其独特的数据处理流程，实现这一目标。
EWM的数据处理流程：提取、精炼与索引Covalent是为用户提供对区块链数据的访问和查询服务的平台。它通过捕获和索引区块链数据，并将其存储在网络上的多个节点上，实现了数据的可靠存储和快速访问。Covalent通过EthereumWaybackMachine（EWM）来处理数据，确保区块链历史数据的持续可访问性。EWM数据处理流程包括三个关键步骤：提取和导出（ExtractionandExport）、精炼（Refinement）、索引和查询（IndexingandQuery）。
提取和导出：这是流程的第一步，涉及到从区块链网络中直接提取历史交易数据。这一步骤由专门的实体，即BlockSpecimenProducers（BSP），执行。BSP的主要任务是创建并保存“区块样本”，即区块链数据的原始快照。这些区块样本作为区块链历史状态的规范表示，关键在于保持数据的完整性和准确性。创建后，这些区块样本会被上传到分布式服务器上（基于IPFS构建），并通过ProofChain合约进行发布和验证。这样不仅确保了数据的安全性，同时也为其他人提供了关于数据已被安全保存的信号。
精炼：在数据提取后，由BlockResultsProducers（BRP）来精炼。BRP负责将基础数据转化为更有用的形式。传统的区块链数据访问方法通常只能提供有限的信息，且不易于查询复杂的数据结构。通过重新执行和转换数据，BRP能够提供更详尽的信息，如合约内部状态、交易执行路径等。此外，BRP通过预处理和存储加工后的数据，显著减少了对每次查询或数据分析重新运行完整节点的需求，从而提高了查询速度，并降低了存储和计算成本。至此，原始的“区块样本”被转化为更容易被查询和分析的形式“区块结果”。这一过程不仅加快了Covalent网络的性能，也为数据的进一步查询和分析提供了更多的可能性。
索引和查询：最后查询运营商（QueryOperators）将处理好的数据整理并保存在便于查找的位置。根据API用户的需求，从分布式服务器中提取数据，确保历史和实时数据都可以用于响应API查询。这样用户便能够有效地访问和利用存储在Covalent网络中的区块链数据。
Covalent提供统一的GoldRushAPI，支持从多个区块链（如以太坊、Polygon、Solana等）获取历史数据。这个GoldRushAPI为开发者提供一站式数据解决方案，允许开发者通过单一的调用获取账户的ERC20代币余额和NFT数据，从而轻松构建加密货币和NFT钱包（如Rainbow、Zerion），极大简化了开发流程。此外，使用API访问DA数据需要消耗信用积分（Credit），不同类型的请求被分为不同类别（A类、B类、C类等），每个类别都有自己特定的信用成本。这笔收入用于支持运营商网络。
未来展望随着AI的快速发展，AI与区块链的结合趋势愈发明显。区块链技术为AI提供了一个不可篡改且分布式验证的数据来源，增强了数据透明度和信任度，使AI模型在数据分析和决策制定时更精确可靠。AI通过分析链上数据，能优化算法和预测趋势，从而直接执行复杂任务和交易，显著提高dApp的效率和降低成本。通过EWM，AI模型可以访问广泛的链上结构化Web3数据集，并且这些数据具有完整性和可验证性。EWM作为AI模型与区块链之间的桥梁，极大地方便了AI开发人员的数据检索和利用。
目前已经有一些AI项目整合了Covalent：
SmartWhales：利用AI技术优化复制交易（copytrading）投资策略的平台。复制交易依赖于对历史数据的分析来识别成功的交易模式和策略。Covalent提供全面且详尽的区块链数据集，SmartWhales通过这些数据分析过去的交易行为和结果，识别出哪些策略在特定市场条件下表现良好推荐给用户。
BotFi：DeFi交易机器人。通过整合Covalent的数据来分析市场趋势和自动化交易策略，并根据市场变化自动进行买卖操作。
LaikaAI：利用AI进行全面的链上分析。LaikaAI平台通过整合Covalent提供的结构化区块链数据，来驱动其AI模型，帮助用户进行复杂的链上数据分析。
EntendreFinance:自动化DeFi资产管理，提供实时洞察和预测分析。其AI利用Covalent的结构化数据来简化和自动化资产管理，比如监控和管理数字资产的持有情况、自动执行特定的交易策略等。
EWM也在随着需求的改变不断的改进升级，Covalent工程师PranayValson表示，未来EWM将扩展协议规范以支持其他区块链如Polygon和Arbitrum，并会将BSP分叉集成到如Nethermind和Besu等以太坊客户端中，以实现更广泛的兼容性和应用。此外，EWM在信标链上处理blob交易时，将使用KZG承诺，以提升数据的存储和检索效率，减少存储成本。