C# 如何从一个大的xml流中分块读取数据

在处理大型 XML 文件时，直接加载整个文档到内存中会导致性能问题甚至内存溢出。C# 提供了 XmlReader 类，支持以流式方式高效读取大 XML 文件，无需一次性加载全部内容。通过分块读取特定节点，可以有效控制内存使用。

使用 XmlReader 流式读取 XML 数据块

XmlReader 采用只进、只读的方式解析 XML，非常适合处理大文件。你可以按需提取某个父节点下的数据块，逐个处理。

假设 XML 结构如下：

<Orders>
  <Order Id="1">
    <Item>Apple</Item>
    <Qty>10</Qty>
  </Order>
  <Order Id="2">
    <Item>Banana</Item>
    <Qty>5</Qty>
  </Order>
  ...
</Orders>

使用以下代码逐个读取每个 Order 节点：

using (var reader = XmlReader.Create("large.xml"))
{
    while (reader.Read())
    {
        if (reader.IsStartElement("Order"))
        {
            // 读取当前节点的完整子树
            using (var subtree = reader.ReadSubtree())
            {
                var orderDoc = new XmlDocument();
                orderDoc.Load(subtree);
                // 处理单个 Order 节点（例如序列化、转换或保存）
                ProcessOrder(orderDoc.DocumentElement);
            }
        }
    }
}

关键点：

跳过不关心的数据以提升性能

XmlReader 允许快速跳过不需要的节点，避免不必要的解析开销。

如果只想读取特定条件的节点（如 Id > 100），可在判断后调用 reader.Skip() 跳过整个节点树。

if (reader.IsStartElement("Order"))
{
    string id = reader["Id"];
    if (int.TryParse(id, out int orderId) && orderId <= 100)
    {
        reader.Skip(); // 直接跳过该节点
    }
    else
    {
        using (var subtree = reader.ReadSubtree())
        {
            // 只处理符合条件的节点
        }
    }
}

结合流式反序列化提高效率

如果你的数据结构固定，可定义对应的 C# 类，并使用 XmlSerializer 直接反序列化子树。

public class Order
{
    [XmlAttribute("Id")]
    public int Id { get; set; }
    public string Item { get; set; }
    public int Qty { get; set; }
}

在读取时直接反序列化：

if (reader.IsStartElement("Order"))
{
    var serializer = new XmlSerializer(typeof(Order));
    var order = (Order)serializer.Deserialize(reader);
    ProcessOrder(order); // 处理对象
}

这种方式更简洁，且避免创建 XmlDocument 对象，进一步降低开销。

基本上就这些。使用 XmlReader 配合 ReadSubtree 或反序列化，能高效地从大 XML 流中分块提取数据，保持低内存占用和良好性能。