构建数字圣经出版引擎：用纯 Python 处理 1000 万以上的交叉引用
有没有想过如何处理数字出版物中的大量交叉引用？我构建了一个发布引擎，可以管理中文、俄语等多种语言的数百万条参考文献。方法如下：
挑战
我需要创建将多种语言与广泛的交叉引用、字典链接和动态导航相结合的并行圣经。传统的发布工具无法处理这种规模。
发动机的演变
最初的单文件 MOBI 编译很快就遇到了可扩展性的障碍，在此过程中我还将格式更改为 EPUB，这是得到广泛支持并被公认为事实上的数字图书格式。随着交叉引用的数量增加到数百万，语言组合变得更加复杂，我需要一种完全不同的方法。解决方案是什么？分布式处理系统：
预先计算数据库中的所有交叉引用 将大量出版物分成可管理的块 将处理后的块合并回最终出版物 有效处理巨大数据集的内存 跨文件边界保持引用完整性核心技术特点
纯Python后端处理 多语言字符集自定义解析 数据库驱动的参考管理 跨语言同步 具有增强导航功能的动态 EPUB 生成规模成就
已处理 4000 多篇出版物 迄今为止最大的出版物中超过 1000 万次交叉引用 20 多种语言支持，包括 CJK 字符 链接了 10 万多个词典条目 自定义验证映射关键技术决策
-
从单文件迁移到分布式处理
为诗句映射构建自定义数据库模式
实现并行文本同步
创建增强的 EPUB 导航
为海量出版物开发分块系统
该引擎现在为 TBTM.sale 提供动力，生成复杂的学习圣经和并行语言版本。每个出版物都可以无缝处理数百万个内部链接，同时保持 EPUB 标准。
经验教训
传统 EPUB 工具大规模崩溃 跨语言同步需要定制解决方案 导航对于大型参考文献至关重要 从第一天起就构建可扩展性 使用Streetlib和Publishdrive等第三方发布 熟悉 ONIX 批量处理规范 内存管理对于大型出版物至关重要 复杂引用的预计算胜过运行时处理想看一个真实的例子吗？在 TBTM.sale 查看我们带有 800 万条交叉引用的海量学习圣经
您面临哪些出版挑战？我很想听听您在大规模文档处理方面的经验。
