本文目录
什么是 JSONL 校验？
JSONL（JSON Lines）校验会检查文件中的每一行是否都是有效且自包含的 JSON 对象。与将所有内容包裹在单个数组或对象中的标准 JSON 不同，JSONL 每行存储一个 JSON 值，因此非常适合流式处理、日志记录和大规模数据集处理。
JSONL 文件中一行格式错误就可能导致整条数据管道崩溃。校验能在语法错误、编码问题和结构不一致引发下游故障之前将它们捕捉出来。
JSONL 校验器的工作原理
CheckTown 的 JSONL 校验器会独立解析每一行，并报告出错的确切行号。
- 逐行解析 —— 每一行都作为独立的 JSON 值进行校验，将错误定位到具体的行
- 语法检查 —— 检测每行中格式错误的 JSON，包括未加引号的键、多余的尾逗号和编码错误
- 结构一致性 —— 可选择检查所有行是否共享相同的顶层键集合，以保证数据结构统一
免费试用 —— 无需注册
校验您的 JSONL →JSONL 与标准 JSON 的对比
了解何时应使用 JSONL 而非标准 JSON，有助于您选择合适的格式。
- 流式处理 —— 与 JSON 数组不同，JSONL 可逐行处理，无需将整个文件加载到内存中
- 便于追加 —— 可以向 JSONL 文件追加新记录，而无需修改现有内容或闭合括号
- 错误隔离 —— JSONL 中某一行的语法错误不会使其他行失效，而 JSON 中单个错误就会破坏整个文件
何时使用 JSONL 校验
在生成、传输或接收文件的数据边界处，JSONL 校验必不可少。
- 日志接入 —— 在将 JSONL 日志文件发送到 Elasticsearch 或 Splunk 等日志聚合服务之前进行校验
- 机器学习数据集 —— 在模型训练前检查 JSONL 格式的训练数据文件是否一致
- 数据导出 —— 在与下游使用方共享之前，校验从数据库或 API 导出的 JSONL
常见问题解答
JSONL 和 NDJSON 有什么区别？
它们是同一种格式的不同名称。JSONL（JSON Lines）和 NDJSON（换行符分隔的 JSON）都规定每行一个 JSON 值，各值之间以换行符分隔。
JSONL 的每行可以包含数组或基本类型值吗？
可以。虽然对象最为常见，但 JSONL 文件中的每一行都可以是任何有效的 JSON 值：对象、数组、字符串、数字、布尔值或 null。
JSONL 中每行的最大长度是多少？
JSONL 规范并未规定行的最大长度。不过，许多处理工具会施加实际限制，每行通常在 1 MB 到 100 MB 之间。