本文目录
什么是文本清理？
文本清理是指从原始文本中去除多余字符、格式残留和编码问题，从而生成干净、一致输出的过程。来自网页、文档、电子邮件和数据库的原始文本，几乎总是包含会干扰后续处理的元素——HTML 标签、弯引号、不可打印的控制字符、不一致的行尾符以及编码残留。
有效的文本清理能够在不丢失有意义内容的前提下，将杂乱的输入转换为标准化、可处理的文本。它是数据管道、内容迁移、自然语言处理，以及任何文本质量直接影响输出结果的工作流中至关重要的预处理步骤。干净的文本解析更快、存储更高效，也能产生更可靠的结果。
文本清理操作的类型
文本清理涵盖多种不同的操作，每种操作针对一类不同的多余内容：
- 去除 HTML 标签——删除所有 HTML 标记（<p>、<div>、<span> 等），同时保留可见的正文内容。在从网页或 CMS 导出内容中提取可读文本时不可或缺
- 修复编码问题——修复乱码（因编码不匹配而产生的错乱字符）、删除字节顺序标记（BOM），并对 Unicode 表示进行规范化，使视觉上相同的字符具有一致的字节序列
- 移除不可打印字符——删除控制字符（\x00-\x1F）、零宽空格、软连字符以及其他会干扰文本处理和存储的不可见字符
- 规范化空白字符——将多个空格合并为一个、将制表符转换为空格、去除行尾多余空白，并将行尾符统一为一致的格式（LF 或 CRLF）
- 修复弯引号——将排版引号（弯引号、破折号、省略号字符）转换回其 ASCII 等价形式，以便与不支持扩展 Unicode 的系统兼容
常见使用场景
只要文本在系统或格式之间流转，就需要进行文本清理。以下是最常见的几种情形：
- 网页抓取输出——抓取到的 HTML 包含标签、内联样式、脚本和实体，必须将它们剥离，才能提取出真正的内容用于分析或存储
- 邮件内容提取——邮件正文包含 HTML 格式、quoted-printable 编码和追踪像素，需要将其去除才能获得纯文本内容
- CMS 迁移——在内容管理系统之间迁移内容会引入格式残留、专有标记和编码不匹配，从而破坏迁移后的文本
- 数据管道预处理——机器学习和分析管道需要干净、规范化的文本。不可打印字符、不一致的编码和 HTML 片段会降低模型准确率并导致解析失败
免费试用 —— 无需注册
试用文本清理工具 →不同场景下的文本清理
所需的清理操作在很大程度上取决于具体场景。不同领域有不同的清理需求：
- 编程——通过去除行尾空白、规范化缩进、剥离被注释掉的代码，以及修复字符串字面量中的编码问题来清理源代码
- 数据科学——在分词之前，通过去除 HTML、规范化 Unicode、转换弯引号、转为小写以及剥离不可打印字符，为 NLP 准备文本
- 内容管理——通过移除危险的 HTML 标签（script、iframe）、修复损坏的实体，以及规范化空白字符以保证一致的渲染效果，来净化用户提交的内容
技巧与最佳实践
有效的文本清理需要一套有条理的方法。遵循以下做法可获得可靠的结果：
- 按正确的顺序串联操作——先去除 HTML，再修复编码，然后移除不可打印字符，最后规范化空白字符。颠倒顺序可能产生更难清理的残留
- 提交前先预览——务必将清理后的输出与原始文本进行对比，确认没有意外删除有意义的内容。过于激进的清理可能会剥离有意保留的格式
- 了解你的编码——在清理之前，先确认源文本的编码（UTF-8、Latin-1、Windows-1252）。应用错误的编码修复会把本可恢复的乱码变成永久性的数据丢失
常见问题
文本清理会移除所有 HTML 标签吗？
去除 HTML 操作会移除所有 HTML 标签，包括内联元素（span、strong、em）、块级元素（div、p、section）和自闭合元素（br、img、hr）。不过，它会保留标签之间的文本内容。例如，'<strong>important</strong>' 会变成 'important'。像 & 和 < 这样的 HTML 实体会被解码为对应的字符。
文本清理能处理 Unicode 和表情符号吗？
可以。文本清理会保留有效的 Unicode 字符，包括表情符号、带重音的字母、CJK 字符和数学符号。只有不可打印的 Unicode 字符（控制码、零宽空格、字节顺序标记）会被移除。规范化空白字符操作能够处理各种 Unicode 空白变体，例如全角空格和表意文字空格。
文本清理是有损操作吗？
有些清理操作在设计上就是有损的。去除 HTML 会移除所有格式。将弯引号转换为 ASCII 会丢失排版上的区别。规范化空白字符会移除多余的间距。这些都是有意为之的——目的是生成干净、一致的文本。对于需要可逆的操作，请在清理前保留一份原始文本的副本。