Tesseract-OCR训练自定义语言包：提升特定场景识别准确率

为什么需要训练自定义语言包

在标准的OCR应用中，Tesseract-OCR默认支持100多种语言，包括中文、英文、法语、德语等主流语言。但在实际业务场景中，我们经常会遇到一些特殊情况：手写体文档、古旧印刷体、特定行业的专业术语、或者是具有特殊字体风格的设计稿。这些场景下，默认的语言包往往无法达到理想的识别准确率。

我曾经处理过一个项目，需要识别19世纪末的报纸扫描件。由于当时的印刷技术和现代完全不同，默认的中文简体语言包识别率不到30%。通过训练自定义语言包，最终将识别率提升到了85%以上。这个经历让我深刻认识到自定义训练的价值。

Tesseract-OCR训练原理解析

要理解自定义语言包的训练，首先需要了解Tesseract的工作原理。Tesseract使用基于LSTM（长短期记忆网络）的深度学习模型进行文字识别。LSTM是一种特殊的循环神经网络，非常适合处理序列数据——而文字识别本质上就是一个序列标注问题。

训练自定义语言包的核心思想是：提供大量已经标注好的图像-文本对，让模型学习特定字体、特定场景下的文字特征。Tesseract的训练流程可以分为以下几个步骤：

• 数据准备：收集特定场景的图像，并制作对应的文本标注
• 数据增强：通过旋转、缩放、加噪等方式扩充训练数据
• 特征提取：将图像转换为LSTM可以处理的序列特征
• 模型训练：使用标注数据微调预训练模型
• 评估与迭代：在测试集上评估效果，根据结果调整训练策略

详细训练流程：从零开始

下面我将详细介绍训练自定义语言包的完整流程。我会以一个实际案例——训练一个用于识别手写数字的自定义语言包——来演示整个过程。

第一步：环境准备

首先需要安装必要的工具和依赖：

# 安装Tesseract-OCR（如果还没有安装）
# Ubuntu/Debian
sudo apt-get install tesseract-ocr

# 安装训练工具
sudo apt-get install tesseract-ocr-eng
sudo apt-get install libtesseract-dev

# 安装Python依赖
pip install pillow numpy tesserocr

第二步：准备训练数据

训练数据的质量直接决定最终模型的效果。对于手写数字识别这个任务，我们需要准备：

• 图像数据：包含手写数字的图像，建议至少准备1000张
• 标注数据：每张图像对应的正确文本内容
• 数据格式：Tesseract要求的特定格式（.box文件）

假设我们有一张包含手写数字"12345"的图像train_001.png，需要创建一个同名的train_001.box文件，内容格式如下：

1 10 20 30 40 0
2 35 20 55 40 0
3 60 20 80 40 0
4 85 20 105 40 0
5 110 20 130 40 0

每一行的含义是：字符 左边界 下边界 右边界 上边界 页码。这个文件可以通过Tesseract自带的工具或手动创建。

第三步：数据增强

为了提高模型的泛化能力，我们需要对原始数据进行增强。常用的增强方法包括：

以下是一个使用Python进行数据增强的示例代码：

from PIL import Image, ImageEnhance, ImageFilter
import random
import numpy as np

def augment_image(image_path, output_path):
    img = Image.open(image_path)
    
    # 随机旋转
    angle = random.uniform(-5, 5)
    img = img.rotate(angle)
    
    # 随机缩放
    scale = random.uniform(0.8, 1.2)
    new_size = (int(img.width * scale), int(img.height * scale))
    img = img.resize(new_size)
    
    # 添加高斯噪声
    img_array = np.array(img)
    noise = np.random.normal(0, 10, img_array.shape).astype(np.uint8)
    img_array = np.clip(img_array + noise, 0, 255)
    img = Image.fromarray(img_array)
    
    # 随机模糊
    if random.random() > 0.5:
        img = img.filter(ImageFilter.GaussianBlur(radius=random.uniform(0.5, 1.5)))
    
    img.save(output_path)

第四步：训练模型

数据准备完成后，就可以开始训练模型了。Tesseract提供了tesseract命令来进行训练，但更推荐使用专门的训练工具tess trainer。

训练命令的基本格式如下：

tesseract [图像文件] [输出基础名] --psm 6 --oem 1 lstm.train

其中：

• --psm 6：页面分割模式，6表示假设为统一的文本块
• --oem 1：OCR引擎模式，1表示使用LSTM神经网络
• lstm.train：指定训练模式

对于大规模训练，通常需要编写一个训练脚本，类似于：

import os
import subprocess

# 训练参数配置
config = {
    "learning_rate": 0.0001,
    "max_iterations": 10000,
    "batch_size": 16,
    "network_specs": "[
        1,36,0,1,
        150,196,0,6,
        196,196,0,3,
        196,196,0,3,
        196,196,0,3,
        196,196,0,3,
        196,196,0,3,
        196,196,0,3,
        196,196,0,3,
        196,512,0,3,
        512,512,0,3,
        512,{num_classes},0,0
    ]"
}

# 开始训练
cmd = [
    "tesseract",
    "data/list.train",
    "output/model",
    "--psm", "6",
    "--oem", "1",
    "lstm.train",
    "--learning_rate", str(config["learning_rate"]),
    "--max_iterations", str(config["max_iterations"]),
    "--batch_size", str(config["batch_size"]),
    "--network_specs", config["network_specs"]
]

subprocess.run(cmd)

实战案例：提升古旧文档识别率

让我分享一个实际项目的完整流程。这个项目的目标是识别19世纪末的中文报纸，原始图像质量很差，有很多噪点和褪色。

问题分析

初始测试发现，使用默认的中文简体语言包，识别率只有28%。主要问题包括：

• 字体差异：19世纪的印刷字体与现代简体中文字体完全不同
• 图像质量：扫描件有很多噪点、褪色、纸张纹理干扰
• 排版特殊
：从右到左的竖排文字，现代模型训练时没有这类数据
• 特殊字符：包含一些现在已经不用的标点符号和排版符号

import cv2
import numpy as np

def preprocess_image(image_path):
    # 读取图像
    img = cv2.imread(image_path, cv2.IMREAD_GRAYSCALE)
    
    # 去噪
    denoised = cv2.fastNlMeansDenoising(img, None, 10, 7, 21)
    
    # 二值化
    _, binary = cv2.threshold(denoised, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
    
    # 去除纸张纹理（形态学操作）
    kernel = np.ones((2,2), np.uint8)
    cleaned = cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel)
    
    return cleaned

import tesserocr
from tesserocr import PyTessBaseAPI

def evaluate_model(test_images, ground_truth):
    total_cer = 0
    total_wer = 0
    
    with PyTessBaseAPI(lang='my_custom_model') as api:
        for img_path, true_text in zip(test_images, ground_truth):
            api.SetImageFile(img_path)
            pred_text = api.GetUTF8Text()
            
            # 计算编辑距离
            cer = levenshtein_distance(pred_text, true_text) / len(true_text)
            total_cer += cer
            
            # 计算词错误率
            true_words = true_text.split()
            pred_words = pred_text.split()
            wer = levenshtein_distance(pred_words, true_words) / len(true_words)
            total_wer += wer
    
    avg_cer = total_cer / len(test_images)
    avg_wer = total_wer / len(test_images)
    
    return avg_cer, avg_wer

# 将训练好的模型文件（.traineddata）复制到tessdata目录
cp my_custom_model.traineddata /usr/share/tesseract-ocr/4.00/tessdata/

# 使用自定义模型进行识别
tesseract image.png output -l my_custom_model