告别「复制+粘贴」,基于深度学习的OCR,实现PDF转文本
传统的讲座通常伴随着一组 pdf 幻灯片。一般来说,想要对此类讲座做笔记,需要从 pdf 复制、粘贴很多内容。 最近,来自 K1 Digital 的高级机器学习工程师 Lucas Soares 一直在尝试通过使用 OCR(光学字符识别)自动转录 pdf 幻灯片,以便直接在 markdown 文件中操作它们的内容,从而避免手动复制和粘贴 pdf 内容,实现这一过程的自动化。 左为项目作者 Lucas Soares。 项目地址:https://github.com/EnkrateiaLucca/ocr_for_transcribing_pdf_slides 为什么不使用传统的 pdf 转文本工具呢? Lucas Soares 发现传统工具往往会带来更多的问题,需要告别花时间解决。他曾经尝试使用传统的 Python 软件包,但是遇到了很多问题(例如必须使用复杂的正则表达式模式解析最终输出等),因此决定尝试使用目标检测和 OCR 来解决。 基本过程可分为以下步骤: 将 pdf 转换为图片; 检测和识别图像中的文本; 展示示例输出。 基于深度学习的 OCR 将 pdf 转录为文本 将 pdf 转换为图像 Soares 使用的 pdf 幻灯片来自于 David Silver 的增强学习(参见以下 pdf 幻灯片地址)。使用「pdf2image」包将每张幻灯片转换为 png 图像格式。 pdf 幻灯片示例。 地址:https://www.davidsilver.uk/wp-content/uploads/2020/03/intro_RL「复.pdf 代码如下: from pdf2image import convert_from_path from pdf2image.exceptions import ( PDFInfoNotInstalledError, PDFPageCountError, PDFSyntaxError ) pdf_path = "path/to/file/intro_RL_Lecture1.pdf" images&制+nbsp;= convert_from_path(pdf_path) for i, image in enumerate(images): fname = "image" + str(i) + ".png" image.save(fname, "PNG") 经过处理后,所有的 pdf 幻灯片都转换成 png 格式的图像: 检测和识别图像中的文本 为了检测和识别 png 图像中的粘贴文本,Soares 使用 ocr.pytorch 库中的文本检测器。按照说明下载模型并将模型保存在 checkpoints 文件夹中。 ocr.pytorch 库地址:https://github.com/courao/ocr.pytorch 代码如下: # adapted from this source: https://github.com/courao/ocr.pytorch %load_ext autoreload %autoreload 2 import os from 」,ocr import ocr import time import shutil import numpy as np import pathlib from PIL import Image from glob import glob import matplotlib.pyplot as plt import seaborn as sn基于s sns.set() import pytesseract def single_pic_proc(image_file): image = np.array(Image.open(image_file).convert('RGB')) result, image_framed = ocr(image) return 深度result,image_framed image_files = glob('./input_images/*.*') result_dir = './output_images_with_boxes/' # If the output folder exists we will remove it and redo it. if os.path.exists(result_d学习ir): shutil.rmtree(result_dir) os.mkdir(result_dir) for image_file in sorted(image_files): result, image_framed = single_pic_proc(image_file) # detecting and recognizing the t的Oext filename = pathlib.Path(image_file).name output_file = os.path.join(result_dir, image_file.split('/')[-1]) txt_file = os.path.join(result_dir, image_file.split('/')[-1].split('CR.')[0]+'.txt') txt_f = open(txt_file, 'w') Image.fromarray(image_framed).save(output_file) for key in result: txt_f.write(result[key][1],实+' ') txt_f.close() 设置输入和输出文件夹,接着遍历所有输入图像(转换后的 pdf 幻灯片),然后通过 single_pic_proc() 函数运行 OCR 模块中的检测和识别模型,最后将输出保存到输出文件夹。 其中检测继承(inherit)了 Pytorch CTPN 模型,识别继承了 Pytorch CRNN 模型,两者都存在于 OCR 模块中。 示例输出 代码如下: import cv2 as cv output_dir = pathlib.Path("./output_现Pimages_with_boxes") # image = cv.imread(str(np.random.choice(list(output_dir.iterdir()),1)[0])) image = cv.imread(f"{output_dir}/image7.png") size_reshaped = (int(image.shape[1]),int(image.shape[0])) image = cv.resize(image, sDFize_reshaped) cv.imshow("image", image) cv.waitKey(0) cv.destroyAllWindows() 下图左为原始 pdf 幻灯片,图右为转录后的输出文本,转录后的准确率非常高。 文本识别输出如下: filename = f"{output_dir}/image7.txt" with open(filename, "r") as text: for line&nb转文sp;in text.readlines(): print(line.strip(" ")) 通过上述方法,最终你可以得到一个非常强大的工具来转录各种文档,从检测和识别手写笔记到检测和识别照片中的随机文本。拥有自己的 OCR 工具来处理一些文本内容,这比依赖外部软件来转录文档要好的多。
- 最近发表
-
- 标签: 图达通 激光雷达 蔚来 港股上市
- 标签: MG4 上汽名爵 2026款 半固态电池
- 云计算开发:Python练习实例-实现有n个整数,使其前面各数向后移m个位置
- 360发布全球首款L2-L4全栈智能体平台!政企AI转型迎来“开箱即用”时代
- 微软Xbox挖来《传送门》制作人负责云游戏业务
- 微软董事会决定盖茨应当离开?其实早在去年他已宣布退出了
- 德国反垄断监管机构开始对亚马逊提起诉讼
- 标签: 美团Tabbit 陪读蛙 read-frog GPLv3
- Anthropic 突破性发现:仅250份中毒文件即可攻破大型 AI 模型
- 云安全日报220322:IBM云原生数据和AI平台发现执行任意代码漏洞,需要尽快升级
- 随机阅读
-
- OpenAI CEO 奥尔特曼发布五大原则:致力于让 AGI 惠及全人类
- 谷歌收购Fitbit:反垄断方案未获澳大利亚监管认可
- 谷歌旗下自动驾驶汽车公司CEO辞职:将开启联合CEO时代
- 自由职业服务市场Fiverr裁员 30%,转型为 “AI优先” 公司
- 通义万相发布全新视频生成模型:可生成影视级高清视频 已可免费体验
- 标签: 微盟 WAI WIME AI Work365
- 图书馆借阅应用强推AI功能引众怒!读者和图书管理员集体抵制
- 标签: 智行者 黄石产投 特种无人驾驶 清华大学
- 标签: 美丽明天 孙东旭 石明 郭天权
- 标签: 米哈游 金雯怡 王宇阳 HoYoverse
- 阿里云李飞飞:云数据库加速迈向智能化
- 标签: 腾讯 喜马拉雅 市场监管总局 在线音频
- 马来西亚迎来 AI 新纪元,ChatGPT Go 助力数字化转型
- 标签: Anthropic Fable5 Mythos5 AI出口管制
- 标签: 中国电信 星辰大模型 Token套餐 天翼AI云电脑
- 标签: Marvell TSMC A14 台积电
- DeepSeek 论文登上 Nature 封面,AI 大模型首次通过同行评审
- 标签: 钟慧娟 翰森 胡润女企业家榜 蓝思科技
- 标签: Manus 三星家电 东方甄选 俞敏洪
- Meta 计划推出超级政治行动委员会,力挺 AI 监管轻松化
- 搜索
-
- 友情链接