Flash News
Microsoft资深工程师:开源MarkItDown把杂乱文档一键变成LLM最爱的干净Markdown
Microsoft在GitHub开源了文档转Markdown工具MarkItDown,可将PDF、Word(.docx)、Excel(.xlsx)、PowerPoint(.pptx)、HTML、图片、音频甚至ZIP等多种格式统一转换为结构化Markdown,支持OCR与音频转写,核心目标就是为大语言模型与RAG流程准备“干净语料”。 工具既可作为Python库调用,也可通过命令行本地运行,一次安装后即可离线处理大量文件,相比传统解析器更注重保留标题、列表、表格、链接等语义结构,避免布局错乱和乱码,是专为AI索引与文本分析优化的“通用文档→Markdown”转换层。
来源:公开信息
ABAB AI Insight
MarkItDown的价值在于把“输入清洗”这件常被忽略的脏活做成标准化基础设施。过去,把PDF、Office文档、网页、媒体内容喂给LLM,需要一堆零散脚本和解析器,结果往往是token爆炸、结构丢失、内容被HTML噪音淹没;MarkItDown通过统一转换为Markdown,把富文本世界压平到一种对LLM极友好的中间格式,相当于给任何AI系统配了一个高质量的“文档入口协议层”。
对于企业与开发者,这意味着可以把更多历史资产——合同、报告、PPT、运营数据导出的Excel、录音纪要乃至培训视频——快速纳入AI知识库,而不用在每种格式上重复造轮子。Markdown成为事实上的“AI中间语”:既足够接近人类阅读习惯,又易于分块、索引和控制上下文边界。Microsoft选择用开源方式把这层做薄、做通用,本质上是在巩固自己在AI数据管道上的地位:无论上层接的是哪家模型,底层的文档清洗与结构化可以优先跑在自家工具链上。
AI
Source
·ABAB News·
1 min read
·141d ago