想下载一批论文md做RAG，怎么分块好呢？
- 内容介绍
- 文章标签
- 相关推荐
问题描述：
--【壹】--：
如题，现在调API把论文PDF转成了md，打算按标题层级建树划分chunk做检索，但是md里面的噪声太多了，比如图片链接表格作者介绍等等，最重要的是有的论文转md部分标题没有标题格式没办法直接识别，佬友有什么好的划分或者清洗方法吗？
网友解答：--【壹】--：
佬可以参考一下，下面的思路，用agent清洗，总结，校对流水线。然后做抽样人工校对。
把一堆乱七八糟的笔记，变成一个会自己生长的知识库-Karpathy 文档共建Karpathy 最近发了一篇文章，推上到处都在转发，推荐大家看一下 https://x.com/karpathy/status/2039805659525644595?s=20 大意是他在用 LLM 给自己建一个私人知识库，把你平常收藏的文章帖子统统扔进一个文件夹，然后让 AI 把它们整理成一个结构化的 wiki 先给大家介绍下这一套是怎么运行的： 佬们把平常收集到的帖子，文章直接爬下来直…
问题描述：
--【壹】--：
如题，现在调API把论文PDF转成了md，打算按标题层级建树划分chunk做检索，但是md里面的噪声太多了，比如图片链接表格作者介绍等等，最重要的是有的论文转md部分标题没有标题格式没办法直接识别，佬友有什么好的划分或者清洗方法吗？
--【壹】--：
佬可以参考一下，下面的思路，用agent清洗，总结，校对流水线。然后做抽样人工校对。
把一堆乱七八糟的笔记，变成一个会自己生长的知识库-Karpathy 文档共建Karpathy 最近发了一篇文章，推上到处都在转发，推荐大家看一下 https://x.com/karpathy/status/2039805659525644595?s=20 大意是他在用 LLM 给自己建一个私人知识库，把你平常收藏的文章帖子统统扔进一个文件夹，然后让 AI 把它们整理成一个结构化的 wiki 先给大家介绍下这一套是怎么运行的： 佬们把平常收集到的帖子，文章直接爬下来直…