wdoc

wdoc是Olicorne（一位医学生）开发的RAG系统，专注于利用检索增强生成技术来应对文档查询与总结的挑战。该系统兼容多种文件格式（例如PDF、网页、YouTube视频等），并整合了多种语言模型，以提供精准且全面的查询结果。wdoc的核心优势涵盖广泛的文件类型支持、卓越的检索效率及高度的可扩展性。它特别适用于研究人员、学生和专业人员，帮助他们高效处理海量信息。wdoc目前仍在持续开发中，开发者鼓励用户提供反馈和功能建议，以便进一步优化产品。

适用对象：

wdoc非常适合那些需要处理大量且多样化文档的研究人员、学生和专业人士。它能够快速检索并总结信息，从而帮助用户节省时间、提升工作效率。对于需要处理多种文件类型（如PDF、网页、音频、视频等）的用户，wdoc是一款强大的工具，尤其适用于需要在不同文件类型间进行查询和总结的场景。

应用场景示例：

用户可以利用wdoc迅速查询PDF文件中的特定内容，并获取详尽答案。

使用wdoc对YouTube视频进行总结，提取关键信息并以Markdown格式生成总结。

将wdoc应用于个人知识库（如Anki卡片），以便快速检索和总结卡片内容。

产品亮点：

支持15种以上的文件类型（如PDF、网页、YouTube视频等），并能够同时查询多种文件类型。

借助LangChain处理文档，支持超过100种语言模型，包括本地及私有大型语言模型。

采用先进的RAG技术，通过嵌入式检索和语义聚类生成高质量答案。

提供强大的总结功能，将文档的推理过程和论点压缩为易于阅读的Markdown格式。

支持本地和私有模式，确保数据安全，防止信息泄露。

支持多种任务，如查询、搜索、总结以及总结后的查询。

提供详尽的文档和命令行帮助，方便用户快速上手。

具备强大的可扩展性，支持作为工具或库集成至其他项目中。

使用指南：

1. 安装wdoc：使用pip安装wdoc，例如`pip install wdoc`。

2. 设置环境变量：将所选语言模型的API密钥添加为环境变量。

3. 启动wdoc：运行`wdoc –task=query –path=文档路径 –filetype=文件类型`进行查询。

4. 使用总结功能：运行`wdoc –task=summarize –path=文档路径 –filetype=文件类型`生成总结。

5. 保存和加载索引：使用`–save_embeds_as`保存索引，使用`–load_embeds_from`加载索引以加快查询速度。

6. 利用高级功能：结合`–query_retrievers`和`–top_k`等参数优化查询效果。

7. 查看帮助文档：运行`wdoc –help`以获取详细的命令和参数说明。