RAG.md

RAG

环境变量配置示例

PORT=8000 # llm related MODEL_NAME=qwen2 PROMPT_NAME=qwen2 MODEL_PATH=Qwen/Qwen1.5-14B-Chat-GPTQ # rag model related EMBEDDING_NAME=maidalun1020/bce-embedding-base_v1 RERANK_NAME=maidalun1020/bce-reranker-base_v1 # vllm related ENGINE=vllm TOKENIZE_MODE=auto GPU_MEMORY_UTILIZATION=0.8 TENSOR_PARALLEL_SIZE=1 DTYPE=auto TASKS=llm,rag

TASK 参数解释：

llm 表示启动对话大模型，rag 表示启动文档文档相关接口，比如embedding、rerank

相关接口说明文档

待完善

快速体验

启动模型服务之后

cd streamlit-demo

修改 .env 文件中的以下两个变量

CHAT_API_BASE # 聊天接口地址 EMBEDDING_API_BASE # 嵌入模型接口地址（可选）

启动前端

streamlit run streamlit_app.py