T.J. Project 03 of 05项目 03 / 05 / Selected Work · 2026精选项目 · 2026 / EN · 中文 Index ↩返回首页 ↩
Back to index返回首页
Project · 03 / 05项目 · 03 / 05

Multi-LLM
RAG SaaS Platform

多 LLM
RAG SaaS 平台

01 · Overview01 · 概述 Why为什么

A freemium RAG platform with image-text hybrid retrieval and dual-market pricing (China + overseas). Built around bge-m3, Milvus, and a pluggable multi-provider LLM router. I author the Python AI service layer end-to-end.

图文混合检索 的 Freemium RAG 平台,中国 + 海外双市场定价。基于 bge-m3、Milvus,以及一个可插拔的多 provider LLM 路由。Python AI 服务层我独立完成。

The product bet: most RAG offerings ship a single embedding model and a single LLM. This one lets teams hot-swap providers, blend text with image retrieval, and run the whole thing on their own compute when compliance demands it.

产品思路:多数 RAG 产品只给一个 embedding + 一个 LLM。这个可以随时切 provider、把文本和图像一起检,合规要求时可以整套跑在客户自己的机器上。

LangChain/ Milvus/ bge-m3/ Go · Python/ SaaS
03 · Details03 · 细节 How怎么做

Retrieval检索

  • Embeddingsbge-m3 · CLIP
  • Vector storeMilvus
  • StrategyHybrid text + image
  • RerankingCross-encoder
  • Embeddingbge-m3 · CLIP
  • 向量库Milvus
  • 策略文 + 图混检
  • 重排Cross-encoder

Models模型

  • RouterMulti-provider LLM
  • OpenQwen2.5 · DeepSeek · LoRA
  • ClosedClaude · GPT series
  • ServingvLLM · LM Studio
  • 路由多 provider LLM
  • 开源Qwen2.5 · DeepSeek · LoRA
  • 闭源Claude · GPT 系列
  • 部署vLLM · LM Studio

Platform平台

  • ServicePython AI layer
  • APIFastAPI · gRPC bridge
  • MarketsCN + overseas, dual pricing
  • Self-hostDocker Compose
  • 服务Python AI 层
  • APIFastAPI · gRPC 桥
  • 市场国内 + 海外,双定价
  • 私有化Docker Compose