我在八月忙碌的是，製作台股、美股財報 RAG 產品雛形，增加自己的企業級隱私產品開發經驗，自己使用，也探索本機模型的能力發展到什麼程度。它內建向量搜尋資料的能力，也提供問答介面，Repo 放在 GitHub，歡迎試用，須具備自行除錯和輸入指令的能力。

因為是本機運作，所以你需要有:

1. 至少 6G RAM 顯示卡
2. LM studio軟體
3. Python 3.13 運作環境，並執行指令: pip install -r requirements.txt
4. LM studio 啟動本機server API 溝通介面
5. 至少是 Gemma4-E2B 大語言模型
6. 公司每一季財報 pdf 檔案，並且使用 financial_ingestion_advanced.py 檔案執行，財報名稱建議是 股票代號_年度第幾季 的格式，例如 2330_25Q4.pdf，請查看檔案 financial_ingestion_advanced.py 的最後幾行去設定。

啟用對話介面的指令是 chainlit run app.py -w

我問雲端 LLM 服務很多輪，RAG現階段我實作的功能有:

1. 文件檔案內容向量化，以及向量化策略 fallback。請自行使用 financial_ingestion_advanced.py ，將財報 pdf 檔案向量化與儲存到資料庫。
2. 指代主體解析，包含別名轉換
3. 拆解查詢內容，判斷是單一和跨公司
4. 檢索資料，以及檢索 fallback 策略
5. 組合回答並適度產生表格
6. RAGAS 評估回答52題內容(top_k=5, 10)品質，Qwen 模型作裁判，數據內容請看 GitHub repo
7. 多輪對話

架構圖是

未來預計增加 Agentic RAG 功能。