-
Notifications
You must be signed in to change notification settings - Fork 0
Expand file tree
/
Copy pathapi.py
More file actions
183 lines (159 loc) · 6.29 KB
/
api.py
File metadata and controls
183 lines (159 loc) · 6.29 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
# api.py
import os
from dotenv import load_dotenv
from fastapi import FastAPI, Query, HTTPException
from fastapi.middleware.cors import CORSMiddleware
from utils import BaseLogger
from chains import (
load_llm,
configure_llm_only_chain,
configure_qa_rag_chain,
generate_ticket,
load_embedding_model,
)
from langchain_community.graphs import Neo4jGraph
# Загрузка переменных окружения
load_dotenv(".env")
logger = BaseLogger()
# Конфиг LLM
ollama_base_url = os.getenv("OLLAMA_BASE_URL")
llm_name = os.getenv("LLM", "llama3") # fallback на llama3
llm = load_llm(llm_name, logger=logger, config={"ollama_base_url": ollama_base_url})
# Основная цепочка — только LLM с историей чата и милым стилем
llm_chain = configure_llm_only_chain(llm)
# === Конфигурация для RAG и генерации тикетов ===
neo4j_url = os.getenv("NEO4J_URL")
neo4j_username = os.getenv("NEO4J_USERNAME")
neo4j_password = os.getenv("NEO4J_PASSWORD")
embedding_model_name = os.getenv("EMBEDDING_MODEL", "ollama") # ollama, openai, etc.
if not all([neo4j_url, neo4j_username, neo4j_password]):
logger.logger.warning(
"Neo4j credentials not provided — RAG and ticket generation will be unavailable."
)
rag_chain = None
neo4j_graph = None
else:
try:
# Загружаем эмбеддинги (нужны для Neo4jVector)
embeddings, _ = load_embedding_model(
embedding_model_name,
logger=logger,
config={"ollama_base_url": ollama_base_url},
)
# RAG-цепочка с историей и источниками
rag_chain = configure_qa_rag_chain(
llm=llm,
embeddings=embeddings,
embeddings_store_url=neo4j_url,
username=neo4j_username,
password=neo4j_password,
)
# Граф для генерации тикетов (Neo4jGraph — лёгкий клиент для Cypher-запросов)
neo4j_graph = Neo4jGraph(
url=neo4j_url,
username=neo4j_username,
password=neo4j_password,
)
logger.logger.info("Neo4j connected — RAG and ticket generation enabled.")
except Exception as e:
logger.logger.error(f"Failed to initialize Neo4j/RAG: {e}")
rag_chain = None
neo4j_graph = None
# === FastAPI приложение ===
app = FastAPI(
title="Аниме-ассистентка с RAG по StackOverflow",
description="Милая ассистентка с поддержкой Ollama, RAG и генерации вопросов для SO ✨",
version="1.0",
)
app.add_middleware(
CORSMiddleware,
allow_origins=["*"],
allow_credentials=True,
allow_methods=["*"],
allow_headers=["*"],
)
@app.get("/")
async def root():
return {"message": "Приветик! Я твоя милая аниме-ассистентка! 😊✨"}
@app.get("/query")
async def ask(
text: str = Query(..., description="Вопрос пользователя"),
session_id: str = Query(
"default", description="ID сессии для сохранения истории чата"
),
):
"""
Простой чат с LLM (без RAG) — с историей и милым стилем.
"""
try:
result = llm_chain.invoke(
{"question": text}, config={"configurable": {"session_id": session_id}}
)
# result — строка (StrOutputParser в конце цепочки)
return {"result": result, "model": llm_name}
except Exception as e:
raise HTTPException(status_code=500, detail=str(e))
@app.get("/query_rag")
async def ask_rag(
text: str = Query(..., description="Вопрос пользователя"),
session_id: str = Query(
"default", description="ID сессии для истории (опционально в RAG)"
),
):
"""
RAG-режим: поиск по StackOverflow + ответ с источниками.
"""
if rag_chain is None:
raise HTTPException(
status_code=503,
detail="RAG не настроен: отсутствуют переменные окружения для Neo4j или ошибка подключения.",
)
try:
result = rag_chain.invoke(
{"question": text}, config={"configurable": {"session_id": session_id}}
)
# result — dict с ключами: 'answer', 'docs' и 'question'
answer = result.get("answer", "Не удалось получить ответ 😅")
return {
"result": answer,
"model": llm_name,
"sources": [
doc.metadata.get("source")
for doc in result.get("docs", [])
if doc.metadata.get("source")
],
}
except Exception as e:
raise HTTPException(status_code=500, detail=str(e))
@app.get("/generate_ticket")
async def gen_ticket(
question: str = Query(
..., description="Исходный вопрос пользователя для переформулировки"
),
session_id: str = Query(
"ticket_gen", description="Фиксированная сессия для генерации тикетов"
),
):
"""
Генерация нового вопроса в стиле высокооценённых вопросов StackOverflow.
"""
if neo4j_graph is None:
raise HTTPException(
status_code=503,
detail="Генерация тикетов недоступна: нет подключения к Neo4j.",
)
try:
new_title, new_question = generate_ticket(
neo4j_graph=neo4j_graph,
llm_chain=llm_chain,
input_question=question,
session_id=session_id, # можно оставить default, история не критична
)
return {"title": new_title, "question": new_question, "model": llm_name}
except Exception as e:
raise HTTPException(
status_code=500, detail=f"Ошибка генерации тикета: {str(e)}"
)
@app.get("/health")
async def health():
return {"status": "ok", "llm": llm_name, "rag_available": rag_chain is not None}