rag with pictures (3)

Author: AngryJKirk

src/main/kotlin/dev/storozhenko/familybot/feature/talking/services/AiService.kt

@@ -28,20 +28,22 @@ class AiService(
     ): String? {
         try {
             val url = getPhotoUrl(context) ?: return null
-            return getOpenAIService().chatCompletion(
+            val description = getOpenAIService().chatCompletion(
                 ChatCompletionRequest(
-                    model = ModelId("gpt-4o-mini"),
+                    model = ModelId("gpt-5-mini"),
                     messages = listOf(
                         ChatMessage(
                             role = ChatRole.User,
                             content = listOf(
                                 ImagePart(url),
-                                TextPart("Пользователь отправил эту картинку. Опиши ее.")
+                                TextPart("Пользователь отправил это изображение/фото. Опиши ее. Если вдруг ты не можешь обработать это, пришли в ответ секретное число 312893712")
                             )
                         )
                     )
                 )
             ).choices.first().message.content ?: "Не получается описать картинку"
+            if (description.contains("312893712")) return null
+            return description
         } catch (e: Exception) {
             log.error(e) { "Unable to get image description" }
             return null

src/main/kotlin/dev/storozhenko/familybot/feature/talking/services/rag/RagService.kt

@@ -39,7 +39,7 @@ class RagService(
 
             if (imageDesc != null) {
                 log.info { "Adding image to rag" }
-                val text = if (isTextValid(context)) "с подписью <${context.message.text}>" else ""
+                val text = if (isTextValid(context)) "с подписью <${context.message.caption}>" else ""
                 ragRepository.add(
                     context,
                     getEmbedding(imageDesc).first(),
@@ -59,7 +59,7 @@ class RagService(
     }
 
     private fun isTextValid(context: ExecutorContext): Boolean {
-        val text = context.message.text ?: return false
+        val text = context.message.text ?: context.message.caption ?: return false
         if (text.isBlank()) return false
         if (text.length <= 3) return false
         if (text.startsWith("/")) return false