fix(ai): amélioration de !useLLM avec la possibilité d'utiliser l'option !noStream pour ne pas streamer la réponse du LLM, mais l'afficher d'un coup

Author: eyssette

app/js/ai/getAnswerFromLLM.mjs

@@ -48,11 +48,18 @@ export function getAnswerFromLLM(chatbot, userPrompt, options) {
 	let messageElement = options && options.messageElement;
 	let container = options && options.container;
 	const inline = options && options.inline;
+	let shouldStreamLLMresponse = true;
+	if (
+		yaml.useLLM.stream === false ||
+		(options && options.shouldStreamLLMresponse === false)
+	) {
+		shouldStreamLLMresponse = false;
+	}
 	return new Promise((resolve) => {
 		// Configuration de l'accès au LLM
 		let bodyObject = {
 			model: yaml.useLLM.model,
-			stream: yaml.useLLM.stream === false ? false : true,
+			stream: shouldStreamLLMresponse,
 			max_tokens: yaml.useLLM.maxTokens,
 			frequency_penalty: 0,
 			presence_penalty: 0,
@@ -122,39 +129,40 @@ export function getAnswerFromLLM(chatbot, userPrompt, options) {
 							messageElement.classList.add("bot-message");
 						}
 						container.appendChild(messageElement);
-						readStreamFromLLM(response.body, messageElement, APItype).then(
-							() => {
-								const llmAnswer = messageElement.innerHTML;
-								llmHistory.push({ role: "user", content: userMessage });
-								llmHistory.push({ role: "assistant", content: llmAnswer });
-								if (!inline) {
-									// On récupère le contenu de la question posée au LLM
-									let actionsLatest = chatbot.actions.pop();
-									if (actionsLatest.startsWith("c:n")) {
-										actionsLatest = chatbot.actions.pop();
-									}
-									actionsLatest = encodeString(
-										actionsLatest.replace(/^e:/, ""),
-									);
-									const actionsHistory = chatbot.actions.join(`|`);
-									const actionLlmQuestion = `llmq:${actionsLatest}`;
-									// On récupère le contenu de la réponse générée par le LLM
-									const actionLlmAnswer = `llmr:${encodeString(llmAnswer)}`;
-									// On met cette question et cette réponse dans l'historique des actions
-									chatbot.actions.push(actionLlmQuestion);
-									chatbot.actions.push(actionLlmAnswer);
-									// Et dans le bouton de menu du message
-									const actionsPrefix = actionsHistory
-										? `${actionsHistory}|`
-										: "";
-									const messageMenu = `<div class="messageMenu" data-actions-history="${actionsPrefix}${actionLlmQuestion}|${llmAnswer}">☰</div>`;
-									const messageMenuElement = document.createElement("div");
-									messageMenuElement.innerHTML = messageMenu;
-									messageElement.appendChild(messageMenuElement);
+						readStreamFromLLM(
+							response.body,
+							messageElement,
+							APItype,
+							options,
+						).then(() => {
+							const llmAnswer = messageElement.innerHTML;
+							llmHistory.push({ role: "user", content: userMessage });
+							llmHistory.push({ role: "assistant", content: llmAnswer });
+							if (!inline) {
+								// On récupère le contenu de la question posée au LLM
+								let actionsLatest = chatbot.actions.pop();
+								if (actionsLatest.startsWith("c:n")) {
+									actionsLatest = chatbot.actions.pop();
 								}
-								resolve();
-							},
-						);
+								actionsLatest = encodeString(actionsLatest.replace(/^e:/, ""));
+								const actionsHistory = chatbot.actions.join(`|`);
+								const actionLlmQuestion = `llmq:${actionsLatest}`;
+								// On récupère le contenu de la réponse générée par le LLM
+								const actionLlmAnswer = `llmr:${encodeString(llmAnswer)}`;
+								// On met cette question et cette réponse dans l'historique des actions
+								chatbot.actions.push(actionLlmQuestion);
+								chatbot.actions.push(actionLlmAnswer);
+								// Et dans le bouton de menu du message
+								const actionsPrefix = actionsHistory
+									? `${actionsHistory}|`
+									: "";
+								const messageMenu = `<div class="messageMenu" data-actions-history="${actionsPrefix}${actionLlmQuestion}|${llmAnswer}">☰</div>`;
+								const messageMenuElement = document.createElement("div");
+								messageMenuElement.innerHTML = messageMenu;
+								messageElement.appendChild(messageMenuElement);
+							}
+							resolve();
+						});
 					} else {
 						errorMessage({ container, inline });
 						resolve();

app/js/ai/helpers/readStream.mjs

@@ -74,6 +74,7 @@ export async function readStreamFromLLM(
 	streamableObject,
 	chatMessage,
 	APItype,
+	options,
 ) {
 	let incompleteChunkBuffer = "";
 	const LLM_MAX_PROCESSING_TIME = yaml.useLLM.maxProcessingTime;
@@ -107,8 +108,13 @@ export async function readStreamFromLLM(
 		if (value) {
 			const chunkString = new TextDecoder().decode(value);
 
-			const isStreamMode =
-				yaml.useLLM && yaml.useLLM.stream === false ? false : true;
+			let isStreamMode = true;
+			if (
+				(yaml.useLLM && yaml.useLLM.stream === false) ||
+				(options && options.shouldStreamLLMresponse === false)
+			) {
+				isStreamMode = false;
+			}
 			const shouldSimulateStream =
 				yaml.useLLM && yaml.useLLM.simulateStream === true;
 

app/js/markdown/custom/directives/useLLM/processMessageWithPrompt.mjs

@@ -40,6 +40,7 @@ export async function processMessageWithPrompt(
 				let RAGprompt = "";
 				// Gestion de l'historique des échanges avec le LLM
 				let shouldUseConversationHistory = false;
+				let shouldStreamLLMresponse = true;
 				if (content.includes("!useHistory")) {
 					shouldUseConversationHistory = true;
 					content = content.replace("!useHistory", "");
@@ -51,6 +52,10 @@ export async function processMessageWithPrompt(
 					RAGinformations = promptWithRag.RAGinformations;
 					RAGprompt = promptWithRag.RAGprompt;
 				}
+				if (content.includes("!noStream")) {
+					shouldStreamLLMresponse = false;
+					content = content.replace("!noStream", "");
+				}
 
 				// On vérifie si l'élément précédent dans la séquence se finit par un élément html ouvert qui n'a pas été encore fermé
 				const previousSection = sequence[i - 1];
@@ -69,6 +74,7 @@ export async function processMessageWithPrompt(
 					container: container,
 					inline: true,
 					useConversationHistory: shouldUseConversationHistory,
+					shouldStreamLLMresponse: shouldStreamLLMresponse,
 				});
 			} else if (type === "markdown") {
 				// Traitement des blocs conditionnels qui restent à interpréter au moment de l'affichage du message