Tâches pour un LLM local
Un petit service devant le LLM qui roule sur mon propre GPU : les autres applications appellent une tâche par son nom et reçoivent une décision, un document JSON ou du texte, sans rien savoir des prompts ni des modèles.
Plusieurs de mes applications ont besoin d’un peu de jugement d’un modèle de langage : classer ceci, sortir une date de cela. Au lieu que chacune ait son propre prompt, elles passent toutes par ce service, appelé camel. Il est devant Ollama (le logiciel qui fait rouler le modèle) sur un GPU à la maison.
Une tâche, c’est un prompt enregistré et la forme de la réponse : un choix dans une liste, un document JSON qui suit un schéma, ou du texte libre. Le modèle est tenu à cette forme : même un petit modèle ne peut pas partir dans tous les sens, et l’application qui appelle reçoit toujours quelque chose qu’elle peut lire. Elle n’envoie que ses données et un token. Le prompt et le modèle restent dans camel, et chaque changement à une tâche est gardé, donc je peux revenir à une version plus ancienne.
Un assistant d’IA peut aussi écrire et ajuster des tâches par le serveur MCP de camel (MCP, c’est le protocole qu’utilisent les assistants d’IA pour appeler des outils externes). Il essaie une tâche sur de vrais exemples et l’ajuste jusqu’à ce que les réponses soient bonnes. Je lis les réponses moi-même, pas seulement si elles sont bien formées.