Agent IA + Home Assistant : une intégration réaliste

Le paysage Home Assistant en 2026

Home Assistant embarque déjà ses propres agents de conversation. Depuis la version de septembre 2025 "AI in Home Assistant", vous pouvez brancher OpenAI, Anthropic, Google ou un serveur Ollama local directement sur le pipeline Assist et lui faire piloter vos équipements, écrire des automatisations et répondre aux questions sur votre maison. Si vous avez suivi le sujet cette année, le grand changement, c'est que de petits modèles avec function-calling comme Qwen3 8B gèrent désormais ces appels d'outils de façon fiable sur un mini PC, donc toute la boucle peut rester locale.

Cela couvre une bonne partie de ce que les gens cherchent quand ils tapent "ai agent home assistant integration". Pas tout. Ce que Home Assistant ne vous donne pas d'origine, c'est un agent persistant, piloté par messages, qui vit hors de la maison, se souvient de choses d'une saison à l'autre, exécute des contrôles programmés et vous joint sur votre téléphone quand personne n'est devant un panneau mural. C'est là qu'un agent externe, relié en MCP, prend tout son sens.

Ce que les agents embarqués font bien

Avant d'ajouter quoi que ce soit, comprenez ce que vous avez déjà. Le pipeline Assist de Home Assistant est la couche de routage : micro à l'entrée, action à la sortie. Vous y branchez un agent de conversation, et cet agent décide comment une commande vocale devient un appel de service.

Les chemins actuellement pris en charge :

Intégrations de conversation OpenAI, Anthropic, Google - modèle dans le cloud, rapide, bon tool-calling. Votre voix et votre texte partent chez le fournisseur.
Intégration Ollama - pointe vers un serveur Ollama local. En 2026, c'est viable en production pour les foyers avec un mini PC ou un NUC. Qwen3 8B est le sweet spot actuel pour la latence de tool-calling.
Local LLM Conversation - un client générique compatible OpenAI. Utile si vous auto-hébergez autre chose qu'Ollama (llama.cpp, vLLM, LM Studio).

Chacun des trois suffit pour le cas de base : "éteins les lumières de la cuisine", "règle le thermostat sur 20", "la porte du garage est-elle ouverte ?" Vous n'avez pas besoin d'Hermes pour ça. Si votre but est un assistant vocal privé à la maison qui parle à vos équipements, choisissez la voie Ollama et arrêtez la lecture ici.

Où les agents embarqués s'arrêtent

Les agents embarqués sont, par conception, à portée limitée : ils répondent, ils agissent, puis ils attendent la prochaine phrase. Ce modèle craque sur trois points.

Pas de contexte persistant dans le temps. Demandez à Assist "combien on a dépensé en électricité le mois dernier", il regardera ce que le contexte actuel lui permet de voir. Il ne se souvient pas que le mois dernier vous lui aviez demandé de faire baisser la conso en veille, ni que vous avez changé le frigo en avril. Chaque session repart de zéro.
Pas de calendrier proactif. Le pipeline Assist est réactif. Vous pouvez bâtir des automatisations classiques par déclencheurs et rédiger des automatisations écrites par un LLM avec le bouton Suggest, mais vous ne pouvez pas demander facilement à un agent "chaque dimanche matin, regarde les données d'énergie de la semaine, dis-moi quels appareils ont tourné le plus longtemps et signale-moi tout ce qui sort de l'ordinaire". C'est du travail d'agent, pas d'automatisation.
Pas de surface conversationnelle hors de la maison. Assist vit dans l'app et sur le matériel Voice. Si vous voulez vérifier la chaudière depuis le bureau, ou demander à un agent de préparer un résumé hebdo et vous l'envoyer par messagerie, vous quittez entièrement la surface Home Assistant.

Ces manques ne sont pas des bugs. C'est ce qu'il arrive quand un agent de conversation est conçu pour être une couche de contrôle, pas un copilote.

Le pont MCP qui a changé la donne

L'intégration Model Context Protocol livrée par Home Assistant en 2025 est la pièce manquante. Home Assistant fait maintenant tourner un serveur MCP intégré qui expose vos appareils, états, zones et intents d'Assist comme outils MCP. N'importe quel agent compatible MCP peut se connecter à ce serveur et contrôler votre maison avec les mêmes primitives qu'Assist.

C'est le détail qui débloque un vrai agent externe. Au lieu d'écrire une intégration Home Assistant dédiée pour chaque produit d'IA, vous pointez un agent MCP sur l'URL de votre Home Assistant, vous lui remettez un jeton d'accès longue durée, et il hérite de tout le toolset d'Assist. Le serveur MCP de Home Assistant expose déjà de l'ordre de 95 outils et plus, couvrant lumières, climat, sécurité, média, capteurs et scènes.

Si vous avez déjà utilisé Hermes Agent avec MCP pour GitHub ou Slack, le modèle mental est identique ici. La maison n'est qu'un serveur MCP de plus.

Où un agent externe comme Hermes trouve sa place

Un agent externe ne remplace pas Home Assistant. Home Assistant reste maître des appareils, de l'état et du matériel physique ; c'est là qu'il excelle. L'agent externe s'assoit par-dessus et prend en charge les morceaux pour lesquels Assist n'a pas été conçu : mémoire d'une session à l'autre, réflexion programmée et une surface de chat qui vous suit hors des murs.

Concrètement, une configuration recommandée :

Home Assistant sur un Raspberry Pi, un NUC ou votre homelab existant. Il fait tourner le serveur MCP (intégration mcp_server) et reste propriétaire des automatisations et dashboards.
Hermes Agent sur un VPS à 5 $, sur le même hôte homelab, ou en instance gérée par Hermify. Configuré avec le serveur MCP de Home Assistant comme l'une de ses sources d'outils.
Telegram comme surface conversationnelle. Vous parlez à Hermes ; Hermes parle à Home Assistant.

Avec cette forme, trois choses deviennent faciles là où c'était pénible :

Mémoire persistante de la maison. Hermes garde des fichiers de mémoire style USER.md avec des faits que vous lui avez racontés une fois : "le frigo est un Bosch KGN, remplacé en avril 2026", "consigne d'été 24, hiver 20", "les enfants se couchent à 20:30 en semaine d'école". Assist oublie ça entre deux appels. Hermes retient.
Contrôles programmés avec un vrai raisonnement. "Chaque dimanche à 10 h, résume la conso d'énergie de la semaine passée, indique-moi les trois appareils les plus utilisés en heures, et signale ce qui dépasse la base du mois précédent." Home Assistant déclenche le calendrier, Hermes raisonne sur les données via des appels MCP, et le résultat arrive dans Telegram.
Surface de chat en dehors de la maison. Vous êtes en réunion, quelqu'un demande si les lumières du bureau sont toujours allumées. Demandez à Hermes. Il interroge le serveur MCP de Home Assistant, récupère l'état et répond. Dans le même fil Telegram que vous utilisez pour le reste de la journée.

Quand choisir chaque voie

Choisissez-en une honnêtement. Ajouter un agent externe quand Assist suffit ne fait que multiplier les pièces mobiles.

Uniquement du contrôle vocal local des appareils, privé et rapide ? Ollama + Assist. Terminé.
Contrôle vocal local plus automatisations pilotées par le calendrier ? Assist + les automatisations classiques de Home Assistant, pas besoin d'agent externe. Servez-vous du bouton Suggest à la rédaction.
Contrôle vocal local, mémoire persistante, surface de chat externe et raisonnement programmé ? Assist pour la boucle wake-word, Hermes en MCP pour le reste. C'est le montage de ce billet.
Pas de matériel wake-word, surtout du chat, mais vous voulez encore piloter les appareils ? Vous pouvez sauter tout le pan wake-word et tout faire passer par Hermes sur Telegram. Vous demandez, ça se fait, réponse.

Pour le choix plus profond entre auto-héberger Hermes soi-même ou laisser Hermify le gérer, on a déjà décomposé le sujet dans Hermes Agent auto-hébergé vs géré. Rien de l'intégration Home Assistant ne change ce compromis. La configuration MCP est la même dans les deux cas.

Un croquis du câblage

L'installation complète est documentée par composant, mais la forme du config est assez courte pour l'inclure ici, histoire de voir ce que veut vraiment dire "brancher Hermes à votre maison".

Côté Home Assistant, activez l'intégration du serveur MCP et générez un jeton d'accès longue durée. Vous obtenez un endpoint MCP à joindre et un bearer token.

Côté Hermes, ajoutez le serveur MCP de Home Assistant à la configuration de votre agent :

{
  "mcpServers": {
    "home-assistant": {
      "url": "https://ha.votre-domaine.tld/mcp_server/sse",
      "headers": {
        "Authorization": "Bearer <jeton-longue-duree>"
      }
    }
  }
}

Redémarrez l'agent. Il inspecte le serveur, apprend les noms de vos appareils et les ajoute à sa liste d'outils. Au prochain message Telegram, "éteins la lumière du porche" devient un vrai appel de service Home Assistant, exécuté avec les mêmes permissions qu'Assist.

La surface de sécurité est la surface MCP standard : le jeton est puissant, gardez-le hors du contrôle de version, placez l'URL de Home Assistant derrière un reverse proxy ou Tailscale plutôt que de l'exposer à internet. Si vous voulez une version de bout en bout du chemin en réseau privé, notre walkthrough d'assistant privé auto-hébergé déroule ce schéma pour Hermes en général.

Ce que ça ne fait pas

Les limites honnêtes, avant de vous engager :

Ça ne remplace pas Home Assistant. Pas de dashboards, pas de stack ZigBee, pas de blueprints embarqués. Tout ça reste.
Ce n'est pas un pipeline vocal en temps réel dans la pièce. L'écoute ambiante avec wake-word reste l'affaire d'Assist et de votre matériel vocal. Hermes est chat d'abord, avec voix optionnelle sur Telegram, pas un remplaçant de panneau mural.
Ça n'élimine pas totalement le cloud si vous utilisez un LLM hébergé pour Hermes. Les appels MCP restent dans votre réseau, mais si vous pointez Hermes sur OpenRouter ou un fournisseur de modèle similaire, le raisonnement se passe hors de la maison. Pour tout garder en local, faites tourner Hermes avec un fournisseur de modèle basé sur Ollama et le stack devient entièrement local.

Par où continuer

Si vous voulez tester la configuration de bout en bout et vous passer de la maintenance serveur, commencez avec Hermify. Vous obtenez un Hermes Agent géré sur Telegram, vous branchez le serveur MCP de Home Assistant, et le reste, c'est une conversation. Si vous préférez faire tourner tout le stack vous-même, le même câblage MCP fonctionne en local ; seule décision restante : voulez-vous aussi qu'Hermify s'occupe du côté VPS pour vous.

Dans les deux cas, la séparation utile est la même : Home Assistant reste la source de vérité de votre maison, et l'agent IA vit une couche au-dessus, là où mémoire, calendrier et conversation ont vraiment leur place.