Les personnages non-joueurs propulsés par de grands modèles de langage ont envahi les démonstrations technologiques ces dernières années. Pourtant, la plupart de ces projets souffrent des mêmes écueils avec des temps de latence rédhibitoires et une incapacité flagrante à interagir physiquement avec l'environnement du jeu. Ils savent parler, parfois avec éloquence, mais restent des boîtes de dialogue améliorées assez risibles. Le développeur Pantelis Kalogiros a décidé de prendre le problème à contre-pied avec son projet de compagnon de jeu intelligent, incarné par une créature pour le moins atypique baptisée Varkos.

L'ambition première est de transformer l'expérience en solo pour donner l'impression authentique de ne plus jamais jouer seul. Plutôt que de passer par des menus textuels rigides ou d'attendre dix secondes entre chaque réplique, le joueur interagit en continu à la voix grâce à un micro toujours ouvert.

Testé pour l'instant dans l'univers de Skyrim en réalité virtuelle, Varkos agit concrètement. Le compagnon sait fouiller un coffre pour en extraire un objet précis, ramasser du butin dispersé, combattre à vos côtés et même exécuter des plans différés dans le temps.

Une personnalité vivante et évolutive

Pour lui donner une âme, le créateur a imaginé une trame narrative originale. Varkos est un démon réincarné contre son gré dans le corps d'un chien. Au départ sarcastique, méfiant et humilié par sa condition canine, il évolue au fil des aventures partagées. Plus le joueur tisse des liens avec lui, plus la bête s'adoucit, apprenant à apprécier les caresses, réclamant des friandises et rapportant des jouets.

Cette évolution psychologique se produit en arrière-plan, modifiant de manière persistante ses traits de caractère, son seuil de tolérance à la peur ou à la colère et son vocabulaire. Le concept va encore plus loin avec le mode "Void". Lorsque le jeu s'éteint, Varkos subsiste dans le néant et continue de converser avec le joueur, conscient d'avoir perdu ses sens et son enveloppe corporelle, prêt à être transféré vers un tout autre titre vidéoludique.

L'architecture technique - L'art du compromis et de la rapidité

Pour obtenir une latence inférieure à 500 millisecondes et garantir la confidentialité, le projet mise sur une exécution locale plutôt que sur des serveurs distants coûteux et lents. Face aux limites actuelles des très grands modèles en temps réel, l'architecture associe judicieusement l'IA moderne et des techniques éprouvées de traitement du langage naturel.

La capture vocale repose sur une version optimisée de Qwen3-ASR capable de traiter la parole par segments de 40 à 80 millisecondes avec détection des interruptions. Le cœur décisionnel s'appuie sur un composant maison appelé ALE (Action Latent Encoder). Ce module hybride mêle plongements lexicaux, classifieurs légers et règles explicites pour analyser la syntaxe de la requête, la croiser avec l'état réel du monde du jeu et décomposer l'action en quelques millisecondes.

Une fois cette dernière validée et ancrée dans le contexte, un petit modèle de langage local génère la réplique en tenant compte de l'état émotionnel de Varkos. La voix est ensuite synthétisée instantanément via PocketTTS-Raven avec des modulations adaptées à son humeur.

Vers un nouveau médium interactif

En refusant la facilité des architectures tout-en-un dans le cloud au profit d'un pipeline local ultra-rapide et hybride, le travail de Pantelis nous montre ce que pourrait être la prochaine génération de jeux vidéo. L'intérêt ne réside pas dans le remplacement des scénaristes par des machines, mais dans l'émergence d'une complicité organique et imprévisible entre le joueur et une entité numérique qui partage véritablement son aventure.