Accéléré par le GPU, sur le GPU que tu as déjà.
Faire tourner des modèles en local rime d'habitude avec un projet de configuration : un toolkit CUDA, un environnement Python, une version de pilote qui doit correspondre. privstory est une application native avec l'accélération intégrée au téléchargement. Installe-la, et elle utilise ce que ta machine possède.
Un installeur par plateforme, aucun toolkit
Sur macOS, Apple Silicon utilise automatiquement le backend Metal. Il n'y a rien à sélectionner ni rien à installer à côté.
Sous Windows et Linux, les builds utilisent Vulkan, qui couvre les GPU NVIDIA, AMD, Intel et intégrés depuis le même installeur. Il n'y a pas de build CUDA séparé à choisir ni de toolkit de pilote à configurer. Si aucun GPU utilisable n'est trouvé, l'application se replie sur le CPU au lieu de refuser de démarrer.
De combien de mémoire tu as vraiment besoin
Il n'y a pas de chiffre unique, parce que privstory ne fournit pas les modèles. Un module apporte son propre modèle de chat et son modèle d'image, donc le besoin est celui des modèles de ce module. Un petit module tourne confortablement sur un matériel modeste ; un grand veut beaucoup de VRAM.
Le détail utile, c'est que les deux modèles ne sont jamais en mémoire en même temps. La mémoire de pointe est fixée par le plus grand du modèle de chat et du modèle d'image, pas par leur somme, c'est ce qui rend un module à deux gros modèles jouable sur un seul GPU de milieu de gamme.
À quoi ressemblent les performances
La génération de texte est la moitié la plus légère. Sur un Mac Apple Silicon récent ou un GPU dédié, les réponses arrivent à peu près au rythme de lecture, moment à partir duquel la conversation semble vivante plutôt que traitée par lots.
La génération d'images est la moitié la plus lourde et le test le plus clair de ton matériel. Sur un GPU capable, un portrait ou un décor arrive en quelques secondes. Sur un graphique intégré, c'est nettement plus long, et en repli CPU c'est lent, utilisable pour essayer l'application, mais pas comparable à ce que c'est sur un GPU.
Rien n'est déchargé vers nous
Il n'y a pas de mode hybride où le travail difficile part discrètement vers un serveur. Chaque jeton et chaque pixel est calculé sur ta machine, ce qui rend la confidentialité et l'absence de limites d'usage possibles tout court.
La conséquence mérite d'être dite clairement : ton matériel est le plafond de performance. C'est l'échange que tu fais pour un chat sans facturation, sans compte et sans données qui quittent l'appareil.
Questions fréquentes.
Faut-il un GPU NVIDIA sous Windows ou Linux ?
Non. Chaque téléchargement est accéléré par le GPU d'origine. macOS utilise Metal ; les builds Windows et Linux utilisent Vulkan, donc les GPU NVIDIA, AMD, Intel et intégrés sont tous pris en charge par le même installeur, sans build séparé ni toolkit de pilote. L'application se replie sur le CPU si elle ne trouve pas de GPU utilisable.
De combien de VRAM ai-je besoin ?
Cela dépend du module, puisque le module fournit les deux modèles. Comme le modèle de chat et le modèle d'image ne sont jamais en mémoire en même temps, tu as besoin d'assez pour le plus grand des deux, pas pour les deux réunis.
Ça tourne sans GPU du tout ?
Oui, avec un repli CPU. La génération de texte est tolérable ; la génération d'images est lente. C'est une façon d'essayer l'application plutôt que l'expérience pour laquelle elle est faite.
Quelque chose tourne-t-il sur un serveur pour des raisons de performance ?
Non. Il n'y a aucun déchargement d'aucune sorte. Le seul accès réseau est le téléchargement unique du modèle et, si tu saisis une clé de licence, une vérification de licence légère.