IA : NVidia

Nvidia Corporation est une entreprise américaine spécialisée dans la conception de processeurs graphiques, de cartes graphiques et de puces graphiques pour PC et consoles de jeux (Xbox, PlayStation 3, Nintendo Switch). Son siège est à Santa Clara en Californie.

Nvidia est une société de type « fabless », c’est-à-dire qu’elle conçoit ses puces dans ses centres de recherches, mais qu’elle sous-traite leur production à d’autres sociétés de semi-conducteurs.

L’entreprise conçoit principalement des circuits graphiques allant du modèle pour netbook aux puissants modèles destinés aux gamers (GeForce), voire au monde professionnel (Nvidia Quadro et autres). Pour prouver la qualité et la puissances de ses cartes graphiques, l’entreprise met à disposition de outils et des exemples.

NVidia tente de racheter ARM, ce qui provoque des inquiétudes chez les clients actuels d’ARM. Pour information, un article publié sur Les Echos le 13 avril 2021 par Florian Dèbes : Nvidia déclenche l’offensive contre Intel

La demande d’enquête du gouvernement britannique : Proposed acquisition of ARM Limited by NVIDIA Corporation

Porté par l’IA générative, Nvidia dépasse Intel pour la première fois de son histoire

« https://www.gov.uk/government/publications/proposed-acquisition-of-arm-limited-by-nvidia-corporation-public-interest-intervention

L’entreprise Nvidia propose une IA capable de créer des vidéos qui ressemblent à s’y méprendre à la réalité … sans l’être.

Comment passer de l’hiver à l’été !

Sur la gauche : la vidéo source
Sur la droite : le résultat

Si vous ne savez pas dessiner, ce n’est pas grave.
Avec ce service Nvidia il vous suffira de tracer quelques lignes pour qu’une intelligence artificielle soit capable de créer une image quasi parfaite.
Cet outil, baptisé GauGan est capable de transformer un simple croquis dessiné en une véritable image réaliste. Le logiciel peut transformer en quelques clics de simples lignes dessinées en une image que l’on pourrait confondre avec une photo, c’est bluffant.

Démarré comme projet interne le résultat fut si fabuleux que l’entreprise le propose en ligne : GauGan

GauGAN est multimodal. Concrètement, cela signifie que si deux utilisateurs créent une même esquisse en utilisant les mêmes paramètres, les algorithmes qui régissent l’outil feront que les résultats proposés par GauGAN seront différents.

Ce nouvel outil peut être utilisé dans le domaine des jeux vidéo. Les concepteurs pourraient s’en servir pour imaginer des environnements immersifs.

Demain, ce sont les intelligences artificielles qui créeront les jeux vidéo ! Les chercheurs de Nvidia ont mis au point une IA qui a pu reproduire le mythique jeu Pac Man, simplement… en regardant des parties.

Regarder et recréer

Le modèle sur lequel l’intelligence artificielle s’est appuyé pour recréer le jeu a été entraîné en « regardant » des parties de Pac Man. 50.000 parties, pour être précis ! Devant la difficulté de trouver des humains capables de jouer autant de fois, c’est une autre IA qui a pris le joystick. Celle-ci a rapidement compris les mécanismes du jeu et est devenue très forte, à tel point qu’il a été difficile au modèle de comprendre le concept de « mort », comme l’explique Sanja Fidler, le directeur du labo de recherche de Nvidia.

Malgré cette fausse note, le résultat est plutôt convaincant. Uniquement en regardant des parties, l’IA de Nvidia a pu reproduire le jeu et ses mécanismes ! Certes, les graphismes sont un peu flous et le modèle n’a pas vraiment enregistré les comportements exacts des fantômes, mais les bases sont là et le jeu est jouable par un humain. Cette version IA de Pac Man sera d’ailleurs mise en ligne dans un proche avenir.

Le programme utilisé par Nvidia s’appelle GameGAN (GAN pour « generative adversarial network »). Il présente une architecture similaire à d’autres projets d’apprentissage automatique, dont le principe est assez simple : la première moitié essaie de répliquer les données, la seconde compare ce travail à la source d’origine. Si les deux parties ne correspondent pas, les données générées sont rejetées et le cycle reprend du début.

Pour Nvidia, ce projet montre comment l’intelligence artificielle pourra être utilisée à l’avenir dans le secteur du game design : les développeurs pourront utiliser l’IA pour créer des variations pour les niveaux de leurs jeux. « Vous pouvez vous servir de cette IA pour combiner différents jeux entre eux », indique Fidler, ce qui pourrait apporter des concepts complètement nouveaux.

NVIDIA annonce son premier CPU sous le nom de code Grace.

NVIDIA states that its Grace is a highly specialized processor targeting workloads such as training next-generation NLP models that have more than 1 trillion parameters. When tightly coupled with NVIDIA GPUs, a Grace CPU-based system will deliver 10x faster performance than today’s state-of-the-art NVIDIA DGX-based systems, which run on x86 CPUs.

NVIDIA is introducing Grace as the volume of data and size of AI models are growing exponentially. Today’s largest AI models include billions of parameters and are doubling every two-and-a-half months. Training them requires a new CPU that can be tightly coupled with a GPU to eliminate system bottlenecks.

NVIDIA built Grace by leveraging the incredible flexibility of Arm’s data center architecture. By introducing a new server-class CPU, NVIDIA is advancing the goal of technology diversity in AI and HPC communities, where choice is key to delivering the innovation needed to solve the world’s most pressing problems.

Site Nvidia : Grace

NVIDIA déclare que son Grace est un processeur hautement spécialisé ciblant des charges de travail telles que l’entraînement des modèles NLP de nouvelle génération qui ont plus de 1 trillion de paramètres. Lorsqu’il est étroitement couplé aux GPU NVIDIA, un système basé sur le CPU Grace fournira des performances 10 fois plus rapides que les systèmes actuels basés sur le NVIDIA DGX, qui tournent sur des CPU x86.

NVIDIA introduit Grace alors que le volume de données et la taille des modèles d’IA augmentent de façon exponentielle. Les plus grands modèles d’IA d’aujourd’hui comprennent des milliards de paramètres et doublent tous les deux mois et demi. Leur formation nécessite un nouveau CPU qui peut être étroitement couplé à un GPU pour éliminer les goulots d’étranglement du système.

NVIDIA a construit Grace en exploitant l’incroyable flexibilité de l’architecture de centre de données d’Arm. En introduisant un nouveau CPU pour serveur, NVIDIA fait avancer l’objectif de diversité technologique dans les communautés IA et HPC, où le choix est essentiel pour apporter l’innovation nécessaire à la résolution des problèmes les plus urgents du monde.

Ce nouveau processeur à architecture ARM, conçu pour accélérer la puissance de calcul des algorithmes d’intelligence artificielle, Nvidia entre sur le terrain de jeu d’Intel. Cette nouvelle puce a tout pour séduire sur le papier ; attendons les premiers tests.

Grace permettra, selon Nvidia, de rendre un modèle de traitement du langage naturel dix fois plus rapide qu’il ne l’est aujourd’hui. Jensen Huang, fondateur et CEO de Nvidia, a déclaré que : « l’intelligence artificielle de pointe et la science des données poussent l’architecture informatique actuelle au-delà de ses limites, en obligeant le traitement d’énormes quantités de données. Couplé à notre GPU et à notre DPU (Data Processing Units), Grace va avoir la capacité de faire progresser l’intelligence artificielle » (source Wall Street Journal).

En résumé, Grace, est destinés au data center pour dex calculs massifs et avec optimisation pour l’intelligence artificielle.

Transforming Paintings and Photos Into Animations With AI

Sans faire de grands discours, le plus simple est de prendre connaissance de la page consacrée à ce sujet : Transforming Paintings and Photos Into Animations With AI

La vidéo est d’une clarté limpide, ci-dessous le schéma de fonctionnement :

Publié sur le site NVidia Developer le 8 janvier 2019

Data augmentation technique enables AI model to emulate artwork from a small dataset from the Metropolitan Museum of Art — and opens up new potential applications in fields like healthcare.

La technique d’augmentation des données permet à un modèle d’IA d’émuler une œuvre d’art à partir d’un petit ensemble de données provenant du Metropolitan Museum of Art – et ouvre la voie à de nouvelles applications potentielles dans des domaines tels que les soins de santé.

Afin d’intégrer NVIDIA Omniverse, Bentley Systems a étendu sa plateforme iTwin. L’objectif est de fournir un pipeline graphique basé sur l’intelligence artificielle pour une visualisation en temps réel et pour simuler des jumeaux numériques d’infrastructures. NVIDIA Omniverse a été développé précisément pour créer des mondes virtuels partagés photoréalistes et simulés à l’aide de la physique.

Une plateforme analysant les jumeaux numériques

Bentley iTwin est une plateforme ouverte qui permet aux entreprises du domaine de l’ingénierie de créer, visualiser et analyser les jumeaux numériques d’actifs de l’infrastructure. Les responsables des informations numériques utilisent cette plateforme pour incorporer les données d’ingénierie créées par divers outils de conception dans un jumeau numérique vivant et les aligner avec les données de la réalité, les données de l’IoT et d’autres données associées sans perturber leurs outils et processus.

Le fondateur et PDG de NVIDIA, Jensen Huang, évoque les objectifs de son entreprise et ceux de Bentley Systems quant à l’amélioration de iTwin :

“L’infrastructure moderne constitue un exploit considérable pour l’ingénierie. NVIDIA et Bentley partagent l’ambition de créer des jumeaux numériques basés sur l’infrastructure si précis et réalistes qu’ils révolutionneront l’ensemble du processus, de la conception de l’infrastructure aux opérations. […] NVIDIA Omniverse a été construit précisément pour réaliser cette ambition, à savoir créer des mondes virtuels partagés simulés à l’aide de la physique et photoréalistes. Nous sommes ravis de voir Bentley développer des applications pour les jumeaux numériques d’infrastructure dans NVIDIA Omniverse.”

La symbiose NVIDIA Omniverse et Bentley iTwin

L’intégration de la plateforme de NVIDIA permet de visualiser du contenu d’ingénierie numérique précis au millimètre près. Cela permettra un éclairage photo réaliste et la modélisation d’effets environnementaux sur de multiples appareils, dont des navigateurs Web, des postes de travail, des tablettes et des casques de réalité virtuelle et de réalité augmentée. iTwin permet aux utilisateurs d’explorer virtuellement des usines industrielles massives et des structures offshore comme s’ils se déplaçaient dans l’infrastructure en temps réel. Cette plateforme peut se montrer utile dans de nombreuses applications telles que l’orientation ou d’optimisation de la sécurité de la route.

Greg Bentley, PDG de Bentley System explicite les utilités de NVIDIA Omniverse dans le logiciel iTwin :

“La visualisation et la simulation sont utiles dans de nombreux cas d’utilisation des jumeaux numériques d’infrastructure. La collaboration entre Bentley iTwin et NVIDIA Omniverse permet d’offrir des expériences immersives 3D/4D en temps réel qui rendent possible des simulations basées sur la physique, fidèles à la réalité, même pour les actifs de l’infrastructure les plus conséquents et complexes. Les calculs sur GPU sont en train de transformer le monde de l’ingénierie et de la construction, et promettent de libérer le potentiel de l’intelligence artificielle pour la simulation et les analyses avancées dans les jumeaux numériques d’infrastructure.”

Article source : Comment iTwin de Bentley Systems intègre NVIDIA Omniverse

Publié sur ActuIA le 19 avril 2021

GANverse 3D, une technologie de virtualisation 3D rapide à partir d’une simple photo

GANverse 3D, un outil basé sur l’intelligence artificielle développé par Nvidia Research, vient d’être annoncé en ce début 2021. Il permet de faciliter la création de modèles 3D à partir d’une simple image 2D, et ce, en quelques clics seulement.

NVIDIA Research’s latest model, featuring GANs under the hood, turns 2D images into 3D objects for game developers, artists, designers, architects.

La vidéo, sur la droite, explique le principe.

Developed by the NVIDIA AI Research Lab in Toronto, the GANverse3D application inflates flat images into realistic 3D models that can be visualized and controlled in virtual environments. This capability could help architects, creators, game developers and designers easily add new objects to their mockups without needing expertise in 3D modeling, or a large budget to spend on renderings.

A single photo of a car, for example, could be turned into a 3D model that can drive around a virtual scene, complete with realistic headlights, tail lights and blinkers.

Source : Knight Rider Rides a GAN (lien cassé)

GauGAN2  peut générer des scènes photoréalistes avec une simple phrase

Grâce à NVIDIA, gardez votre pyjama en visioconférence

Il est neuf heures, toute votre équipe a du pain sur la planche, mais votre patron vous met la pression pour que vous assistiez à la réunion Zoom quotidienne. Problème : votre pyjama Spiderman, tenue de combat ultime pour affronter la morosité du lundi matin, ne serait pas du meilleur effet à l’écran. Qu’à cela ne tienne : en un clic, vous générez une image animée de vous-même dans votre plus beau costume. L’illusion est parfaite, vos collègues n’y voient que du feu, votre image corporate est sauvée, et votre matinée avec.

Un scénario qui en fera certainement rêver certains, rendu possible par Vid2Vid Cameo (PDF), un modèle d’intelligence artificielle créé par NVIDIA. Le concept ressemble à celui des deepfakes que l’on retrouve partout sur la toile aujourd’hui, à une différence près. Au lieu de faire correspondre les expressions d’une personne A au visage d’une personne B, on réalise l’opération sur sa propre photo. Cela revient plus ou moins à réaliser son propre deepfake en temps réel.

Article complet : Grâce à NVIDIA, gardez votre pyjama en visioconférence Publié sur Journal du Geek le 28 juin 2021 par Antoine Gautherie

Nvidia vient de présenter une nouvelle technologie d’intelligence artificielle capable de générer presque instantanément une scène 3D à partir de « quelques douzaines de photos ».

Baptisée Instant neural radiance fields (Instant NeRF), elle est capable d’entraîner « un petit réseau neuronal » en l’espace de quelques secondes à partir d’une flopée de photos, à condition toutefois de bien connaître les angles de prises de vue. Le modèle résultant permet ensuite de générer toutes les données nécessaires pour créer l’environnement 3D de la scène en question. Un calcul qui, selon Nvidia, ne nécessite que quelques « dizaines de microsecondes ».

Dans la vidéo YouTube de droite, l’entreprise américaine fait la démonstration de cette nouvelle technologie, qui s’appuie évidemment sur des outils internes comme Cuda Toolkit .

Ainsi, on voit une personne au milieu d’une salle qui est photographiée de plusieurs côtés, et, magie de la technologie, on navigue autour d’elle dans un espace tridimensionnel.

Créer des scènes 3D à partir de photos n’est pas nouveau. L’innovation principale, selon Nvidia, est la vitesse d’exécution. Le calcul serait plus de mille fois plus rapide qu’avec les technologies habituelles, qui nécessiteraient des heures pour aboutir au même résultat.

Les usages envisageables seraient multiples.

« La technologie pourrait être utilisée pour entraîner des robots et des voitures autonomes à comprendre la taille et la forme d’objets du monde réel en capturant des images 2D ou des séquences vidéo.
Elle pourrait également être utilisée dans l’architecture et le divertissement pour générer rapidement des représentations numériques d’environnements réels que les créateurs peuvent modifier et développer », explique Nvidia dans une note de blog.

Cette transformation n’a pas non plus besoin d’une grande puissance de calcul. Une seule carte graphique serait suffisante, dans la mesure où le réseau neuronal est de petite taille. Mais il y a quand même un bémol : il est préférable que la scène photographiée soit immobile.

« S’il y a trop de déplacements pendant le processus de capture d’images 2D, la scène 3D générée par l’intelligence artificielle sera floue », prévient l’entreprise.

Mais le futur ne l’est-il pas toujours un peu ?

Quelques source :

• Nvidia Instant NeRF : une IA d’imagerie transforme des images 2D en modèles 3D Publié sur KultureGeek par Frédéric L.

• Nvidia’s Instant NeRF AI renders 3D scenes from 2D photos in just seconds Publié sur TechSpot le 25 mars 2022

• L’IA NeRF de NVIDIA transforme instantanément des photos 2D en objet 3D Publié sur BeeGeek le 27 mars 2022 par Morgan Fromentin

Le groupe américain Nvidia a dévoilé sa nouvelle puce d’intelligence artificielle H100. Avec 80 milliards de transistors, un record de densité pour un circuit de traitement monolithique.

Depuis le site NVidia :

Le choix incontournable pour le déploiement de l’IA dans les entreprises

Entraînement jusqu’à 3 fois plus rapide avec les modèles les plus complexes

Mise en œuvre d’une IA transformationnelle

Les GPU NVIDIA H100 intègrent des cœurs Tensor de quatrième génération et un moteur de transformation à précision FP8 permettant un entraînement jusqu’à 9 fois plus rapide qu’avec les modèles MoE (Mixture of Experts) de génération précédente. Des petites infrastructures d’entreprise aux grands clusters de GPU unifiés, vous pouvez bénéficier d’un maximum de performance et d’évolutivité grâce à la combinaison de la technologie NVlink de quatrième génération (offrant une interconnexion GPU-vers-GPU à 900 Go/s), de NVSwitch (qui accélère les communications collectives entre chaque GPU sur tous les nœuds), de la norme PCIe Gen5 et du logiciel NVIDIA Magnum IO.

La fiche complète : GPU NVIDIA H100 Tensor Core

Cette vidéo 3D présentant le quai d’une gare n’a pas été prise dans la vraie vie, mais existe uniquement grâce à Unreal Engine 5.

Cette vidéo a été créée par l’artiste Lorenzo Drago qui a fait une reproduction 3D de la gare d’Etchū-Daimon au Japon. On y voit le quai de nuit et de jour, ce qui permet de voir les contrastes applicables dans chaque situation. Le résultat est tout simplement époustouflant tant les jeux d’ombre et de lumière sont réalistes. Si ce n’est pas exactement ce qui nous attend dans nos prochains jeux vidéo, cela reste tout de même très prometteur. Évidemment, les performances en temps réel dans un jeu ne pourront jamais égaler le travail produit pour une vidéo de moins de 3 minutes, spécialement créée pour présenter le moteur.

Mais cela nous donne un aperçu de ce que l’on peut faire en termes de cinématique grâce à Unreal Engine 5.

Pour la première fois depuis le début du test de référence MLPerf sur l’entraînement de l’IA en 2018, Nvidia n’avait pratiquement aucune concurrence à ses puces dominantes.

Introduction

Le géant des puces Nvidia projetait déjà une longue ombre sur le monde de l’intelligence artificielle. Et pourtant, sa capacité à évincer la concurrence du marché pourrait s’accroître, si l’on en croit les derniers résultats des tests de référence.

Le MLCommons, le consortium industriel qui supervise un test populaire des performances du machine learning, MLPerf, a publié mercredi les derniers chiffres concernant la « formation » des réseaux neuronaux artificiels. En trois ans, Nvidia a eu un seul concurrent : le géant des processeurs Intel.

Lors des tours précédents, y compris le plus récent, en juin, Nvidia avait deux concurrents ou plus. Parmi eux, Intel bien sûr, mais aussi Google, avec sa puce « Tensor Processing Unit » (ou TPU), ainsi que la start-up britannique Graphcore. Par le passé, le géant chinois des télécommunications Huawei lui faisait également concurrence.

Nvidia rafle les meilleurs scores

Par manque de concurrence, Nvidia a cette fois-ci raflé tous les meilleurs scores alors qu’en juin, la société avait partagé la première place avec Google.

Nvidia a présenté des systèmes utilisant son GPU A100, sorti depuis plusieurs années, ainsi que son tout nouveau H100, connu sous le nom de GPU « Hopper » – en l’honneur de la pionnière de l’informatique Grace Hopper. Le H100 a obtenu le meilleur score dans l’un des huit tests de référence, pour les systèmes dits de recommandation couramment utilisés pour suggérer des produits sur le web.

Intel a proposé deux systèmes utilisant ses puces Habana Gaudi2, ainsi que des systèmes étiquetés « preview » qui présentaient sa prochaine puce Xeon sever, dont le nom de code est « Sapphire Rapids ». Les systèmes Intel se sont révélés beaucoup plus lents que ceux de Nvidia.

Des records mondiaux

« Les GPU H100 (aka Hopper) ont établi des records mondiaux en entraînant des modèles dans les huit charges de travail d’entreprise MLPerf. Ils ont fourni jusqu’à 6,7 fois plus de performances que les GPU de la génération précédente lorsqu’ils ont été soumis pour la première fois à l’entraînement MLPerf. Par la même comparaison, les GPU A100 d’aujourd’hui sont 2,5 fois plus puissants, grâce aux progrès des logiciels », souligne Nvidia dans un communiqué de presse.

Dave Salvator, chef de produit senior pour l’IA et le cloud de Nvidia, a insisté lors d’une conférence de presse sur les améliorations des performances de Hopper et les modifications logicielles apportées à l’A100, montrant à la fois comment Hopper accélère les performances par rapport à l’A100 – un test de Nvidia contre Nvidia, en d’autres termes – et comment elle est capable de piétiner en même temps les puces Intel Gaudi2 et les Rapids Sapphire.

L’article complet : IA : Dans le dernier test de performance, Nvidia évince la concurrence
Publié sur ZDNet par Tiernan Ray le 14 novembre 2022

L’application NVIDIA Broadcast transforme votre PC de jeu en véritable studio personnel. Faites passer vos livestreams et vos appels visio au niveau supérieur avec de puissantes capacités d’IA qui améliorent la qualité de l’audio et de la vidéo.

The NVIDIA Broadcast app transforms any room into a home studio. Take your livestreams, voice chats, and video conference calls to the next level with AI-enhanced voice and video.

Découvrez NVIDIA Broadcast

Les avantages mis en avant sur le site

Suppression du bruit et de l’écho et Éliminez les interférences sonores

Les claviers qui ne se font jamais oublier. Les bruits parasites du micro. Les ventilateurs bien trop sonores. Les réverbérations de fond agaçantes. Les fonctionnalités de suppression du bruit et d’atténuation de l’écho dans la pièce font appel à l’IA pour éliminer les bruits de fond indésirables en une fraction de seconde. Diffusez du contenu en direct ou assistez à une réunion à distance sans vous soucier de trouver un lieu parfaitement silencieux. Réglez le volume sonore des autres joueurs dans les environnements bruyants, ce qui les rend plus facilement compréhensibles. NVIDIA Broadcast vous facilite la vie !

Arrière-Plan Virtuel et Mettez-Vous Parfaitement en Scène

Bénéficiez instantanément du contrôle créatif le plus total. La fonctionnalité de suppression, de remplacement ou de floutage de l’arrière-plan vous permet de personnaliser votre arrière-plan sans devoir utiliser un équipement onéreux ou des configurations d’éclairage complexes. Personnalisez le flux vidéo de votre webcam en utilisant de puissants effets d’écran vert optimisés par l’IA pour travailler et jouer dans les meilleures conditions, où que vous soyez. Les possibilités sont infinies.

Recadrage Automatique pour Brillez De Mille Feux

Lumières, caméra, app-tion ! Profitez d’un suivi dynamique de vos mouvements en temps réel grâce à la fonctionnalité de recadrage automatique, et redimensionnez l’image ou zoomez automatiquement de manière à rester sous le feu des projecteurs, y compris quand vous vous déplacez.

Contact visuel Voyez les choses du même œil

Ne perdez pas votre objectif de vue. La fonctionnalité beta de contact visuel met à profit l’IA pour donner l’impression que vous regardez directement la caméra, même lorsque vous prenez des notes ou que vous portez votre regard ailleurs.

Cette fonction et vraiment plus que formidable !

Téléchargez L’application NVIDIA Broadcast

Depuis le site :

NVIDIA Broadcast

Essayez et amusez vous bien !

NVIDIA Broadcast

• NVIDIA présente le GH200 Grace Hopper nouvelle génération dédié à l’IA générative
  Le GH200 Grace Hopper, annoncé en juin dernier, réunit les architectures CPU Nvidia Grace et GPU Hopper basées sur Arm, via la technologie d’interconnexion Nvidia NVLink-C2C à bande passante élevée, faible latence et faible consommation. La superpuce booste 4 PetaFLOPS TE, 72 processeurs Arm connectés par liaison puce à puce, 96 Go de mémoire HBM3 et 576 GPU.
  Publié sur ActuIA par Thierry Maubant 2e 11 août 2023
• NVIDIA Neuralangelo est un modèle IA capable de générer des objets 3D à partir de vidéos 2D
  NVIDIA Neuralangelo est un modèle IA capable de générer des objets 3D à partir de vidéos 2D. Le potentiel d’une telle technologie est énorme.
  Publié sur BeGeek par Morgan Fromentin le publié le 3 juin 2023

Chat with RTX de nVidia propose aux utilisateurs de traiter des données sensibles en local sur leur PC, sans avoir à les partager avec un tiers ou même disposer d’une connexion Internet. Plus besoin de s’appuyer sur des services cloud ; pas de problème de réutilisation de vos donnée. Donc pas de partage de vos données avec un tiers ni même disposer d’une connexion Internet.

Chat with RTX, permet de faire tourner un chatbot basé sur un grand modèle de langage en local sur un PC disposant d’une carte graphique suffisamment puissante de la maison nVidia.

Trois modèles sont proposés par défaut : celui de Nvidia, entraîné par l’entreprise sur une vaste base de documents publics, Llama 2 13B, et Mistral 7B.

Faire tourner un LLM en local en toute simplicité

Chat with RTX nécessite une carte graphique dotée d’une puce GeForce RTX 30 ou supérieure avec au moins 8 Go de RAM. Mieux vaut également avoir un bon CPU et 32 Go de RAM.

Le système utilise la technique RAG (retrieval-augmented generation) pour l’entraînement des LLM avec les données de l’utilisateur.

L’accélération se fait par le biais de TensorRT-LLM. Nvidia indique vouloir ouvrir le projet à terme notamment pour les entreprises désireuses de se l’approprier pour des d’usage spécifiques.

La vidéo à droite montre la simplicité de la démarche.

Téléchargez NVIDIA Chat With RTX par le lien en bas de la page NVIDIA Chat With RTX

Deux vidéos de démonstration

Installer ChatGPT en LOCAL à la MAISON pour TOUS
Raynox

How to install and first impressions of NVIDIA Chat with RTX AI Chatbot
leksicon