IA et les arts

L’IA permet de nouvelles applications dans les domaines du graphisme, de la photographie, de la musique, de la peinture, de la vidéo, etc…

En l’espace de 10 ans, l’art généré par IA a fait des bonds de géant. Nous ne créerons plus comme avant.

Vous avez toujours voulu créer des œuvres d’art, mais vous n’avez jamais été capable de dépasser le stade du bonhomme-dessiné-en-bâton ? Pas de souci, les générateurs d’art assistés par intelligence artificielle sont désormais disponibles (souvent gratuitement) sur le web ou par des applications et permettent à n’importe qui de mettre en image des textes (majoritairement en anglais). Cette technologie basée sur le modèle CLIP de l’entreprise OpenAI a déjà donné naissance à un tout nouveau courant artistique qui a explosé depuis 2020. Mais l’histoire de l’art génératif ou art multimodal, remonte à quelques années et s’inscrit dans les évolutions de l’intelligence artificielle.

Quelques applications ou moments marquant

2015 : DeepDream

Vous souvenez-vous de ces drôles d’images montrant un mélange de chiens et de visuels psychédéliques ?

Il s’agissait des œuvres de DeepDream, un programme développé par l’ingénieur de chez Google Alexander Mordvintsev et basé sur un modèle de réseau de neurones appelé Inception (d’aprés le film du même nom). Au départ, le but était de détecter des objets dans des images pour les classer automatiquement. DeepDream faisait quant à lui le cheminement inverse. On lui donnait des images chargées de bruit aléatoire (le bruit est un terme désignant une bouillie de pixels indéfinie) et il s’efforçait d’y détecter puis d’afficher des objets qu’il avait appris à reconnaître. Étant donné que l’IA avait été nourrie avec la base de données ImageNet, remplie de photo d’animaux, elle finissait invariablement par générer des images avec des chiens ou des poissons dedans.

2016 : Style Transfer

Imaginé par des chercheurs de l’université de Cornell, Style Transfer est un algorithme qui peut reconnaître le « style » artistique, ou plus exactement les patterns d’un peintre ou d’un dessinateur.

L’outil permettait surtout de reproduire des peintures connues dans un style différent, comme une Joconde en style cubiste.

2018 : l’essor des GAN

En septembre 2018, les ingénieurs de Nvidia sortent StyleGAN, une IA basée sur un système de réseaux de neurones antagonistes (GAN en anglais). Concrètement, le système fonctionne sur deux réseaux qui s’opposent. Le premier est une sorte de critique qui possède dans sa base de données des milliers d’images d’un sujet en particulier (comme des visages par exemple). Le second prend le rôle de l’artiste et va créer un sujet qui doit répondre à certains critères pour être validé par le critique. Ce modèle a permis de générer des images de visages très réalistes, mais entièrement artificiels que vous pouvez consulter sur le site This person does not exist.

2021 : DALL·E et CLIP

Ces deux modèles d’IA créés par OpenAI vont rebattre les cartes. CLIP est un modèle permettant de déterminer si le contenu d’un texte correspond à une image et si une image correspond au contenu d’un texte. Cet outil repose sur une base de données constituée de 400 millions de relations entre textes et images correspondantes.
C’est aussi un élément présent dans le fonctionnement de DALL·E, une IA pouvant générer n’importe quel type d’image à partir d’un texte et basée sur le modèle de langage GPT-3. Sa force réside surtout dans la possibilité de mixer différents concepts ensemble. Il est ainsi possible de créer une chaise en forme d’avocat ou une mascotte de pingouin en salopette. Le code de DALL·E n’a jamais été partagé sous prétexte des implications éthiques apportées par cette technologie (certains pensent qu’il s’agit surtout d’un souci de droits étant donné que le modèle utilise des données issues du web pour fonctionner). En revanche CLIP est disponible en open source, ce qui a permis à une nouvelle génération d’artistes/codeurs de s’emparer de cette technologie.

Janvier 2021 : Big Sleep

Deux semaines après la sortie de CLIP, une première application pratique est diffusée sur le web. Il s’agit de Big Sleep, un outil créé par l’artiste Ryan Murdoch (Twitter @advadnoun) et mélangeant le modèle d’OpenAI à celui des GAN. Pour la première fois, n’importe quel internaute peut générer une image à partir d’un texte. Cet outil prend la forme d’un notebook, une interface un brin spartiate tournant sur la plateforme d’écriture et d’exécution de code Google Collab. Ce format, directement accessible depuis un navigateur web, permet de faire tourner ces générateurs gourmands en puissance de calcul sur les serveurs de la firme d’Alphabet, gratuitement ou bien contre un abonnement d’une dizaine d’euros. C’est sous cette forme que la plupart des générateurs ouverts à tous sont disponibles.

De mai à décembre 2021 : Guided Diffusion

Créé par un autre groupe de chercheurs travaillant chez OpenAI, Guided Diffusion est un nouveau modèle de génération d’images qui va être massivement utilisé pour créer les notebooks actuellement utilisés par les artistes. Son fonctionnement diffère totalement des GAN qui reposaient sur une opposition entre deux modèles d’IA. Guided Diffusion part lui aussi d’une image pleine de bruit puis diffuse peu à peu cette bouillie de pixels jusqu’à faire apparaître des formes dictées par un prompt. Le processus est plus lent, mais aussi bien plus précis, ce qui permet de générer des résultats plus précis et plus beaux. Quelques mois après sa sortie, l’artiste Katherine Crowson sort son notebook mélangeant CLIP et Guided Diffusion, qui va servir d’inspiration directe à OpenAI pour sortir sa propre version intitulée GLIDE.

Nouveautés 2022 : Disco Diffusion, JAX, MidJourney et les autres…

Une fois les bases posées, des communautés d’artistes codeurs vont s’emparer de ces outils (pour la plupart open source) pour créer les notebooks les plus connus comme Disco Diffusion ou MidJourney (encore en accès bêta à ce jour). S’ils sont tous basés sur les mêmes modèles d’IA, ces derniers sont améliorés avec une étape appelée fine tuning qui permet de leur ajouter une couche d’entraînement supplémentaire. Résultat : les artistes ont le choix entre différents générateurs en fonction du type d’image qu’ils veulent créer.

Avril 2022 : DALL·E 2

Après lancé la révolution de la génération d’images en 2021, OpenAI revient sur le devant de la scène avec DALL·E 2, une nouvelle version encore plus puissante et précise. L’outil, non disponible publiquement, peut prendre une image initiale et la recréer très fidèlement dans un angle différent ou bien jouer de manière très fine sur les textures afin de donner un aspect pâte à modeler ou fil de laine à une création. Enfin, il améliore encore plus le mélange de différents éléments, permettant de créer des concepts graphiques complexes comme cet astronaute montant un cheval. Pas étonnant qu’il fasse un peu peur…

Lire aussi ces articles de fond :

• Au cœur de nouvelles communautés artistiques, les images créées par intelligence artificielle fascinent et inquiètent
  Midjourney, DALL-E 2, Stable Diffusion… Grâce à ces outils, plusieurs communautés en ligne s’amusent et s’échinent à générer, grâce à des intelligences artificielles, les meilleures illustrations possibles. Une pratique qui interroge la notion de création artistique numérique…
  Publié sur Le Monde par Julie Le Baron le 2 octobre 202
• L’IA est-elle l’artiste de demain ?
  Le recours à l’intelligence artificielle se répand dans le domaine des arts. L’IA sait créer des images à partir d’un texte qu’on lui soumet, y compris en imitant le style d’artistes célèbres. Elle sait de la même façon créer des vidéos, en générant notamment des visages d’acteurs qui paraissent réels mais n’ont aucune existence. Elle sait composer de la musique à partir d’indications sur le genre et le tempo recherchés, les instruments à utiliser, etc. 
  Publié sur Usbeck & Rica par Julien Deslangle le 5 août 2022

L’intelligence artificielle peut désormais créer rapidement et facilement des œuvres d’art impressionnantes.

Au cours des derniers mois, le monde de l’art généré par des AI a connu un boom après que des hackers ont modifié un modèle de la société OpenAI pour créer des outils de génération d’images absolument incroyables.

Tout ce que vous avez à faire pour guider ces systèmes, c’est de leur indiquer l’image que vous voulez. Vous pouvez par exemple indiquer à l’un de ces générateurs d’images les mots suivants : « Un monde fantastique ». En s’appuyant sur cette consigne, l’auteur de cet article a généré l’image que vous voyez en début.

La qualité nette et cohérente, et la haute résolution des images créées par ces outils les distinguent clairement des outils de création artistique gérés par une AI qui existaient jusque-là. Les outils sont très répétitifs. Sur la vidéo ci-dessous, vous pouvez voir la génération d’une image basée sur les mots « un homme torturé à mort par un démon ».

Le moteur principal de ces nouveaux outils est une AI dernier cri de classification d’images qui s’appelle CLIP. Le CLIP a été annoncé en janvier par la société OpenAI, connue pour avoir inventé le GPT-3, qui, lui, n’avait été annoncé qu’en mai 2020. Le GPT-3 peut générer un texte de nature tout à fait générale, qui semble avoir été écrit par un être humain, sur la base d’une consigne simple.

Les systèmes basés sur le nouvel outil CLIP rappellent le GPT-3 par leur capacité à recevoir des consignes simples, mais le fonctionnement interne de ces nouveaux outils est bien différent. Le CLIP a été conçu pour être un outil à portée restreinte, mais extrêmement puissant. C’est un classificateur d’images à des fins générales qui est capable de déterminer dans quelle mesure une image correspond à une consigne, par exemple, en associant l’image d’une pomme avec le mot « pomme ». Mais c’est tout. Charlie Snell, étudiant en informatique à l’université de Californie à Berkeley, qui a suivi l’émergence de cette nouvelle scène, expliquait dans un entretien qu’« utiliser cet outil pour générer des œuvres d’art n’avait rien d’une évidence ».

La suite de cet article : L’art généré par des AI connaît un boom
Publié sur Vice le 9 septembre 2021 par Mordechai Rorvig et traduit par Stephen Sanchez

Un tableau nommé La Baronne de Belamy, créé grâce à une intelligence artificielle par le collectif Obvious Art&AI en 2018, se vendait 432 500 dollars chez Christie’s. Un événement inédit sur le marché de l’art qui a intrigué beaucoup de spécialistes. Demandons nous ce que ce micro-événement pouvait nous apprendre sur la façon dont le public percevait l’art à l’ère du numérique et des intelligences artificielles.
Pour ce faire, une enquête fut mis en place en ligne, elle demandait aux gens de faire la distinction entre les œuvres d’art générées à l’aide d’une intelligence artificielle et celles créées par l’humain. L’étude présentait des images artistiques, aux touches impressionnistes, réalisées par les mains de deux artistes, Tom Bailey et Steve Johnson, aux côtés d’œuvres d’art créées via des algorithmes par un jeune artiste.

211 personnes ont répondu à son défi et l’enquête a prouvé qu’une majorité n’avait pas su distinguer l’une des cinq œuvres présentées comme étant issue d’une intelligence artificielle. 75 % à 85 % des répondants sont également trompés sur les quatre autres œuvres. Lorsque ces derniers attribuaient correctement une œuvre d’art à l’IA, il s’agissait toujours d’une œuvre abstraite.

Source : L’art est le moteur de l’IA, et non l’inverse

« L’avenir n’appartient pas à l’art, mais à la science » déclare Philipp Vanderberg. Cette affirmation est-elle encore d’actualité si la science elle-même devient art ? Les algorithmes peuvent-ils être aussi créatifs que les cerveaux humains ? Les machines sont-elles en mesure de ressentir des émotions numériques et de les partager ? Autant de questionnements qui prennent une place grandissante dans le débat parallèlement au développement de projets artistiques reposant sur la technologie. Mais contrairement à l’appareil photo qui est venu apporter une forme nouvelle de création artistique tout au long du 20^e siècle, l’IA ne propose actuellement pas de révolution créative à proprement parler. En tout cas, pas encore…  

Chaque modèle est customisable selon le corps, la couleur de peau, le genre…

Service en ligne : Rosebud Publié sur Art-Kombini

Connaissez-vous les Pokémons ?

Avec plus de 900 Pokémons déjà créés sur les 20 dernières années, avait-on besoin d’en ajouter quelques milliers en plus ? Probablement. Le développeur informatique Matthew Rayfield en a donc créé 3 000 de plus avec une méthode bien particulière. Son projet part d’une idée farfelue : utiliser GTP-2, un algorithme de génération de texte créé par OpenAI, afin de créer… des images. « Je voulais trouver quelque chose de funky à faire avec l’algorithme. Rapidement, j’ai pensé à la génération d’image », explique-t-il dans son billet de blog. Entre le début de ses expérimentations et leur fin en novembre 2020, les chercheurs d’OpenAI ont eux-mêmes adapté GPT-2 à la génération d’image.

Des pixels transformés en texte

Pour créer des Pokémon avec GPT-2, Matthew Rayfield devait donner du texte comme matière première à l’algorithme. Le rôle de GPT-2 et de son successeur GPT-3 est de générer un texte — en théorie — cohérent, à partir de seulement quelques lignes rédigées par un humain. Preuve de son efficacité, un article écrit à l’aide de GPT-3 s’était hissé en tête de Hacker News, un agrégateur d’informations anglophone qui classe les informations selon les votes de sa communauté.

Le développeur a donc converti plus de 800 images de Pokémon, issues de trois jeux différents, en fichiers texte. Concrètement, il a utilisé un script de son cru pour traduire chaque couche de l’image en texte, pixel par pixel. La couleur de chaque pixel se traduit ainsi en une lettre ou un symbole, et son positionnement se traduit en place dans la phrase.

Matthew Rayfield s’est ensuite servi de ces échantillons de texte pour entraîner GPT-2, de sorte que l’algorithme s’adapte à la façon dont les Pokémon étaient « écrits ». En parallèle, il a créé un script destiné à nettoyer le texte qu’il mettrait dans GPT-2, afin que l’algorithme puisse lui-même générer un texte exploitable. Pour finir, il n’avait plus qu’à convertir le texte généré par GPT-2 en image, en effectuant le procédé inverse de la première étape !

Retrouver son monde farfelu : matthewrayfield (Désolé : lien cassé)

D’images brouillonnes à de belles illustrations

Étape par étape, au bout de ce processus créatif plutôt tordu, il a obtenu des formes colorées plus ou moins proches de l’apparence de Pokémon. « Je ne dirais pas qu’ils ressemblent à des Pokémon, mais ils ont l’air d’essayer de les imiter », écrit-il, avant d’ajouter : «  ce ne sont certainement pas des amas aléatoires de pixels. »

Pour appuyer son propos, il a commissionné l’illustratrice Rachel Briggs, qui avait déjà travaillé sur des Pokémon non officiels, afin de transformer en dessin les images les plus convaincantes. Le résultat est plutôt réussi, et ces créatures n’auraient rien à envier à des Pokémon comme Keunotor, Froussardine ou Limonde… Oui, ces noms existent. Non, vous ne voulez pas voir à quoi ils ressemblent.

Lire également : Ces nouveaux Pokémon générés par une IA sont plutôt réussis
Publiè sur Huffpost le 21 décembre 2021

Max Woolf a mélangé les apparences des centaines de créatures de Pokémon afin de créer ses propres versions des monstres de poche.

Attrapez les tous

Grâce au machine learning, un développeur a créé ses propres Pokemon et encourage les amateurs d’informatique à en faire autant.

Le machine learning, ou apprentissage automatique en français, est une branche de l’intelligence artificielle qui se concentre sur l’utilisation de données et d’algorithmes pour imiter la façon dont les humains apprennent, en améliorant progressivement sa précision.

Concrètement, cela signifie qu’en donnant accès à des données à certains algorithmes, on peut leur apprendre à « apprendre ». On peut ainsi apprendre à ce type d’algorithme à créer des images en se basant sur un jeu de donnée, comme le célèbre site This Person Does Not Exist qui génère des visages de personnes n’existant pas à chaque nouvelle visite du site.

ransformez-les tous !

C’est vers cette dernière catégorie de machine learning que Max Woolf, un habitué de la génération de contenu par ordinateur, a décidé de se tourner. Il s’est ainsi lancé le défi de faire apprendre à un ordinateur à quoi ressemble un  Pokémon, afin d’en générer lui-même procéduralement. Une représentation de tous les Pokémon a ainsi été fournie à l’ordinateur qui a pu apprendre à les reconnaître, à définir leurs caractéristiques puis à les recréer. Étonnamment, le résultat est plutôt convaincant.

Bien que certains designs soient un peu trop alambiqués pour être de véritables Pokémon, la majorité des Pokémon créés sont suffisamment crédibles pour tromper un non initié. Face au succès rencontré par ses créatures de poche personnalisées, Max Woolf a décidé de publier davantage de résultats.

Pour les plus nostalgiques, Max Woolf a également développé un algorithme se basant uniquement sur les 151 Pokémon de la première génération.

Disponible sur Github

Il faut toutefois remettre en perspective la bonne qualité des résultats obtenus. En effet, ce type d’algorithme crée un très grand nombre de résultats, dont la plupart comportent des erreurs visuelles importantes, les rendant inutilisables. Max Woolf a donc probablement dû trier les résultats afin de n’en garder que les meilleurs. Quoi qu’il en soit, le résultat reste malgré tout très amusant.

Ceux qui le souhaitent peuvent d’ailleurs mettre les mains dans le cambouis et essayer par eux-mêmes l’algorithme. Max Woolf a en effet rendu public son algorithme sur Github. Si vous vous en sentez le courage, vous pouvez le télécharger à cette adresse.

Regardez aussi le dossier consacré à l’IA et la vidéo

La compagnie d’effets spéciaux Digital Domain vient de présenter Douglas, le premier humain numérique autonome. Physiquement, il est une copie numérique parfaite de Doug Roble, directeur scientifique au sein de l’entreprise américaine, mais se comporte de manière totalement autonome ce qui peut avoir un petit côté effrayant.

Grâce au machine-learning, le double digital est en effet capable d’adopter automatiquement des expressions faciales et verbales en fonction des interactions qu’il a eues avec des interlocuteurs humains. Il réagit en temps réel à ce qu’il se passe.

« Où qu’on aille, il y a des assistants virtuels, des chatbots et d’autres formes de communication basées sur l’intelligence artificielle pour interagir avec des vraies personnes », souligne Darren Hendler, PDG de la société d’effets spéciaux Digital Domain. « De plus en plus d’entreprises décident d’aller au-delà des simples interactions vocales et auront besoin d’humains photoréalistes aux comportements appropriés : c’est là que Douglas intervient. »

Pourquoi le génial générateur de texte d’OpenAI créé-t-il la polémique ?

GPT-3 n’en finit plus de faire parler depuis son passage en bêta il y a quelques temps. Aussi impressionnant qu’inquiétant, le générateur de texte d’OpenAI soulève de très nombreuses questions techniques, mais également sociétales et éthiques.

L’intelligence artificielle commence à faire son chemin dans la vie de tous les jours, dans des domaines divers et variés comme le traitement de l’image. Dans les labos de recherche et les entreprises, elle est utilisée soit en tant qu’outil, soit à des fins exploratoires, avec parfois des résultats spectaculaires à la clé. Et s’il y a bien une entreprise qui symbolise cet aspect à la perfection, c’est certainement OpenAI. L’entreprise fondée, entre autres, par Elon Musk en 2015 est devenue coutumière des coups d’éclat avec plusieurs projets très médiatisés, avec des débouchés très concrets et des résultats souvent assez impressionnants. Et on peut affirmer sans trop de risques que ce n’est pas son dernier bébé GPT-3 qui va inverser cette dynamique, bien au contraire.

GPT-3, pour Generative Pre-trained Transformer-3, est la dernière itération de l’un des projets les plus excitants, mais aussi les plus clivants d’OpenAI. La raison d’être de cette IA qui s’entraîne à partir du contenu disponible sur le web ? Générer du texte, sur tout, n’importe quoi, et dans n’importe quel style. Cette dernière mouture, âgée d’à peine trois mois, vient tout juste d’entrer en bêta privée et quelques heureux élus de l’industrie ont pu commencer à jouer avec l’API. Le concept est simple : fournissez ou non des instructions quelconques (ton, contexte, nom de l’auteur, style, années…), et GPT-3 vous recrachera un texte correspondant. Et le moins que l’on puisse dire, c’est que les premiers retours sont carrément bluffants.

Des chercheurs de ByteDance et des universitaires chinois ont mis au point un reporter virtuel capable d’établir des tâches journalistiques assez complexes.

Le journalisme va-t-il être automatisé ?
Il reste encore de la marge mais les choses avancent à grands pas dans ce secteur. La mauvaise nouvelle est déjà tombée pour les éditeurs de MSN aux États-Unis et au Royaume-Uni. Des dizaines de postes ont en effet été supprimés et une IA va accomplir leurs tâches qui supposent de réécrire les titres et d’effectuer des choix éditoriaux.

Il existe des IA capables de rédiger des textes à partir de données brutes et de rendre l’ensemble intelligible. Ces dispositifs sont notamment utilisés lors des soirées électorales pour annoncer les résultats.

L’IA dans le journalisme : des bienfaits et une menace pour l’emploi ?

Des chercheurs de ByteDance AILab (maison mère de TikTok) et des scientifiques de l’Université Jiao Tong de Shanghai viennent de présenter Xiamingbot, un bot journaliste capable d’effectuer des tâches assez complexes. Comme ses prédécesseurs, ce dernier peut rédiger des articles de presse à partir d’informations mises à sa disposition.

Mais l’outil va plus loin, il est aussi en mesure de présenter les articles à travers un avatar virtuel à la manière dont le ferait un présentateur de journal télévisé. Il peut également exprimer ces informations en plusieurs langues et le dispositif peut donc s’étendre à l’échelle de la planète.

À ce jour, Xiaomingbot a déjà rédigé 600 000 articles de presse et compterait déjà plus de 150 000 abonnés sur différentes plateformes de réseaux sociaux. Si ce type de dispositif venait à s’étendre voire à se généraliser, cela pourrait permettre de rendre compte d’événements qui n’auraient peut-être pas été couverts par les médias traditionnels. Il peut aussi s’agir d’une vraie menace pour de nombreux professionnels avec des destructions d’emplois à la clé.

Selon un rapport rendu par Google News Initiative, l’arrivée de l’IA dans le journalisme peut malgré tout être vue comme une opportunité pour ce métier. En déléguant les tâches les plus fastidieuses, les journalistes peuvent en effet se concentrer sur des aspects plus intéressants de leur profession tels que l’analyse ou la rédaction.

Article source : Cette IA journaliste est capable de délivrer des informations en plusieurs langues
Publié sur Presse-Citron le 2 août 2020 par Jean-Yves Alric.

YouTube teste la génération des chapitres via l’intelligence artificielle

YouTube est aujourd’hui bien plus qu’une simple plate-forme d’hébergement de vidéos. Les fonctionnalités sont nombreuses pour permettre notamment une expérience utilisateur très aboutie. Et l’intelligence artificielle est bien évidemment de la partie.

YouTube ne cesse de concevoir et d’intégrer de nouvelles fonctionnalités sur sa plate-forme. Tant pour les créateurs de contenu que pour les spectateurs. Et le géant américain ne manque clairement pas d’idées. Parmi les récentes nouveautés, YouTube introduisait la possibilité pour les créateurs d’ajouter des chapitres à leurs vidéos. Parfait pour les formats longs, pour que les utilisateurs puissent naviguer facilement et rapidement entre les sections.

YouTube teste la génération automatique des chapitres

Une fonctionnalité très intéressante, très pratique et très appréciée par les utilisateurs, justement. Mais cela demande du travail aux créateurs dans la mesure où l’ajout de ces chapitres doit être fait manuellement. Autrement dit, d’une part, toutes les vidéos n’ont pas ces chapitres et d’autre part, c’est une tâche chronophage supplémentaire à la charge des créateurs. La bonne nouvelle aujourd’hui, tant pour les spectateurs que les créateurs, c’est que selon 9to5Google, YouTube testerait actuellement une fonctionnalité de génération automatique, via l’intelligence artificielle de ces chapitres.

grâce à l’intelligence artificielle

Cela signifie que les créateurs n’auraient plus à ajouter manuellement les timestamps, l’intelligence artificielle déterminerait automatiquement pour eux où et quand ces chapitres devraient être placés : “Nous voulons que la navigation soit plus simple avec les chapitres des vidéos alors nous expérimentons l’ajout automatique de ces chapitres (pour que les créateurs n’aient pas à ajouter manuellement les timestamps). Nous utiliserons le machine learning pour reconnaître les textes pour générer automatiquement les chapitres. Nous testons actuellement tout ceci sur un petit panel de vidéos.”

Étant donné qu’il s’agit là de vidéos et non de textes purs, il sera très intéressant de voir à quel point l’intelligence artificielle de YouTube se révèle performante pour détecter les changements de sujet et/ou de plan et appliquer les chapitres convenablement. Si tel devait être le cas, voilà qui viendrait faire gagner beaucoup de temps aux créateurs de contenu et ajouter une valeur certaine à leurs vidéos.

« https://www.begeek.fr/youtube-teste-la-generation-des-chapitres-via-lintelligence-artificielle-350450

Les œuvres d’art, quelles qu’elles soient, naissent de l’inspiration de leur créateur. Celle-ci peut provenir de n’importe où, mais elle existe. Aujourd’hui, une intelligence artificielle met en lumière des liens insoupçonnées entre plusieurs peintures.

Art is often heralded as the greatest journey into the past, solidifying a moment in time and space; the beautiful vehicle that lets us momentarily escape the present.

With the boundless treasure trove of paintings that exist, the connections between these works of art from different periods of time and space can often go overlooked. It’s impossible for even the most knowledgeable of art critics to take in millions of paintings across thousands of years and be able to find unexpected parallels in themes, motifs, and visual styles.

To streamline this process, a group of researchers from MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL) and Microsoft created an algorithm to discover hidden connections between paintings at the Metropolitan Museum of Art (the Met) and Amsterdam’s Rijksmuseum.

MosAIc, l’IA du MIT qui étudie les œuvres d’art pour trouver des liens insoupçonnés entre elles.

Avec une intelligence artificielle, un artiste redonne vie à des tableaux célèbres.

De Mona Lisa à Marie-Antoinette, Nathan Shipley crée des photos bluffantes de réalisme.

Quelques exemples :

• Sur Instagram : Nathan shipley vfx
• Sur Konbini Arts : Nathan Shipley crée des photos bluffantes de réalisme

La pièce de théâtre de soixante minutes met en scène un robot dont le propriétaire est décédé et dont le périple l’amène à découvrir les émotions humaines et la société.

AI : When a robot writes a play (IA, quand un robot écrit une pièce) est la première pièce de théâtre écrite par une intelligence artificielle. Elle a été jouée sur scène et diffusée en ligne ce lundi avec une mise en scène signée par le dramaturge Daniel Hrbek. L’œuvre est le fruit d’une collaboration entre le théâtre Švanda de Prague et le centre tchèque de Londres. Elle a été interprétée en tchèque avec des sous-titres anglais.

Dix pour cent du texte de la pièce ont été rédigés par des ingénieurs en informatique mais le reste est l’œuvre de l’algorithme GPT-2. Ce programme a été développé par l’entreprise d’Elon Musk OpenAI. Il est conçu pour écrire des textes en s’appuyant sur des informations qu’il trouve sur Internet. L’outil accessible au grand public n’avait jusqu’ici été utilisé que pour créer des poèmes, des nouvelles et des fake news.

AI : When a robot writes a play dure soixante minutes et raconte l’épopée d’un robot dont le propriétaire est décédé. Il part alors seul à la découverte de la société, de la mort et des émotions humaines. Ce personnage principal est interprété par le comédien tchèque Jacob Erftemeijer. Il enchaîne les scènes qui ne sont pas forcément liées les unes aux autres et ne suivent aucune progression logique.

La pièce montre que, livrée à elle-même, l’intelligence artificielle a beaucoup écrit sur le sexe, un thème très présent sur le web. GPT-2 a aussi abordé les sujets de l’amour et de la solitude dans le texte. Le spécialiste américain de l’intelligence artificielle Chad DeChant a estimé qu’il faudrait encore attendre quinze ans avant qu’un algorithme soit capable d’écrire une pièce de théâtre sans aucune intervention humaine.

Née au Japon, l’humanoïde Erica fera sa première apparition au cinéma dans le film d’anticipation ‘b’. Une première pour l’industrie selon les équipes du film. 

Une IA en tête d’affiche

Le film de science-fiction dont le coût de production est estimé à 70 millions de dollars racontera l’histoire d’un scientifique levant le voile sur les dangers associés à une programme qu’il a créé pour perfectionner l’ADN humain. Dans ce contexte, il devrait aider une intelligence artificielle qu’il a lui-même conçue à s’échapper…

Pour les besoins du film, des scientifiques ont dû apprendre à Erica à jouer la comédie via des méthodes adaptées à sa condition de robot. Il s’avère qu’apprendre à une IA à jouer le rôle d’une IA n’est pas une mince affaire.

« Dans d’autres méthodes de jeu, les acteurs utilisent leurs propres expériences de vie pour le rôle, explique le producteur Sam Khoze. Or, Erica n’en n’a aucune. Elle a été créée à partir de rien pour jouer le rôle. Nous avons dû simuler ses mouvements et ses émotions à travers des séances individuelles, contrôler la vitesse de ses mouvements, parler de ses sentiments et encadrer le développement du personnage et de son langage corporel. »

Un pari risqué ?

Pour les sociétés de production Bondit Capital Media, Happy Moon Productions et Ten Ten Global Media finançant le film, c’est la première fois que la profession fait appel à une intelligence artificielle dans un rôle aussi important. Un pari risqué quand on sait que l’humanoïde est encore loin d’être au point.

Lors de son lancement à la télévision en 2018, elle n’était pas capable de bouger ses membres et ne pouvait esquisser que des expressions sommaires.

Voir la vidéo sur la droite …

L’IA utilisée pour comprendre les techniques des peintres les plus célèbres

L’art est une notion très difficile à appréhender pour l’homme. Plus encore, vous vous en doutez bien, pour une machine. L’intelligence artificielle pourrait cependant aider à comprendre la technique derrière telle ou telle œuvre.

l y a une raison pour laquelle certains artistes sont si célèbres. Et bien qu’il en existe énormément de très bons, bien que certains soient capables de répliquer le style de certains peintres parmi les plus connus, le résultat ne sera jamais 100% identique. Cela étant dit, en utilisant l’intelligence artificielle, des chercheurs redécouvrent comment ces grands noms de la peinture ont pu achever leurs œuvres d’art.

Quand l’intelligence artificielle aide à comprendre comment une peinture est réalisée

L’algorithme d’intelligence artificielle qui nous intéresse aujourd’hui a été développé par des chercheurs du laboratoire de recherche en informatique et intelligence artificielle (CSAIL) du MIT. Il a été baptisé Timecraft. Celui-ci est capable de déduire comment une peinture a été réalisée et quels genres de coups de pinceau l’artiste a pu utiliser pour la créer. Pour ce faire, l’IA a été entraînée avec pas moins de 200 timelapses de peintures. L’algorithme a ainsi pu apprendre les différentes techniques utilisées pour obtenir tel ou tel effet et tel résultat final.

Cela pourrait permettre de mieux comprendre tout le processus créatif d’une œuvre

Difficile d’imaginer que cet algorithme puisse servir à répliquer les œuvres des grands maîtres mais l’idée est que, en étudiant les techniques, les chercheurs pourraient avoir davantage d’informations concernant tout le processus créatif de ces artistes. Par exemple, grâce à ce que l’intelligence artificielle a découvert, les chercheurs ont appris que ces peintres avaient tendance à travailler du plus gros vers le plus fin, commençant d’abord par poser les grandes lignes de leur œuvre avant de travailler chaque zone en détails. Ce projet a aussi permis de découvrir que ces artistes peignent d’ordinaire une seule section d’une scène avec une ou deux couleurs à la fois.

Les logiciels d’intelligence artificielle s’intéressent régulièrement à l’art et au secteur culturel en général. Cette fois, des chercheurs de l’université de Stanford ont mis au point un algorithme capable de reconnaître les expressions et émotions qui se dégagent de tableaux.

Stanford Researchers Introduces ArtEmis, A Dataset Containing 439K Emotion Attributions

Ci-contre, vous pouvez retrouver l’une des conclusions auxquelles l’IA nommée ArtEmis est parvenue.

Dans cette scène représentant La Décollation de Saint Jean-Baptiste, celle-ci précise que « la femme semble passer un bon moment », tandis que Jean-Baptiste, fraîchement décapité « semble souffrir ».

Le saint ne doit pourtant plus souffrir beaucoup, faute de tête… Quant à Salomé (à droite), sa satisfaction semble très bien contenue.

Pourtant, ArtEmis a vu assez juste : Jean-Baptiste ne souffre certes plus, faute de tête, mais a souffert. Et surtout, Salomé est bel et bien satisfaite qu’on lui ait apporté la tête sur un plateau.

Mais chacun est juge des résultats d’ArtEmis.

Quand l’IA donne son avis

L’objectif de cette intelligence artificielle est de développer ce que les chercheurs appellent une intelligence émotionnelle. Il est question de déterminer ce que le public peut ressentir face à une œuvre d’art. Ainsi, l’IA peut donner un autre point de vue sur une toile, et pas seulement sur l’art figuratif, également face à des scènes abstraites ou surréalistes.

Pour parvenir à ce résultat, les créateurs d’ArtEmis ont travaillé avec des collaborateurs en France et en Arabie saoudite pour réunir 81 000 peintures issues de WikiArt. Panos Achlioptas et le professeur en ingénierie Leonidas Guibas ont ensuite exercé leur IA à exprimer ce qu’elle ressentait face à une peinture. Ils se sont appuyés pour cela sur les 440 000 déclarations de 6 500 personnes indiquant ce que chacune d’elles avait ressenti.

L’algorithme a cherché à déterminer, pour chaque déclaration, pourquoi le spectateur avait choisi cette émotion.

À court terme, les chercheurs espèrent ainsi qu’ArtEmis deviendra un outil utile aux artistes. Ceux-ci pourront disposer d’un point de vue alternatif et s’assurer que leurs toiles auront l’effet recherché sur le public. Panos
Achlioptas a ainsi déclaré : « Je vois ArtEmis apporter des informations de la psychologie humaine à l’intelligence artificielle. Je veux rendre l’IA plus personnelle et améliorer l’expérience humaine avec elle. »

Article source : Une IA décrypte les émotions dans les peintures célèbres, ses interprétations font sourire
Publié sur Clubic par Benoît Théry le 4 avril 2021

Les sources de l’application :

• ArtEmis: Affective Language for Visual Art (PDF)
• Sources GitHub
• Dataset

Déjà maintes fois diffusé mais toujours aussi bluffant !

Ce n’est pas la première fois qu’une IA joue le rôle d’un présentateur d’un journal télévisé. La Chine avait présenté son premier robot animateur JT en 2018. Dans le cas de la chaîne NBM, l’animatrice est seulement virtuelle, mais l’illusion est remarquable.

Passer à la seconde partie : IA et les Arts – 2