Luma AI, la 3D à portée de smartphone

“Building multimodal ai to expand human imagination and capabilities”. C’est la promesse de Lumalabs, qui nous offre une solution deux en un ! L’application Luma AI est un scanner 3D, accessible depuis un simple smartphone. Luma Génie, pour sa part, prend place au sein des innombrables IA génératives, produisant en quelques secondes des objets 3D. Cet article ne traite que du premier, de Luma AI, la solution pour scanner des objets réels.

.I - Scanner des objets et des scènes 3D en quelques minutes.

Disponibilité sur mobile : une application est disponible sous iOS et iPad OS, sur iPhone XR et plus (sous iOS 17) et sur iPad sous iPadOS 17. 

Pour les propriétaires de smartphones sous Android, aucune application n’est disponible, ce que n’empêche d’avoir recours aux services de Luma via le navigateur Web du terminal.

Disponibilité via le web : Luma et Genie sont accessibles depuis n’importe quel appareil, via un navigateur Web.

Tarif : Luma est aujourd’hui disponible gratuitement, mais il y a fort à parier que dès lors que la solution sera encore plus complète et performante, des formules commerciales apparaîtront.

Compléments : pas un complément, mais deux ! D’abord une API est disponible pour les développeurs qui souhaitent accéder au maillage, améliorer le cycle de production et cette dernière. https://lumalabs.ai/luma-api

Et comme toutes les bonnes choses ont une fin, c’est ici qu’il faut un petit budget pour accéder à l’API, actuellement un dollar par modèle.

Luma propose aussi une bibliothèque web, pour rendre accessible vos scans depuis une simple page web. Le tout se fait via une technologie dont les adeptes de l’immersive learning sont au fait, le WebGL. La suite est par ici : https://lumalabs.ai/luma-web-library

Scan 3D avec l'app Luma sur iPhone

II - Quel est le secret ?

En vous lançant dans le scan 3D, vous allez rencontrer une technologie à ne pas confondre avec les célèbres jouets, oui on vous parle bien de NeRF, avec cette orthographe précise !

Après consultation de notre stagiaire perpétuel, le bien nommé ChatGPT, nous découvrons que la technologie NeRF, acronyme de Neural Radiance Fields, est une méthode de modélisation et de rendu 3D qui utilise des réseaux de neurones profonds pour synthétiser des images photoréalistes. Cette approche permet de créer des représentations 3D détaillées d’une scène à partir d’un ensemble limité de photographies prises sous différents angles. 

Les avantages de NeRF incluent la capacité de générer des images extrêmement réalistes avec des effets de lumière complexes tels que les ombres douces, les reflets et la translucidité.

III - Comment fonctionne Luma App ?

On commence avec l’application Luma, donc le propos ici ne s’adresse qu’aux possesseurs d’iPhone ou d’iPad. On l’a déjà dit, l’accès est gratuit. Sa simplicité est désarmante, on vous laisse en juger ci-dessous, où vous trouverez le process décomposé en 5 étapes, suivi d’un tuto en vidéo.

Luma Home

Étape 1 : Au démarrage l’application donne accès aux fonctionnalités de Scan (Luma.AI) et de Génération (Genie).

IMG_6565

Étape 2 : Calibrage de la zone qui contiendra l’objet à scanner.

Zone de capture avec Luma

Étape 3 : Un volume englobe l’objet. Un redimensionnement peut être réalisé pour un scan optimal.

Suivre le chemin de fer sur l'application Luma

Étape 4 : L’intérêt de l’application réside dans la présence de guides. Ces chemins de fer apparaissent en haut, au milieu et au bas de l’objet.

Upload de la captation

Étape 5 : Il ne reste plus qu’à expédier le scan pour un rendu, avec la possibilité de retirer les personnes présentes au moment de la captation.

Téléchargement dans différents formats : gltf, obj, etc.

Étape 6 : Le résultat peut être exploité sous la forme d’une vidéo, ou téléchargé dans différents formats 3D (gltf, obj,…) pour des ajustements et une exploitation dans des environnements qui le permettent. 

Et sous Android ?

Luma App n’existe pas pour Android. Cependant, il existe une solution, moins optimale certes, mais qui fonctionne tout aussi bien. Procédez de la plus simple des façons, en enregistrant une vidéo. Ayez à l’esprit que si vous aviez l’application sur votre smartphone, 3 guides ayant l’aspect de chemins de fer vous seraient proposés pour une captation efficace. Le premier au sommet, le second à mi-hauteur et le dernier à la base de l’objet scanné. Vous devez les suivre, les compléter avant de procéder au rendu. Sous Android, faites donc comme si ces chemins de fer vous étaient visibles. Voyez le tuto présent au sein de cette page pour plus de précisions.

IV - Les tutos : quelle exploitation en formation digitale ?

La courte vidéo ci-dessous vous propose de suivre la démonstration qui vise à produire un objet 3D en quelques minutes, puis de l’exporter pour l’intégrer dans un outil auteur d’immersive learning, ici Sphere de Speedernet

V - Verdict

L’évaluation ci-dessous ne concerne que l’usage fait de cette solution par un formateur, sans que celui-ci n’ait besoin de compétences tierces.

Simplicité d’utilisation : ★★★★☆ 

Qualité de la production: ★★★☆☆

Facilité d’exploitation du résultat : ★★★★☆ 

Pertinence pour la production pédagogique : ★★★★☆ 

Tarif : ★★★★★ (gratuit pour l’instant)

Luma a peu de défauts, mais elle est encore loin d’être parfaite. Sans parler de ce que l’on peut faire en exploitant les fichiers 3D (gltf, obj, etc), on observe les défauts de rendu à l’œil nu. Est-ce que cela signifie que Luma n’est pas exploitable, évidemment non. En apportant un soin tout particulier au scan, en assurant de bonnes conditions de luminosité, le rendu ne devrait en être que meilleur. 

A ce jour, les objets scannés sont utilisables. Ils vont parfois nécessiter des retouches, et c’est là qu’il vous faut les compétences 3D. C’est donc ici que se situe ce que nous percevons soit comme une limite, soit comme une opportunité pour les learning managers, les concepteurs pédagogiques, qui en faisant évoluer leurs compétences ouvrent grand les portes de la magie de la 3D.

Grâce à Luma, la modélisation 3D est désormais possible et accessible à tous et toutes.

Image de Nicolas Lozancic

Nicolas Lozancic

Formateur vidéomobile, podcast, narration, IA