OpenAI rachète Glass Imaging pour plus de 300 millions de dollars
infohightech ·
OpenAI a acquis la start-up Glass Imaging Inc., spécialisée dans l'intelligence artificielle (IA) et l'imagerie pour appareils photo de smartphones, pour plus de 300 millions de dollars, selon un article du Wall Street Journal paru le 14 septembre. Ni OpenAI ni Glass Imaging n'ont officiellement confirmé l'accord, tandis que les médias étrangers y voient une nouvelle étape dans la stratégie d'OpenAI visant à s'implanter sur le marché du matériel grand public.
Glass Imaging développe une technologie de traitement d'images basée sur l'IA, conçue pour pallier les limitations physiques des petits capteurs et objectifs des smartphones. Cette acquisition suscite l'intérêt car OpenAI développe des appareils grand public en collaboration avec Jony Ive, ancien designer renommé d'Apple.
Ive a dirigé la conception de produits Apple, notamment l'iPhone, l'iPad et l'iPod. Depuis l'automne 2023, OpenAI développe de nouveaux appareils d'intelligence artificielle avec Ive et son agence de design LoveFrom.
"J'ai fondé io Products Inc. en 2024 avec Scott Cannon, Evans Hankey et Tang Tan, et OpenAI a fait son entrée sur le marché du matériel grand public en acquérant io Products en mai de l'année dernière. OpenAI a annoncé une transaction entièrement en actions valorisant io Products à 6,5 milliards de dollars et a finalisé l'acquisition en juillet de la même année."
Suite à cette acquisition, 55 employés spécialisés dans le matériel, les logiciels et le développement de produits, dont d'anciens collaborateurs d'Apple chez io Products, ont rejoint OpenAI. Aucun nouvel appareil d'IA n'a été officiellement annoncé, mais Bloomberg a rapporté le mois dernier que le premier appareil développé par OpenAI et Ive serait une enceinte connectée sans écran, en forme de donut, dont le prix, entre 300 et 400 dollars, est en discussion.
Le secteur suit de près la décision d'OpenAI d'acquérir sa technologie de caméra IA.
Si des agents d'IA sont intégrés à des smartphones, des lunettes, des écouteurs ou d'autres appareils personnels, les caméras peuvent servir de capteurs clés permettant à l'IA de percevoir le monde physique. Les lunettes intelligentes actuelles permettent aux utilisateurs de montrer à l'IA des objets ou des lieux spécifiques via une caméra, lui permettant ainsi de les reconnaître, de les décrire ou de les analyser.
L'imagerie sur verre utilise une IA entraînée sur les caractéristiques optiques pour surmonter les limites des appareils photo de smartphones.
Fondée en 2019, Glass Imaging, dont le siège social est situé à Los Altos, en Californie, a levé 30 millions de dollars de fonds externes. L'entreprise était valorisée à 100 millions de dollars lors d'une levée de fonds l'année dernière. Cette dernière acquisition triple sa valorisation.
Ses cofondateurs, Ziv Attar et Tom Bishop, sont également d'anciens ingénieurs d'Apple. Attar a fondé la start-up israélienne LinX Imaging, spécialisée dans les appareils photo, qu'Apple a rachetée en 2015 pour 20 millions de dollars, ce qui a permis à Attar de rejoindre Apple.

Site web de Glass Imaging. (Photo : Glass Imaging)
Selon des médias étrangers, les deux cofondateurs ont dirigé l'équipe qui a développé le mode Portrait d'Apple. Ce mode a introduit l'effet bokeh sur les smartphones en détachant le sujet de l'arrière-plan et en floutant ce dernier.
Le bokeh est un terme photographique désignant les zones floues, les points lumineux ou les régions hors foyer en arrière-plan d'une photo ou d'une vidéo. Ce terme provient du mot japonais « boke », qui signifie flou ou brume. La photographie computationnelle est une technologie d'imagerie numérique qui utilise des calculs logiciels, des algorithmes et l'intelligence artificielle pour s'affranchir des limitations physiques des objectifs et des capteurs optiques et pour synthétiser et améliorer les images. Elle permet à des appareils fins dotés de petites ouvertures d'objectif et de petits capteurs, tels que les smartphones, de produire des images d'une qualité proche de celle des appareils photo reflex numériques.
La technologie de Glass Imaging utilise les données RAW originales capturées par un capteur d'appareil photo et traite l'ensemble du processus d'imagerie post-capture grâce à un réseau neuronal.
L'une des principales caractéristiques est que le réseau neuronal est préalablement entraîné sur le système de caméra spécifique utilisé dans chaque modèle de smartphone. Il apprend les caractéristiques des types de caméras, des capteurs, des objectifs et des autres composants d'un système de caméra particulier.
GlassAI entraîne des réseaux neuronaux sur des modules de caméra individuels
Au cœur de la technologie de Glass Imaging se trouve GlassAI, un logiciel de traitement du signal d'image (ISP) basé sur un réseau neuronal. Contrairement aux ISP classiques, qui traitent les données RAW en plusieurs étapes (dématriçage, réduction du bruit, netteté et fusion d'images), GlassAI utilise un réseau neuronal de bout en bout pour convertir les données RAW en images RVB (rouge, vert, bleu).
GlassAI effectue ces opérations simultanément tout en modélisant les caractéristiques optiques de chaque objectif. Le réseau neuronal est entraîné à refléter les caractéristiques optiques et de capteur de chaque module de caméra de smartphone, ce qui lui permet de produire des images adaptées à ce système de caméra spécifique lors de la prise de vue.

Le smartphone Honor 600 est équipé de la technologie Glass Imaging. Il utilise un appareil photo de 200 mégapixels et la technologie GlassAI pour la photographie avec zoom sans téléobjectif. (Source : Honor)
Alors que les technologies photographiques IA classiques se concentrent sur l'amélioration de la qualité des images après leur capture, GlassAI apprend les caractéristiques physiques des objectifs et des capteurs de l'appareil photo et utilise un réseau neuronal pour l'ensemble du processus de conversion des données RAW en images.
Selon SiliconANGLE, GlassAI mesure la fonction d'étalement du point (PSF) pour chaque combinaison objectif-capteur, ainsi que la réponse du capteur et les profils de bruit, et entraîne le réseau neuronal à corriger les défauts de cette combinaison spécifique. La PSF décrit mathématiquement la façon dont un point lumineux parfait se propage après avoir traversé un système optique tel qu'un appareil photo, un télescope ou un microscope. Par conséquent, tout changement de modèle de smartphone nécessite un entraînement et un réglage spécifiques au module caméra.
Glass Imaging affirme que les détails obtenus ne sont pas générés par l'IA, mais proviennent d'informations capturées par le capteur et qui seraient autrement perdues lors du traitement ISP classique. L'entreprise précise également que cette technologie est d'autant plus performante que la taille des pixels diminue.
D'après une interview accordée par Shivansh Rao, ingénieur en apprentissage automatique chez Glass Imaging, au magazine de photographie PetaPixel, les pixels submicroniques contiennent des détails très fins que les méthodes conventionnelles ne peuvent pas décoder correctement. Des tests ont montré que, lorsque la taille des pixels diminuait de 0,75 micromètre (µm) à 0,35 µm, l'approche par réseau neuronal améliorait le MTF50, une mesure de résolution, de plus de 50 %.

Comparaison d'images zoomées du même sujet prises avec le Honor 600 et l'iPhone 17. À gauche, Honor 600 traité par le réseau neuronal GlassAI ; à droite, iPhone 17 d'Apple. (Source : PetaPixel)
Cette technologie est utilisée pour la fonction zoom de la série 600 du fabricant chinois de smartphones Honor Device Co. Le Honor 600 est équipé d'un capteur principal de 200 mégapixels permettant le zoom sans téléobjectif dédié. Il utilise une configuration Hexa Bayer 16-en-1 qui combine 16 pixels de 0,56 µm en un superpixel équivalent à 2,24 µm pour la photographie classique.
La difficulté survient lors de l'utilisation du zoom. Recadrer une partie du capteur au lieu d'utiliser toute sa surface pour agrandir une image nécessite des informations provenant des petits pixels natifs de 0,56 µm. Plus les pixels sont petits, moins ils captent de lumière et plus ils sont sensibles aux limitations optiques, au bruit et au flou. Cette structure est intrinsèquement désavantagée par rapport à l'utilisation d'un téléobjectif dédié.
Glass Imaging utilise des réseaux neuronaux pour pallier ces limitations. GlassAI, préalablement entraîné sur les caractéristiques de l'objectif et du capteur d'un module caméra, analyse les données RAW du capteur et restaure les détails perdus lors du traitement d'image conventionnel. Selon Glass Imaging, cela permet aux pixels haute résolution de la caméra principale de produire des images zoomées de meilleure qualité sans avoir besoin d'un téléobjectif externe.
Le zoom reste un domaine où les appareils photo des smartphones sont confrontés à des limitations physiques. Contraints par leur épaisseur et leur taille, les smartphones ne peuvent intégrer de longs systèmes optiques comme ceux des reflex numériques. Même avec plusieurs objectifs, chacun a une focale limitée, et le zoom numérique entraîne une dégradation de la qualité d'image.
Le Honor 600 utilise GlassAI pour corriger les aberrations optiques et le bruit du capteur lors de la prise de photos avec zoom, et ainsi restaurer les détails de l'image. La technologie de Glass Imaging exploite l'intelligence artificielle pour compenser les limitations physiques des petits capteurs et objectifs, permettant ainsi d'obtenir des images zoom de meilleure qualité sur des appareils compacts.