Publicado el 30 de julio de 2024
En Siggraph, Shutterstock reveló su nuevo modelo de IA generativa de texto a 3D, una API que se puede usar en un navegador o conectarse a un software 3D como Blender para crear modelos viables en minutos. Ser capaz de crear modelos 3D a partir de indicaciones o referencias de imágenes realmente podría abrir una forma de arte compleja a millones de nuevos creativos.
Como indicó el informe de Adobe del año pasado, el futuro del diseño es 3D, y hemos tenido pequeños pasos para enviar texto a 3D en el último año, pero el nuevo modelo de IA generativa de Shutterstock revelado en Siggraph 2024 es uno de los mejores que he visto. Esta API generativa está construida utilizando la arquitectura de IA generativa de NVIDIA Edify y ha sido entrenada sobre el contenido propio de Shutterstock, que incluye "medio millón de modelos 3D de origen ético, más de 650 millones de imágenes", por lo que tiene una base ética.
Vi los primeros resultados de la IA 3D de Shutterstock el año pasado, lo que resultó en una "sopa de triángulos", como me dice honestamente Dade Orgeron, vicepresidente de innovación de Shutterstock. El nuevo modelo está muy alejado y ofrece modelos 3D que los creativos y artistas pueden usar en la creación de marcas, prototipos, previz y las primeras etapas del diseño del juego. "Puedes crear quads puros", comenta Dade. "Esto es genial para poder hacer animación [y] obtienes una malla realmente agradable y amigable con los artistas".
Los modelos de IA de Shutterstock tienen espacio para descripciones de mensajes de 500 palabras, por lo que "puedes obtener muchos detalles" y la API incluso tiene un "potenciador de mensajes", por lo que limpiará y orientará el texto de tu mensaje si es necesario. O puede colocar una imagen y renderizar un modelo 3D a partir de esa referencia. Finalmente, la herramienta le permite añadir texturas, construyendo a partir de un color base simple antes de incluir materiales PBR y rugosidad.
"Planeamos ofrecer un generador de materiales en un futuro cercano, de modo que si necesita materiales pero no quiere comenzar desde cero, podrá usar IA generativa para construir esos materiales", dice Dade.
Una vez que se crea un modelo, se puede exportar como formatos GLB, USDz y obj, como triángulos y mallas cuádruples, con materiales de renderizado de base física (PBR). Esta IA finalmente está superando a los modelos utilizables. Dade me cuenta durante mi demostración de Siggraph cómo la idea detrás de esta plataforma de IA de generación no es reemplazar a los artistas 3D, sino en primer lugar dar a los creativos un punto de partida para evitar la ansiedad de una pantalla en blanco. También está dirigido a los recién llegados al modelado 3D.
"Esta es una excelente manera para las personas que no saben nada sobre 3D y realmente quieren entrar en 3D, y realmente comenzar a crear prototipos y desarrollar mundos y entornos y otras cosas por el estilo", explica Dade. "Esto significa que ya no tienes que empezar a modelar desde cero. Así que puedes empezar a desarrollar ideas. Es una herramienta muy, muy poderosa para capacitar a personas que en realidad no saben mucho sobre 3D".
Recibe el boletín de Creative Bloq
Noticias diarias de diseño, reseñas, instrucciones y más, según lo elijan los editores.
La velocidad es importante, ya que el chat de Dade revela que la herramienta Shutterstock gen AI del año pasado crearía un modelo 3D a partir de un mensaje en 40 minutos en ocho GPU (muchos artistas 3D dirían con razón que son más rápidos), ahora está más cerca de dos minutos para una malla. "Lo que es realmente genial es que puedes obtener una vista previa de lo que quieres generar en unos 10 segundos, para que puedas iterar rápidamente", dice Dade.
Shutterstock ya tiene un plug-in Blender listo para lanzarse en septiembre con el lanzamiento comercial, por lo que puede generar modelos en la ventana gráfica para iterar en el software. También se está desarrollando un complemento 3ds Max, lo que demuestra que Shutterstock tiene un enfoque comercial en los usos de su IA generativa.
Dade dice que los estudios de videojuegos son una base de usuarios obvia, pero destaca cómo la IA generativa puede abrir el modelado 3D a más sectores. "Estamos trabajando con un gran fabricante de juguetes que estaba realmente interesado en utilizar esta tecnología para crear prototipos de nuevas ideas para las marcas", revela Dade. "Así que puedes ver que hay muchas aplicaciones aquí. Y debido a que no requiere esa experiencia en 3D para comenzar, abre la creación de prototipos, el [diseño] conceptual y la concepción a más personas en estas organizaciones".
En este momento, la IA 3D de Shutterstock crea modelos buenos para la concepción, pero no para la producción final, pero esto está por venir, dice Dade. La "curva del palo de hockey" está aumentando bruscamente y cada nueva versión ofrece mejores resultados. Dade me dice que en un futuro próximo la IA creará modelos más nítidos y de mayor resolución, texto e incluso segmentación de objetos, lo cual es imprescindible.
Dade también está dispuesto a señalar las fallas de la IA, y cómo no es la solución "bala de plata" para todos los problemas, y cómo obtener buenos resultados de la IA requiere tiempo y creatividad. "Realmente es solo otra herramienta para habilitar tus habilidades creativas", dice.
Una de las ramificaciones del desarrollo de la IA de Shutterstock para modelos 3D fue la creación de imágenes generativas 360 HDRI de 16K, que crean entornos naturales ricos y detallados para iluminar escenas 3D a partir de mensajes de texto. Estas imágenes 360 HDRI se pueden crear a partir de indicaciones o se puede cargar una sola imagen y Shutterstock AI generará una imagen envolvente a partir de esa referencia. Si bien el generador de modelos de texto a 3D está acaparando los titulares, esta nueva función podría encontrar silenciosamente muchos fanáticos en la comunidad.
Es una característica que sucedió "muy rápidamente" para el equipo a medida que el modelo comenzó a producir resoluciones cada vez más altas a medida que la curva de mejoras del "palo de hockey" experimentaba mejoras más rápidas. Dade dice que podemos esperar más funciones nuevas como el generador de imágenes HDRI a medida que evoluciona la API de IA.
"Vamos a seguir viendo estos diferentes productos desarrollarse en un segundo plano por un tiempo, y luego obtendrás este resultado que hará volar los calcetines de todos", dice, provocando nuevas características como el aparejo y la animación, así como la creación de música y video, para eventualmente hacer de Shutterstock una "plataforma de IA muy robusta y generativa".
Visite el nuevo sitio web de Shutterstock 3D AI y regístrese para obtener acceso anticipado. Los desarrolladores y las empresas pueden registrarse en el sitio web de Nvidia Edify para obtener acceso. Si eres nuevo en el arte 3D, lee nuestra guía de los mejores portátiles para el modelado 3D para empezar.