Las gafas inteligentes Ray-Ban de Meta utilizan IA para ver, oír y hablar. ¿Cómo son?

En una señal de que la industria tecnológica se vuelve cada vez más extraña, Meta pronto planea lanzar una gran actualización que transforma Ray-Ban Meta, sus gafas con cámara que graban videos, en un dispositivo que solo se ve en películas de ciencia ficción.

El mes que viene, las gafas podrán utilizar un nuevo software de inteligencia artificial para ver el mundo real y describir lo que estás mirando, similar al asistente de inteligencia artificial de la película «Her».

Las gafas, que vienen en varios marcos a partir de 300 dólares y lentes a partir de 17 dólares, se han utilizado principalmente para tomar fotografías y vídeos y escuchar música. Pero con el nuevo software de inteligencia artificial, se pueden utilizar para escanear lugares famosos, traducir idiomas e identificar razas de animales y frutas exóticas, entre otras tareas.

Para utilizar el software de inteligencia artificial, los usuarios simplemente dicen: «Hola, Meta», seguido de un mensaje como «Mira y dime qué tipo de perro es este». Luego, la IA responde con una voz generada por computadora que se reproduce a través de los pequeños parlantes de las gafas.

El concepto de software de IA es tan novedoso y peculiar que cuando nosotros (Brian X. Chen, un columnista de tecnología que revisó los Ray-Ban el año pasado, y Mike Isaac, que cubre Meta y usa gafas inteligentes para producir un programa de cocina — Me enteré, nos moríamos por probarlo. Meta nos dio acceso temprano a la actualización y probamos la tecnología durante las últimas semanas.

Llevamos las gafas al zoológico, a las tiendas de comestibles y a un museo mientras interrogamos a la IA con preguntas y solicitudes.

El resultado: nos entretuvieron simultáneamente los errores del asistente virtual (por ejemplo, confundir un mono con una jirafa) y nos impresionaron cuando llevó a cabo tareas útiles como determinar que un paquete de galletas no contenía gluten.

Un portavoz de Meta dijo que debido a que la tecnología aún era nueva, la inteligencia artificial no siempre haría las cosas bien y que la retroalimentación mejoraría las gafas con el tiempo.

El software de Meta también creó transcripciones de nuestras preguntas y las respuestas de la IA, que capturamos en capturas de pantalla. Aquí están los aspectos más destacados de nuestro mes de convivencia con el asistente de Meta.

BRIAN: Naturalmente, lo primero que tuve que probar con la IA de Meta fue mi corgi, Max. Miré al perro regordete y le pregunté: «Oye, Meta, ¿qué estoy mirando?».

“Un lindo perro Corgi sentado en el suelo con la lengua fuera”, dijo el asistente. Correcto, especialmente la parte de ser lindo.

MIGUEL: La IA de Meta reconoció correctamente a mi perro, Bruna, como un “perro de montaña de Berna negro y marrón”. Casi esperaba que el software de inteligencia artificial pensara que era un oso, el animal con el que los vecinos la confunden más constantemente.

BRIAN: Después de que la IA identificó correctamente a mi perro, el siguiente paso lógico fue probarlo con animales del zoológico. Así que recientemente visité el Zoológico de Oakland, California, donde, durante dos horas, observé alrededor de una docena de animales, entre ellos loros, tortugas, monos y cebras. Le dije: “Oye Meta, mira y dime qué clase de animal es ese”.

La IA se equivocó la gran mayoría de las veces, en parte porque muchos animales estaban enjaulados y más lejos. Confundió un primate con una jirafa, un pato con una tortuga y una suricata con un panda gigante, entre otras confusiones. Por otro lado, quedé impresionado cuando la IA identificó correctamente una especie de loro conocida como guacamaya azul y dorada, así como cebras.

La parte más extraña de este experimento fue hablar con un asistente de IA en presencia de niños y sus padres. Fingieron no escuchar al único adulto solitario en el parque mientras yo aparentemente murmuraba para mí mismo.

MIGUEL: También tuve un momento peculiar haciendo compras. Estar dentro de un Safeway y hablar solo era un poco vergonzoso, así que traté de mantener la voz baja. Todavía recibí algunas miradas de reojo.

Cuando la IA de Meta funcionó, fue encantador. Cogí un paquete de Oreos de aspecto extraño y le pedí que mirara el paquete y me dijera si no contenían gluten. (No lo fueron). Respondió preguntas como estas correctamente aproximadamente la mitad de las veces, aunque no puedo decir que ahorró tiempo en comparación con leer la etiqueta.

Pero la única razón por la que me puse estos vasos fue para empezar mi propio Programa de cocina de Instagram – una forma halagadora de decir que me grabo preparando la comida de la semana mientras hablo conmigo mismo. Estas gafas hicieron que hacerlo fuera mucho más fácil que usar un teléfono y una mano.

El asistente de IA también puede ofrecer ayuda en la cocina. Si necesito saber cuántas cucharaditas hay en una cucharada y tengo las manos cubiertas de aceite de oliva, por ejemplo, puedo pedirle que me lo diga. (Hay tres cucharaditas en una cucharada, solo para su información).

Pero cuando le pedí a la IA que mirara un puñado de ingredientes que tenía y creara una receta, escupió instrucciones rápidas para una crema de huevo, lo que no es exactamente útil para seguir instrucciones a mi propio ritmo.

Un puñado de ejemplos para elegir podrían haber sido más útiles, pero eso podría requerir ajustes en la interfaz de usuario y tal vez incluso una pantalla dentro de mis lentes.

Un portavoz de Meta dijo que los usuarios podrían hacer preguntas de seguimiento para obtener respuestas más precisas y útiles de su asistente.

BRIAN: Fui al supermercado y compré la fruta más exótica que pude encontrar: una chirimoya, una fruta verde y escamosa que parece un huevo de dinosaurio. Cuando le di a la IA de Meta múltiples oportunidades para identificarlo, hizo una suposición diferente cada vez: una nuez cubierta de chocolate, una fruta con hueso, una manzana y, finalmente, un durian, que estaba cerca, pero no un plátano.

MIGUEL: La capacidad del nuevo software para reconocer puntos de referencia y monumentos parecía estar funcionando. Mirando hacia una cuadra en el centro de San Francisco hacia una cúpula imponente, la IA de Meta respondió correctamente: «Ayuntamiento». Es un buen truco y quizás útil si eres un turista.

Otras veces fueron impredecibles. Mientras conducía de la ciudad a mi casa en Oakland, le pregunté a Meta en qué puente estaba mientras miraba por la ventana frente a mí (con ambas manos en el volante, por supuesto). La primera respuesta fue el puente Golden Gate, que estaba equivocado. En el segundo intento, descubrió que estaba en el Puente de la Bahía, lo que me hizo preguntarme si solo necesitaba una toma más clara de los altos postes de suspensión blancos de la parte más nueva para estar en lo correcto.

BRIAN: Visité el Museo de Arte Moderno de San Francisco para comprobar si la IA de Meta podía hacer el trabajo de guía turístico. Después de tomar fotografías de unas dos docenas de pinturas y pedirle al asistente que me contara sobre la obra de arte que estaba mirando, la IA pudo describir las imágenes y qué medios se utilizaron para componer el arte, lo cual sería bueno para un estudiante de historia del arte. – pero no pudo identificar al artista ni al título. (Un portavoz de Meta dijo que otra actualización de software lanzada después de mi visita al museo mejoró esta capacidad).

Después de la actualización, intenté mirar imágenes en la pantalla de mi computadora de obras de arte más famosas, incluida la Mona Lisa, y la IA las identificó correctamente.

BRIAN: En un restaurante chino, señalé un elemento del menú escrito en chino y le pedí a Meta que lo tradujera al inglés, pero la IA dijo que actualmente solo admitía inglés, español, italiano, francés y alemán. (Me sorprendió porque Mark Zuckerberg aprendió mandarín).

MIGUEL: Hizo un trabajo bastante bueno traduciendo el título de un libro del inglés al alemán.

Las gafas impulsadas por IA de Meta ofrecen una visión intrigante de un futuro que parece distante. Los defectos subrayan las limitaciones y desafíos en el diseño de este tipo de producto. Las gafas probablemente podrían funcionar mejor para identificar animales y frutas del zoológico, por ejemplo, si la cámara tuviera una resolución más alta, pero una lente más bonita agregaría volumen. Y no importaba dónde estuviéramos, era incómodo hablar con un asistente virtual en público. No está claro si eso alguna vez se sentirá normal.

Pero cuando funcionó, funcionó bien y nos divertimos, y el hecho de que la IA de Meta pueda hacer cosas como traducir idiomas e identificar puntos de referencia a través de un par de anteojos que se ajustan a la cadera muestra cuán lejos ha llegado la tecnología.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *