Enlace que ponen en AVSFORUM de esta entrevista sobre el Procesador Cognitivo de los BRAVIA XR
オンライン開催されたCES2021のソニーブースでは、同社テレビの新しいラインナップとして「ブラビアXR」が発表された。8K液晶テレビの「Z9J」と、4K液晶テレビの「X95J」「X90J」、4K有機ELテレビの「A90J」「A80J」シリーズという構成だ。これらに共通した特徴が、新しい映像エンジンとして「Cognitive Processor XR」を搭載していること。今回は、その新エンジンの特長や今後の製品展開について、ソニーホームエンタテインメント&サウンドプロダクツ株式会社TV 事業本部 技術戦略室Distinguished Engineer 小倉敏之さんと、同 商品企画部...
online.stereosound.co.jp
Con un traductor de japonés, quedaría decentemente así:
En el stand de Sony en el CES2021, celebrado en línea, la compañía anunció su nueva línea de televisores Bravia XR, que consiste en el televisor LCD Z9J 8K, los televisores LCD X95J y X90J 4K, y las series de televisores OLED A90J y A80J 4K. Una característica común a todos ellos es el nuevo motor de vídeo Cognitive Processor XR. Hablamos con Toshiyuki Ogura, ingeniero distinguido de la Oficina de Estrategia Tecnológica de la División de Negocios de TV, y con Toshiyuki Suzuki, director general del Departamento de Planificación de Productos de Sony Home Entertainment & Sound Products Corporation, sobre las características del nuevo motor y el desarrollo de futuros productos. (Editor)
Asakura: Uno de los temas candentes en CES2021 fue la nueva línea BRAVIA XR de Sony y el motor de vídeo Cognitive Processor XR. En primer lugar, háblenos de los puntos que Sony ha tenido en cuenta a la hora de desarrollar estos nuevos productos.
Ogura: Una de las razones de ser de Sony es "llenar el mundo de emoción mediante el poder de la creatividad y la tecnología". Para explicarlo un poco más claramente, nuestra dirección principal es acercarnos a la gente y conectar a las personas entre sí.
Si aplicamos esto a la electrónica como negocio, la idea es cómo acercar a creadores y usuarios. ¿Cómo hacemos llegar la emoción creada por los creadores a los usuarios a través de la televisión? En nuestro caso, eso es lo que hace BRAVIA.
Hasta ahora, hemos trabajado duro para desarrollar la compatibilidad con formatos avanzados y equipos de reproducción de audio de alto rendimiento, y para encontrar la manera de transmitir fielmente las intenciones de los creadores, que son la fuente de inspiración. Nuestro objetivo es ser fieles al corazón del creador.
Creo que lo hemos conseguido a un nivel bastante alto. La siguiente pregunta es, ¿qué pasa con el espectador? ¿Y el espectador? Pensamos en lo que podíamos hacer por las personas y los usuarios que serían los destinatarios, y decidimos que "prestando atención al ámbito de la sensibilidad", podrían sentir más plenamente la verdadera belleza y emoción de las imágenes.
En los últimos tiempos, las imágenes en 8K y otras de alta definición se han convertido en algo habitual, y la calidad de la imagen ha evolucionado hacia un ámbito que ya no puede expresarse sólo con especificaciones. Si no entramos en el "reino de la sensibilidad", no creo que podamos evolucionar la calidad de la imagen y las imágenes en el futuro.
Pensamos que esto llevaría a considerar tanto las intenciones del creador como la sensibilidad del espectador. Conectar las intenciones del creador con las expectativas del espectador, es decir, conectar personas con personas, es un punto importante en la evolución de la calidad de la imagen en el futuro.
Asakura: Desde hace un par de años, la política de Sony ha sido enfatizar el desarrollo para los creadores, y he pensado que no se ha hablado mucho de los usuarios. Así que finalmente vas a empezar a trabajar en el lado de la audiencia.
Ogura: Hace mucho tiempo, creo que hablamos de eliminar las distorsiones en el sistema de transmisión cuando se reproducen contenidos, y de eliminar las diferencias en el rendimiento de los dispositivos de visualización. Eso puede eliminarse trabajando en el lado del hardware.
Hace tiempo que pienso que el siguiente paso es entrar en el terreno de la sensibilidad. Creo que por fin hemos llegado a ese punto y estamos preparados para afrontarlo.
Asakura: ¿Significa esto que los futuros televisores de Sony reflejarán las intenciones de los creadores, al tiempo que incorporarán funciones que respondan a las percepciones de los usuarios?
Ogura: La serie BRAVIA XR lo implementa como televisor, y el motor de vídeo para ello es el Cognitive Processor XR. Es el resultado de nuestros esfuerzos en el ámbito "cognitivo" para tener en cuenta la sensibilidad humana.
Asakura: "Cognitivo" es una palabra que no estoy acostumbrado a escuchar, pero ¿qué significa?
Ogura: Efectivamente, "cognitivo" es una palabra que todavía no está muy extendida en el mundo. Es una imagen de la cognición, la percepción de las cosas por parte de una persona, o la comprensión del lenguaje humano por parte de la IA.
Asakura: Se trata de la llamada "ingeniería cognitiva". Entonces, ¿cómo se aplica a las imágenes?
Ogura: Por ejemplo, si se piensa en la cantidad de intención del creador (Creator's Intent) que se pone en el contenido, hay varios niveles, como los contenidos muy fuertes, como las películas, y a la inversa, menos. Es importante hacer coincidir este nivel con el nivel de reconocimiento y recepción por parte del usuario.
Asakura: ¿Quiere decir que el nivel de reconocimiento cambia según el campo de contenido?
Ogura: Sí, así es. Tendrá que cambiar el nivel de reconocimiento y la forma en que se muestra. Mediante el análisis del contenido, el objetivo es responder al reconocimiento de la persona más adecuada.
Asakura: ¿Cuál es el proceso específico?
Ogura: La percepción humana consiste en juzgar las cosas a través de la percepción y hacer uso de esa información. En el caso de las máquinas, es importante hacer que juzguen las cosas de una manera similar a la humana.
Hasta ahora, la IA se ha utilizado para analizar el vídeo de entrada mediante el aprendizaje automático y otros métodos. Esto es eficaz para analizar la información en detalle para cada objeto. Sin embargo, en el caso de los seres humanos, incluso cuando miramos la misma imagen, la forma en que la vemos y la reconocemos cambia en función de las circunstancias que la rodean.
Asakura: Así es. Los seres humanos tienen diferentes puntos de mirada y puntos de interés.
Ogura El punto de mira es exactamente lo importante. Si nos centramos en cómo expresar correctamente el punto de mirada, podemos captar imágenes con la misma sensación que cuando la gente las ve realmente. Cómo recuperar el punto de mira es el punto clave de este proyecto. En el caso de las películas, es fácil de entender porque los creadores indican "este es el punto de mira" mediante el enfoque y otros efectos. ......
Asakura: efectos de encuadre y enfoque. Ciertamente, en el caso de las películas, los ojos son atraídos hacia ese punto, ya sea que deban o no.
Ogura: Esa es su técnica y la intención del creador. Sin embargo, en los deportes y los documentales, a menudo es imposible hacer un uso completo de estas técnicas. Sin embargo, pensamos que añadiendo un tratamiento que te hiciera sentir como si estuvieras allí, podíamos hacer que te sintieras como si estuvieras allí, o potenciar aún más la emoción que la imagen está tratando de transmitir.
Asakura: Con BRAVIA XR, aunque las imágenes sean las mismas que antes, puedes experimentar la sensación de estar allí.
Ogura: No es una imagen completamente diferente a la de antes. Es una imagen de aspecto natural, así que no te sorprenderá lo bonita que es. Por el contrario, se convierte en una imagen agradable para la gente, y creo que se puede notar la diferencia al compararlos.
Asakura: No estás diciendo: "Mira esto" o "Esto es increíble. Más bien se trata de hacer que el objeto o el reflejo se sientan más naturales, ¿no es así?
Ogura: Tienes razón. Durante los últimos años, nos hemos centrado en la intención del Creador. Para lograrlo, necesitábamos formatos de vídeo y equipos de reproducción de mayor nivel, y ahora hemos alcanzado un cierto nivel. Ahora que hemos alcanzado un cierto nivel, podemos pasar a la siguiente fase, que consiste en ofrecer a la gente un entorno más cómodo para la reproducción de contenidos. El Procesador Cognitivo XR es el inicio de este proceso.
Asakura: Ahora que formatos como el 4K y el 8K se han asentado, la siguiente cuestión es cómo elevar el nivel de emoción dentro de ellos. Entonces, por favor, díganos específicamente cómo funciona el Procesador Cognitivo XR esta vez.
Ogura: Por ejemplo, un vídeo de escalada. Hasta ahora, analizábamos cada objeto y luego procesábamos a la persona en el centro. La idea era añadir un tratamiento a la imagen de una persona en una situación de peligro, para que la gente le prestara atención.
Asakura: Hablas de cómo procesar al sujeto para que el espectador pueda reconocer que la persona se encuentra en una situación de peligro.
Ogura: Sin embargo, en cuanto a la imagen en su conjunto, por ejemplo, si el árbol del fondo se ve demasiado cerca, no se percibirá como un acantilado alto. No se percibiría como una situación peligrosa.
Por eso es importante crear una sensación de profundidad en el conjunto de la imagen. En la práctica, no es posible utilizar el reconocimiento con tanto detalle, pero el Cognitive Processor XR pretende crear imágenes que lo hagan.
Hay mucha información en una sola foto. Hasta ahora, nos hemos centrado en un solo dato para crear una imagen. Esta vez, integraremos la información de los distintos análisis y la procesaremos de forma que la imagen tenga este aspecto. Optimizamos la imagen incluyendo el reconocimiento humano en este procesamiento integrado.
Asakura: En ese caso, evoca una cierta emoción en el espectador. La televisión ofrece al usuario más información sensorial y emocional, como "es peligroso".
Ogura: Si la intención del creador es fuerte desde el principio, como en una película, golpeará fuertemente al espectador, pero para las imágenes que no son así, esperamos guiar más la emoción humana a través del Procesador Cognitivo XR.
La cognición humana toma sus propias decisiones sobre cómo debe procesarse la información de entrada. El Procesador Cognitivo XR tiene como objetivo el mismo tipo de procesamiento.
Asakura: Se trata de una evolución muy significativa para un motor de vídeo.
Ogura: En el pasado, hemos aumentado la cantidad de procesamiento, hemos realizado varios análisis de cada objeto y hemos añadido un procesamiento óptimo a cada parte, pero no habíamos cuidado el equilibrio general. Esta vez, hemos podido optimizar toda la imagen para el espectador.
Asakura: Los televisores hacen hincapié en las cosas que la gente va a sentir, y eso es lo que los hace emocionar. Sería interesante que pudiéramos decir: "Con BRAVIA XR, sólo sale bien lo que quieres ver, mientras que con los televisores convencionales, el énfasis está en toda la pantalla".
Por cierto, hay razones por las que la gente percibe las cosas de manera diferente. Hay muchos factores, como la etnia, el sexo, la edad y la personalidad, pero ¿has pensado en un denominador común para este proyecto?
Ogura: En el futuro, tendremos que considerar esas cosas, pero primero procesaremos la parte media de las percepciones de la gente. Esta vez, sin embargo, creo que hemos entrado en un nivel de procesamiento completamente diferente de lo que hemos hecho hasta ahora.
Nuestro motor de vídeo de alta definición ha evolucionado desde la X1 hasta la X1 Extreme y la X1 Ultimate, pero esta vez, en lugar de limitarse a aumentar la cantidad de procesamiento, hemos incluido el procesamiento de la calidad de la imagen y del vídeo desde una perspectiva diferente. El Cognitive Processor XR es completamente diferente de los anteriores procesadores X1.
Asakura: Hasta ahora, hemos evolucionado de forma constante en la dirección de la potencia de procesamiento, pero hemos cambiado de dirección y hemos apuntado a un punto cualitativo. Además, el hecho de que sea diferente de la IA de moda es nuevo.
Ogura: La IA es necesaria a la hora de analizar diversas informaciones, pero también analiza el reconocimiento. Es importante utilizarlos de forma integrada. Al combinar los métodos de análisis convencionales con el análisis de reconocimiento, podemos hacer realidad la próxima generación de procesamiento de imágenes.
Asakura: A continuación, me gustaría hablar con el Sr. Suzuki, del Departamento de Planificación de Productos. En primer lugar, ha dicho que ha creado un producto increíble llamado Cognitive Processor XR. El departamento del Sr. Suzuki se encarga de comercializarlo.
Sin embargo, este procesador cognitivo XR cambiará toda la imagen, por lo que no es algo fácil de entender en términos de ventas, como 4K u 8K. ¿Cómo piensan incorporar esto a los televisores para atraer a los consumidores?
Suzuki: Con BRAVIA XR, seguiremos haciendo que las películas sean tan bonitas como antes. A diferencia de las películas y los dramas, donde la intención del creador es fácil de entender, los deportes se juegan en directo, por lo que es difícil transmitir las intenciones del creador.
Sin embargo, con el Procesador Cognitivo XR, puede experimentar una sensación de realismo como si estuviera viendo a un ser humano en un estadio. Especialmente en una pantalla grande, es más fácil transmitir una sensación de acción en vivo. Esta vez, el Cognitive Processor XR está equipado con una función de upmix de audio de 2 canales tanto para el sonido como para las imágenes. Creo que será un televisor que te permitirá disfrutar de la experiencia de estar allí, tanto en imagen como en sonido.
Asakura: En cuanto al sonido, me gustaría que se utilizara la tecnología de "separación de fuentes de sonido AI" de Sony (ver enlace relacionado). Con esta tecnología, la fuente de sonido de entrada se separa en materiales y se reorganiza para Dolby Atmos. Sería bueno que pudiéramos poner nuestras intenciones y percepciones como sonido.
Ahora, como producto, los televisores reproducen una gran variedad de géneros, incluso deportivos, pero ¿tiene alguna idea sobre cómo utilizar esta tecnología de forma útil?
Suzuki: Al ver los deportes, el mensaje suele aparecer al mismo tiempo que la imagen del jugador. En el pasado, cuando intentábamos aumentar la nitidez de la imagen para mostrar a los jugadores con claridad, el mensaje provocaba la aparición de ruido, pero el Cognitive Processor XR puede procesarlo por separado, por lo que podemos reproducir las imágenes sin ruido innecesario a la vez que ganamos en sensación de presencia. Además, cuando hay varios jugadores en la pantalla, es posible seleccionar el jugador que todos quieren ver más y procesarlo.
Asakura: ¿Así que el televisor hace todo este procesamiento automáticamente?
Suzuki Sí, lo hace.
Asakura: En el CES de este año, la línea BRAVIA XR incluye modelos 4K y 8K.
Suzuki Hemos anunciado un total de cinco series, incluyendo un modelo LCD 8K, y modelos OLED y LCD 4K. Han pasado más de 15 años desde que lanzamos BRAVIA, pero XR es una línea representativa de las experiencias que Sony ofrecerá en el futuro, y la distinguiremos de los BRAVIA convencionales. Los modelos equipados con el procesador cognitivo XR se denominan BRAVIA XR, y tendrán una marca diferente a la de los BRAVIA normales.
Asakura: Así que habrá dos modelos de Bravia. ¿Así que el BRAVIA XR será el tope de la gama?
Kokura: No es un modelo de gama alta, sino una versión evolutiva.
Asakura: Puedo percibir el entusiasmo y la confianza de Sony en el Cognitive Processor XR por el hecho de que se está desarrollando bajo una nueva marca. La serie BRAVIA XR saldrá primero a la venta en el mercado estadounidense y, si todo va según lo previsto, debería salir a la venta en Japón hacia la primavera. Estoy deseando ver qué tipo de imágenes impresionantes nos mostrarán.