Stories
|
The World of Coco | Bilingual
March 29, 2018
Written by Mike Seymour
RenderMan tackled some of the most complex rendering scenes yet attempted by Pixar, in the Oscar winning Coco. The 2017 film is based on an original idea by Lee Unkrich and is directed by Unkrich and co-directed by Adrian Molina. It tells the story of a 12-year-old boy, Miguel Rivera, who is accidentally transported to the land of the dead, where he seeks the help of his deceased musician great-great-grandfather to return him to his family and the living. The concept of the film is based on the Mexican holiday of [el] Día de los Muertos or the Day of the Dead. In the 'afterlife' environment the team at Pixar needed to produce a layered and complex environment with an incredible array of lights.
The main afterlife city of the Land of the Dead in Coco is based on the real world city Guanajuato in Mexico that the team visited during pre-production. Director Unkrich conducted an early research trip to Mexico with Pixar head of story Jason Katz, production designer Harley Jessup and Pixar producer Darla K. Anderson, visiting Mexico City, Morelia, Oaxaca and Guanajuato. Guanajuato's brightly terraced architecture on steep hillsides became the dominant reference, both for its colourful houses and the view at night when the hillside lit up.
Guanajuato, Mexico (iStock photo)
The Pixar city extrapolated the hillside idea, with The City of the Dead's layout being very much a vertical city, which contrasted with the film's depiction of Miguel's very flat hometown.
Interestingly, Pixar's team came up with a set of rules for the design of the city. In addition to being vast in scope, it was built for the dead, so there are no handrails or safety barriers, as the inhabitants are already dead. The city is a mix of styles and periods representing its citizens and their timelines.
One the most complex aspects of the film was the scope and use of lights. 29,000 lights were used in the train station scene. The cemetery had 18,000 lights and the City of the Dead used 2,000 practical lights in RenderMan. The studio team used the RenderMan API to create 700 special point cloud lights, which, when expanded, is equivalent to 8.2 million lights.
The Graveyard set with 18,000 lights.
At Pixar there is a special 'Lightspeed team' for each film. These teams sit between the tools team and the production, and they focus on solving project specific problems. For Coco the lead was Renee Tam. Her team was responsible for anything that might go wrong or slow down the film's production. Her team was also responsible for any project based R&D. At Pixar, if something is found to have an unacceptable long render time then the Lightspeed is given the task of solving the problem. Render time issues can involve aspects in RenderMan or how the production is working with RenderMan.
-Renee Tam, LightSpeed Lead on Coco
"Our department is responsible for research and development work to bring down the render time, or write new tools in the production pipeline to streamline whatever is needed", explained Tam. In addition to the core Lightspeed team, the RenderMan team normally assigns a couple of their own team's engineers to help with the enormous complexity of any Pixar film, This also allows the team to take lessons learnt from real world production back into the general implementation of RenderMan.
Concept Art by Ernesto Nemesio.
For example, when Coco first started the team looked at concept images from the art department, and the vast amount of lights in the concept art. "We were like 'Holly cow, this is something we have never done before" recalls Tam, "And so at that very moment, we started working with the RenderMan team, and they were awesome". The team outlined the seemingly impossible problem of rendering shots with so many lights. "At the very beginning we told them that Coco would need "a lot of lights", but I never told them what that actually meant," Tam laughingly recalls. The problem was not just the number but also the complexity as the production team wanted to maintain control over the vast array of lights, including the ability to have gels, gobos and blockers (barn doors), in fact anything that generic lights could have in RenderMan normally. In the old PRMan the vast lighting plans in the Coco storyboards and concept art, would have been impossible to implement.
The Lightspeed team did a test with the old PRMan and it was beyond unworkable for what the production needed, in fact, the tests could never successfully complete a render. "So the RenderMan team went back and thought about the problem and came back with a proposal for a new lighting schema that would lower the render time substantially." However the team hadn't actually seen any concept art themselves. "Anyway they came back after a little time and we tried the new schema, and we told them great - it does now render but it takes 1000 hours a frame to get anything that looks like something we might want, and it was still really noisy." she explains. "When we showed the RenderMan team they were confused, - why would it take so long they asked? And then they looked at our setup and said 'wait a second - how many lights do you call 'a lot of lights' and I answered; at last count we had instanced our lights out to about 8 million lights. At that point we all went into a second round of R&D!"
Land of the Dead Technical Breakdown
Learn more about the future of RenderMan with the presentations at Pixar's Art & Science Fair
The team did solve the problem, together they worked out a new point cloud lighting system. The new approach dispensed with some filtering, it also ignored lights that, due to position, could not contribute, and it reduced complexity on distant point cloud lights. The giant point light set system takes advantage of an Octree system that sampled the lights more efficiently. It then integrated with a new lighting picking system which focuses on the closer lights to have more articulated controls. After 6 months the Lightspeed and RenderMan team had a system that gives the effect of millions of lights and took the notional render time on the complex shots down from 1000 hours to 450 hours. The team continued and reduced this further to 125 hours and finally 75 hours a frame. With some additional work on the way the production team worked with the lighting in shots, the final per frame time at the end of production was just 50 hours per frame.
“50 Hours per frame" does not mean that one frame literally took 50 hours to complete at Pixar. It refers to the time it would have taken if the frame was not rendered on Pixar's Render farm but instead was rendered on a single core machine. Eg. 50 machines/cores would render the frame in one hour.
The Lightspeed team did other innovative lighting developments. Tam explained at Siggraph Asia last year how her team also took advantage of the Firefly special tool, that they had developed on The Good Dinosaur, that could bind sets of different lights to the same object. This was then improved for use in Coco: City of the Dead scenes, and it proved very effective. Other improvements from the Lightspeed team went into Presto and other areas, not render related.
RenderMan's current version is 21.7. The RIS technology in the current RenderMan is a highly-optimized framework for rendering heavy geometry, hair, volumes, and irradiance with incredible efficiency in a single pass.
UNLIKELY DUET -- Aspiring musician Miguel (voice of Anthony Gonzalez) teams up with charming trickster Hector (voice of Gael García Bernal) on a life-changing journey through the Land of the Dead.
RenderMan has established itself as one of the most flexible, powerful, and reliable tools for rendering cinematic imagery. RenderMan's RIS framework was designed from the outset to trace rays as fast as possible. With a new framework consisting of integrators, BRDF's (written in C++), and intelligent light services. RIS is allowing RenderMan to set new standards for both speed and memory efficiency when rendering complex production scenes such as the ones In Coco. RenderMan v22 is expected to be released and shown at SIggraph 2018 later this year. RenderMan's next film from Pixar is the Incredibles 2, to be released in June.
Lee Unkrich at the BAFTAs - as posted on his personal Twitter feed.
The film Coco has received praise for its animation, vocal performances, musical score, songs, emotional story and respect to Mexican culture. It earned numerous accolades, including winning Best Animated Feature (and Best Song) at this year's 90th Academy Awards. The film has also won the 2018 BAFTA for best animated film.
Escrito por Mike Seymour y traducido por Leif Pedersen.
RenderMan abordó algunas de las escenas de renderizado más complejas que ha intentado Pixar en la pelicula Coco, la cual ha sido galardonada con el Oscar. La pelicula está basada en una idea original de Lee Unkrich y está dirigida por Unkrich y co-dirigida por Adrian Molina. Coco cuenta la historia de un niño de 12 años, Miguel Rivera, que accidentalmente es transportado a la Tierra de los Muertos, donde busca la ayuda de su fallecido músico tatararbuelo para devolverlo a su familia y los vivos. El concepto de la película se basa en la fiesta mexicana del Día de los Muertos. En el mundo de los muertos, el equipo de Pixar necesitaba producir un entorno complejo y con una increíble variedad de luces.
La principal ciudad de la Tierra de los Muertos en Coco se basa en la ciudad real de Guanajuato en México, la cual visitó el equipo creativo durante la preproducción. El Director Unkrich realizó un temprano viaje de investigación a México con el jefe de historia de Pixar, Jason Katz, la diseñadora de producción Harley Jessup y la productora de Pixar, Darla K. Anderson, los cuales visitaron la Ciudad de México, Morelia, Oaxaca y Guanajuato. La arquitectura de las amplias terrazas de Guanajuato en sus empinadas laderas se convirtió en la referencia principal, tanto por sus coloridas casas como por las increibles laderas iluminadas de noche.
Guanajuato, Mexico (iStock photo)
La ciudad de Pixar extrapoló la idea de la ladera, trazando La Tierra de los Muertos como una ciudad vertical, que contrastaba con la ciudad natal de Miguel, la cual era mucho mas plana.
Curiosamente, el equipo de Pixar ideó un conjunto de reglas para el diseño de la ciudad. Además de ser enorme, fue construida para los muertos, por lo que no hay barandillas o barreras de seguridad, ya que los habitantes ya están muertos. La ciudad es una mezcla de estilos y períodos que representan a sus ciudadanos y sus líneas de tiempo.
Uno de los aspectos más complejos de la película fue el inmenso uso de luces. 29,000 luces se usaron en la escena de la estación de tren. El cementerio tenía 18,000 luces y la Ciudad de los Muertos usó 2,000 luces prácticas en RenderMan. El equipo del estudio utilizó la API de RenderMan para crear 700 luces especiales de nubes de puntos (point cloud), que, cuando se expanden, equivalen a 8,2 millones de luces.
El cementerio con 18,000 luces.
En Pixar hay un "equipo Lightspeed" especial para cada película. Estos equipos existen entre el equipo técnico y la producción, y se enfocan en resolver problemas específicos del proyecto. Para Coco, el equipo fue liderado por Renee Tam. Su equipo era responsable de cualquier cosa que pudiera salir mal o afectar las metas de la producción de la pelicula. Su equipo también fue responsable de cualquier proyecto de investigacion y desarrollo technologico (R&D). En Pixar, si se descubre que algo tiene un tiempo de renderización inaceptable, se le da a Lightspeed la tarea de resolver el problema. Los problemas de tiempo de renderizado pueden involucrar aspectos en RenderMan o el uso que le dan los artistas.
-Renee Tam, Lider de LightSpeed en Coco
"Nuestro departamento es responsable del trabajo de investigación y desarrollo para reducir el tiempo de renderizado, o crear nuevas herramientas en la línea de producción para agilizar lo que sea necesario", explicó Tam. Además del equipo principal de Lightspeed, el equipo de RenderMan normalmente asigna a varios ingenieros de su propio equipo para ayudar con la enorme complejidad en cada película de Pixar. Esto le permite al equipo de RenderMan implementar las lecciones aprendidas en la version general de RenderMan.
Arte conceptual por Ernesto Nemesio.
Por ejemplo, cuando Coco comenzó, el equipo analizó las imágenes conceptuales del departamento de arte y la gran cantidad de luces en el arte conceptual. "Estabamos muy sorprendidos, nos hizo enfrentar retos que nunca antes habiamos abordado", recuerda Tam, "Y en ese mismo momento, comenzamos a trabajar con el equipo de RenderMan, y la colaboracion fue increíble". El equipo delineó el problema aparentemente imposible de hacer tomas con tantas luces. "Al principio les dijimos que Coco necesitaría "muchas luces", pero nunca les dije lo que realmente significaba", recuerda Tam riendo. El problema no era solo el número de luces, sino también la complejidad, ya que el equipo de producción quería mantener el control sobre la amplia gama de luces, incluyendo la capacidad de tener geles, gobos y bloqueadores (formas de colorear y manipular luces), sin comprometer las herramientas usadas normalmente por los artistas en RenderMan.
En antiguas versiones de RenderMan, las grandes ambiciones gráficas y el arte conceptual de Coco hubieran sido imposibles de implementar. El equipo de Lightspeed hizo una prueba con una version de RenderMan anterior y no era factible para lo que la producción necesitaba, de hecho, las pruebas nunca pudieron completar un render. "Así que el equipo de RenderMan volvió y pensó sobre el problema y regresó con una propuesta para un nuevo esquema de iluminación que reduciría sustancialmente el tiempo de renderización". Sin embargo, el equipo technico no había visto ningún concepto de arte. "Después de un tiempo volvieron con una solucion, y les dijimos que funcionaba bien, pero se necesitaban 1000 horas por cada cuadro, y tenia mucho ruido" ella explica. "Cuando le mostramos los resultados al equipo de RenderMan estaban confundidos, no se entendian por que tardaba tanto…y luego de mirar nuestra configuración dijeron…espera un segundo, cuántas luces llamas ‘muchas luces’ y yo respondí; en el último recuento teniamos alrededor de 8 millones de luces. ¡En ese momento todos entramos en una segunda ronda de investigacion y desarrollo!"
Creacion tecnica de la Tierra de los Muertos
Descubre las novedades de RenderMan 22 y XPU en la feria de Ciencia y Arte de RenderMan y Pixar
Despues de mucha colaboración, el equipo resolvió el problema y elaboraron un nuevo sistema de iluminación de nube de puntos. Este nuevo sistema prescindió de algunos filtros, también ignoró las luces que no contribuian a la toma debido a su posicion, y redujo la complejidad de las luces distantes. El sistema de luz de puntos aprovecha un sistema Octree, el cual evalua las luces de manera más eficiente. Luego se integró con un nuevo sistema de selección de iluminación, el cual le entregaba un mayor enfoque y herramientas de articulacion a las luces más cercanas. Después de 6 meses, el equipo Lightspeed y RenderMan tenía un sistema que proporcionaba el efecto de millones de luces y reducia el tiempo de renderización en las tomas mas coplejas de 1000 horas a 450 horas. El equipo continuó sus investigaciones y logro reducir los tiempos aun mas, de 125 horas a finalmente 75 horas por cuadro. Con un poco de trabajo adicional en la forma en que el equipo de producción trabajó con la iluminación en las tomas, el tiempo final por cuadro fue de solo 50 horas en las tomas mas complejas.
“50 Horas por cuadro” no significa que un cuadro tomó literalmente 50 horas para completarse en Pixar. Hace referencia al tiempo que tendría que transcurrir si el cuadro no se procesara en la granja de Render de Pixar, sino que en una sola máquina. Por ejemplo, 50 núcleos (CPU cores) terminarian un cuadro en una hora.
El equipo de Lightspeed hizo otros desarrollos de iluminación innovadores. Tam explicó el año pasado en Siggraph Asia cómo su equipo también aprovechó la herramienta especial Firefly, que habían desarrollado en The Good Dinosaur, que podía unir conjuntos de diferentes luces al mismo objeto. Esto fue mejorado para su uso en Coco: especialmente en las escenas de la Ciudad de los Muertos, y resultó ser muy efectivo. Otras mejoras del equipo Lightspeed entraron en Presto (programa de animacion en Pixar) y otras áreas no relacionadas con renderización.
La tecnología RIS en la version actual de RenderMan (21.7) es un marco altamente optimizado para renderizar geometría compleja, cabello, volúmenes e irradiancia en una sola pasada con una eficiencia increíble.
Dueto Improvable - El aspirante a músico Miguel (voz de Anthony Gonzalez) se une al encantador tramposo Héctor (voz de Gael García Bernal) en un viaje que cambiara sus vidas a través de la Tierra de los Muertos.
RenderMan se ha establecido como una de las herramientas más flexibles, potentes y confiables para renderizar imágenes cinematograficas. El marco de RIS de RenderMan se diseñó desde el principio para rastrear rayos lo más rápido posible. Con un nuevo marco que consiste en integradores, BRDF (escrito en C ++) y servicios inteligentes de luz. RIS le permite a RenderMan establecer nuevos estándares para la velocidad y la eficiencia de la memoria al renderizar escenas de producción complejas como las de Coco. Se espera que la version 22 de RenderMan se publique y se muestre en unos meses mas durante Siggraph 2018. La proxima pelicula de Pixar es The Incredibles 2, que se lanzará en junio del 2018, y es el proximo reto de RenderMan.
Lee Unkrich en los BAFTA, tal como se publicó en su cuenta personal de Twitter.
La película Coco ha recibido elogios por su animación, historia emocional, actuaciones vocales, musica y su respeto a la cultura mexicana. Obtuvo numerosos elogios, incluidos el premio a la Mejor Película de Animación y Mejor Canción en los Premios Oscar y el premio BAFTA 2018 a la mejor película animada.
