Es rentable ejecutar cargas de trabajo GPU en la nube o en el centro de datos

Corey Quinn, el economista en la nube principal de Duckbill Group, sabe cómo reducir los costos de su factura de AWS, por lo que cuando sugiere que mantener las cargas de trabajo en su centro de datos puede ser una buena idea, vale la pena prestar atención. Específicamente, Quinn se preguntó si existe un "caso comercial convincente para trasladar las cargas de trabajo de GPU en estado estable fuera de los servidores locales", porque los costos de las GPU en la nube son increíblemente caros. ¿Qué tan caros? Según la estimación de una empresa, ejecutar 2,500 GPUs T4 en su propia infraestructura costaría $150,000 por año. En AWS, ejecutar 1,000 de esas mismas GPUs costaría... más de $8 millones.

¿Por qué alguien haría eso? Resulta que existen muy buenas razones, y hay industrias que dependen de cargas de trabajo de GPU con baja latencia. Pero también hay excelentes razones para mantener esas GPUs funcionando en las instalaciones.

Las GPUs en la nube

Para responder a la pregunta de Quinn, vale la pena recordar las diferencias entre las CPUs y las GPUs. Según detalla Intel, aunque las CPUs y las GPUs tienen mucho en común, difieren arquitectónicamente y se utilizan para diferentes propósitos. Las CPUs están diseñadas para manejar una amplia variedad de tareas rápidamente, pero tienen limitaciones en cuanto a cómo manejan la concurrencia. Las GPUs, en cambio, comenzaron como ASICs especializados para acelerar la renderización 3D. Los motores de funciones fijas de las GPUs han ampliado su atractivo y aplicabilidad con el tiempo, pero, como señala Quinn, ¿es simplemente demasiado alto el costo de ejecutarlas en la nube?

Ese no es el punto principal, según respondió Randall Hunt de Caylent. "La latencia es el único argumento allí; si la nube puede acercar los servidores al lugar donde deben estar, eso puede ser beneficioso". En otras palabras, las instalaciones locales, por mucho más barato que pueda ser ejecutar flotas de GPUs, no pueden ofrecer el rendimiento necesario para una gran experiencia del cliente en algunas áreas.

¿Como cuáles?

Bueno, ¿qué tal la transcodificación de video de eventos en vivo, señaló Lily Cohen? Claro, es posible que puedas apañártelas con la transcodificación de la CPU con alimentaciones de calidad de 1080p, pero ¿con 4K? No. "Cada segundo de retraso es un segundo más para que el usuario final vea la transmisión". Eso no funciona para la TV en vivo.

Cómo funciona el protocolo FTP y cómo resolver problemas relacionados con él

Tampoco se trata solo de la codificación de TV en vivo. "Básicamente, cualquier cosa que requiera un viaje de ida y vuelta inferior a los 100 ms" tiene demandas de latencia que te llevarán a las GPUs en la nube, argumentó Hunt. Esto incluiría motores de juegos en tiempo real. "La transmisión de motores de juegos en tiempo real para el desarrollo de juegos remotos o cualquier desarrollo en 3D en los que la precisión sea importante" justifica ejecutar GPUs cerca del usuario, enfatizó Molly Sheets. Por ejemplo, continuó, "perder el salto" cuando estoy en tiempo de ejecución te lleva a "un territorio donde no sabes si es un códec y cómo se representa o si es la transmisión". No es una gran experiencia para el cliente.

Si te parece que las GPUs solo están aquí para entretenernos, eso no es cierto. "Cualquier carga de trabajo de entrenamiento de aprendizaje automático que requiera acceso a una gran cantidad de datos necesitará un acceso de baja latencia y alta velocidad a esos datos", sugirió Todd Underwood. (No todos están de acuerdo). A eso se suma el procesamiento del habla, los autos autónomos, etc. Ah, y "alquilar" GPUs en la nube puede ser la respuesta correcta para una mayor variedad de cargas de trabajo si simplemente no puedes comprar GPUs para ejecutar localmente en tu propio centro de datos, dado que la demanda a menudo puede superar la oferta. Además, incluso si los encuentras, es posible que tu equipo carezca de las habilidades para agruparlos, algo que Samantha Whitmore destacó.

Lo que significa que la respuesta definitiva a "¿deberías ejecutar GPUs en la nube?" a veces será "sí" (cuando la latencia importe) y a menudo será "depende". Ya sabes, la respuesta habitual a las preguntas sobre informática.

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Nube, allí encontraras muchos artículos similares a Es rentable ejecutar cargas de trabajo GPU en la nube o en el centro de datos , tenemos lo ultimo en tecnología 2023.