DDR5 vs DDR4, frecuencia vs latencia. La latencia "absoluta" es lo único que importa?

Una de las preguntas sobre hardware que todavía me quedan es esa, la importancia de la latencia frente a la frecuencia. Y ahora con las "nuevas" DDR5 y estando por comprar una nueva pc me volvió a picar la duda y quisiera terminar de entenderlo.

Como sabemos las principales características de una ram son la capacidad, frecuencia, las latencias y la cantidad de ranks.

con la frecuencia siendo la cantidad de ciclos por segundo y la latencia CAS (abreviada CL o C) siendo la cantidad de ciclos que le toma a la ram desde que el controlador de memoria manda un comando hasta que entrega los datos, se puede calcular la "latencia absoluta" en nanosegundos que le toma a la ram procesar una petición. Por lo tanto cuanto mas frecuencia y menos CL, mejor.

Ahora bien, esto quiere decir que la latencia absoluta es una forma "perfecta" de medir el rendimiento de una memoria? Obviamente no, por que en ese caso...

Tomando como ejemplo una ram DDR5 de 6400MT/s (3200MHz) CL32

Los ciclos por segundo serían 3.200M, eso se traduce en 0.3125ns por ciclo, tomándole 32 ciclos entregar los datos. Quiere decir que le toma 10ns (0.3125 * 32) entregar los datos.

Ahora, tomando una ram ddr3 de 1600MT/s CL8, haciendo el mismo calculo nos da una latencia de también 10ns. Incluso hay DDR2 de 800MT/s CL4, que también daría unos 10ns.

Esto quiere decir que tienen exactamente el mismo rendimiento? obviamente no, y mas teniendo en cuenta que la ram con la latencia mas baja que existe (creo) es una ddr3 de 2200MT/s CL7 (6.36ns) del 2009. Pero entonces, cuales son los detalles y otras cosas a tener en cuenta para hacerse una idea del rendimiento real de una ram? o tal vez estoy mal entendiendo algo que simplemente no es así?

Entiendo que existen otras latencias aparte de la CAS que hay que tener en cuenta (pero que en general también suben a la par) y también que hay tareas que se benefician mas de frecuencia y otras de latencia, aún así la explicación anterior en general sigue teniendo sentido.

Que no estoy entendiendo?