Este es un modismo cuyo origen no está muy definido, aunque todo hace suponer que, como suele aplicarse para explicar la actitud porfiada y tenaz de una persona en la ejecución de determinada tarea.
Su procedencia tiene que ver con la dificultad propia de los niños -y particularmente de los extranjeros- para pronunciar la letra erre castellana. Debido a que eso se logra mediante una ejercitación fonética tenaz y perseverante, parece lógico suponer que el dicho estar erre que erre, por analogía, provenga de esa dificultad.
Fuente; http://www.ciudad-real.es/varios/dichos/e.php