Hola.
Lo primero, malo no es, es decir no te va areventar el motor por eso.
No hay una única manera de usar el cambio y depende de la marcha, la aceleración que necesites y de lo que quieras gastar.
Por lo que respecta a la marcha, es peor, por ejemplo estirar o mantener la 1ª a 4.000 rpm que la 4ª, por ejemplo, ya que las marchas cortas tienen más par y no es necesario ni conveniente apurarlas (en conducción normal, claro).
Por aceleración, cuando subes a Andorra por ejemplo, seguramente tendrás que estirar las marchas un poco (las 3.500 o 4.000 que dices ya están bien) para tener un poco de aceleración en las subidas, pero cuando bajas, con cambiar a 2.500 ya puede que te sobre. Lo mismo si adelantas, es mejor mantener la 4ª que cambiar a 5ª en pleno adelantamiento (siempre que no se te acabe la 4ª, claro).
Finalmente, para no gastar, a parte de tocar el freno lo menos posible, es adecuado ir con la marcha más larga posible sin que el motor si ahogue y eso también dependerá de la marcha, si es subida o bajada, etc. Digamos que en llano, si no quieres gastar, puedes tranquilamente cambiar sobre las 2.500 y no necesitarías llegar a las 4.000 que comentas.
Ya te digo que no se va a romper, pero sí es cierto que el desgaste va a ser algo mayor. Igual que los neumáticos a 160 no duran los mismos km que a 80, aunque tampoco se rompen.
En fin, que hay que "sentir" un poco el coche, el ya te pedirá la marcha más adecuada.