Yo mismo me respondo, la explicación y solución está por supuesto en el man de mplayer, el otro día lo miré pero me salté la parte clave:
-forceidx Fuerza la reconstrucción del INDICE. Útil para archivos con índice mal (desincronizados, etc). El posicionamiento se hace posible. Puede arreglar el índice permanentemente con MEncoder (vea la documentación). NOTA: Solo puede usar esta opción si el medio en el que está soporta posicionamiento (p.e. no se puede usar con stdin, pipe, etc). Y en efecto, añadiendo la opción -forceidx a mplayer, se toma su tiempo para generar en índice pero luego va bien. Ahora me toca mirar lo del MEncoder. Pues sólo eso, si a alguien más le pasa y no lo sabía aquí dejo esto.