Pasale este parámetro al wget
[-erobots=off] esto evita que wget ignore los archivos 'robots.txt' que pudiera
haber, ya que puede ser que dentro de estos archivos haya indicaciones de que
subdirectorios los buscadores no deben hurgar (incluyendo a wget). Con esto lo
evitamos y buscamos en todo el nivel.
Whilo
--
M.Sc. Wilfredo Martínez Consuegra.
Especialista en Gestión del Capital Humano.
Asociación Económica Internacional
Bouygues Batiment. SA
Phone: (+53)(42)350026 ext 142
Message: 6
Date: Thu, 8 May 2014 11:30:26 -0400 (CDT)
From: Cesar Bretana Gonzalez <cesar.bret...@estudiantes.upr.edu.cu>
To: Lista cubana de soporte técnico en Tecnologias Libres
<gutl-l@jovenclub.cu>
Subject: Re: [Gutl-l] Descargar con linux desde sitios web protegidos
por ficheros html
Message-ID:
<1813201819.981137.1399563026814.javamail.zim...@estudiantes.upr.edu.cu>
Content-Type: text/plain; charset=utf-8
hola, disculpen q me desvie un poco del tema, pero me surgio una duda, en
algunas paginas, de internet principalmente, existen protecciones, en un
archivo .txt, q se llama robot.txt, que es para evitar los programas de
automatizacion y todo eso en el sitio, existe alguna aplicacion q burle ese
robot?, salu2...
--
Les donnees et renseignements contenus dans ce message sont personnels,
confidentiels et secrets. Toute publication, utilisation ou diffusion, meme
partielle, doit etre autorisee. Si vous n'etes pas le bon destinataire, nous
vous demandons de ne pas lire, copier, utiliser ou divulguer cette
communication. Nous vous prions de notifier cette erreur a l'expediteur et
d'effacer immediatement cette communication de votre systeme.
Any data and information contained in this electronic mail is personal,
confidential and secret. Any total or partial publication, use or distribution
must be authorized. If you are not the right addressee, we ask you not to read,
copy, use or disclose this communication. Please notify this error to the
sender and erase at once this communication from your system.
--
Este mensaje ha sido analizado por MailScanner
en busca de virus y otros contenidos peligrosos,
y se considera que está limpio.
______________________________________________________________________
Lista de correos del Grupo de Usuarios de Tecnologías Libres de Cuba.
Gutl-l@jovenclub.cu
https://listas.jovenclub.cu/cgi-bin/mailman/listinfo/gutl-l
