Hola, yo no he utilizado scrapy pero creo que lo que dices lo podrías hacer con Django+celery+scrapy. De hecho en [1] te dejo un enlace donde han hecho algo así, te faltaría meter la interfaz rest.
[1] http://stackoverflow.com/questions/11528739/running-scrapy-spiders-in-a-celery-task Saludos, Esaú. 2014-05-19 10:45 GMT+01:00 Luis Miguel Morillas <moril...@gmail.com>: > Alguien ha usado scrapy para hacer un servicio de scraping? Quiero > montar un servicio (REST) basado en scrapy, pero por defecto scrapy > procesa una cola de urls y termina y no creo que sea buena idea > levantar la aplicación cada vez que llega una url. Me gustaría que la > cola estuviera escuchando, procesara la cola y en lugar de esperar que > se quedara esperando a recibir una nueva entrada. > > Supongo que se podrá hacer mirando a fondo la arquitectura (twisted) > de scrapy ... pero si alguno lo ha hecho antes :) > > > > Saludos, > > -- luismiguel (@lmorillas) > _______________________________________________ > Python-es mailing list > Python-es@python.org > https://mail.python.org/mailman/listinfo/python-es > FAQ: http://python-es-faq.wikidot.com/ -- Esaú Rodríguez esa...@gmail.com _______________________________________________ Python-es mailing list Python-es@python.org https://mail.python.org/mailman/listinfo/python-es FAQ: http://python-es-faq.wikidot.com/
