Что такое краулинг и с чем его едят?

Под этим иностранным термином скрывается процедура анализа веб-страниц, сбор информации и последующий вывод в структурированной форме.
С необходимостью скраулить нужную информацию со сторонних источников сталкиваются многие.  Это может быть развернутая конкурентная слежка или простое считывание котировок.

Сейчас набирает популярность Scrapy Framework, который написан на языке Python. Этот несложный фреймворк представляет мощный инструмент, с которым можно быстро сможете краулить множество ресурсов.