Ты должен был победить зло! А не примкнуть к нему! Компания Cloudflare многие годы была известна как один из ключевых игроков на рынке защиты сайтов от ботов и вредного трафика. И вот, вдруг, неожиданно она представила новый инструмент — API /crawl, который значительно упрощает сбор данных с веб-сайтов. Суть новинки в том, что теперь для получения информации со страницы достаточно одного спецаильного запроса. Система Cloudflare самостоятельно загружает страницу, полностью её сканирует и возвращает результат в удобном формате. А ещё сервис автоматически извлекает ссылки и важные элементы страницы. Это означает, что задачи, для которых раньше требовались сложные парсеры, автоматизация браузеров и отдельные скрипты, теперь можно решать гораздо проще и быстрее. Ирония ситуации в том, что компания, долгие годы строившая решения для защиты сайтов от автоматического сбора данных, фактически выпустила инструмент, который делает это доступнее. Развитие подобных технологий показывает, что автоматический трафик в интернете будет только расти. Боты используются не только для анализа данных, но и для сканирования сайтов, сбора информации, спама и атак на формы. Плохо это или хорошо — смотря как использовать. привет #спам