Сделал большую обнову Links Overseer ✔️Теперь он умеет собирать с… — PulSe

PulSe@Pulsechanel · 19.8K subscribers Open in TelegramOpen

Сделал большую обнову Links Overseer

Теперь он умеет собирать с сайта документы и извлекать из них метаданные.

Главная проблема подобных утилит (например Metagoofil) всегда была в том, что они использовали дорки гугла для поиска документов, и всё работало ровно до того момента, пока не упиралось в капчу. Я понимаю почему разработчики так делали - это сильно проще, но нам не нужно проще, нам нужно чтобы работало. У Links Overseer такой проблемы быть не может, потому что гугл в процессе вообще не участвует. Более того он тщательно косит под реального человека (User-Agent, Referer, cookies и т.д.) что позволило сильно снизить процент отказов (403 Forbidden) - точнее он околонулевой

Как работает:

вводите нужный URL;

выбираете глубину обхода (от 0 до 5 ссылок в глубь: 0 - только этот URL, 5 - проходим на пять ссылок вглубь) и запускаете;

все найденные документы будут показаны в таблице во вкладке “Документы”. Можно фильтровать таблицу по видам файлов.

Для скачивания документов доступны два режима:

автоматическое массовое скачивание через чекбокс перед стартом анализа;

ручное скачивание: по одному документу через кнопку «Скачать» или всех уже найденных документов через кнопку «Скачать всё» во вкладке документов.

Массовое скачивание через кнопку «Скачать всё» работает по уже найденным документам текущего результата и не требует повторного запуска обхода сайта. После скачивания утилита извлекает и отображает в таблице метаданные документа в зависимости от формата.

При нажатии кнопки “Отчёт” получаете общую сводку по всем найденным метаданным:

все найденные категории метаданных;

сгруппированные значения по каждой категории;

количество повторений каждого значения;

раскрывающийся список, в каких документах это значение встречается.

Отчёт можно сохранить в PDF или JSON

Запускается и работает, как и раньше, локально. Полное описание функций и подробная инструкция по запуску и использованию:

https://github.com/okpulse/links-overseer

На реальных ситуациях уже протестировано - работает отлично. Так что кому нужно пользуйтесь.

P.S. Есть ещё несколько интересных идей что можно добавить полезного, потому если есть желание можно поддержать разработку, закинув пару мятых купюр.