prac/r19-scraper
3
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
No description
8 commits 1 branch 0 tags 58 KiB
  • Python 100%
Find a file
Exact
lain 94a73903b8 добавление многопоточки, уменьшение времени ожидания во время скачивания файлов и во время поиска ссылок на страницах
2026-07-05 17:07:45 +07:00
.gitignore ссылки сохраняются в links.csv, вместо links.txt. файлы группируются по поддиректориям 2026-07-02 17:03:24 +07:00
.python-version реализован скрейпинг r-19.ru для поиска прямых ссылок на документы на сайте, их сохранение в файл links.txt, либо внутрь массива внутри программы 2026-07-02 03:27:16 +07:00
main.py добавление многопоточки, уменьшение времени ожидания во время скачивания файлов и во время поиска ссылок на страницах 2026-07-05 17:07:45 +07:00
pyproject.toml реализован скрейпинг r-19.ru для поиска прямых ссылок на документы на сайте, их сохранение в файл links.txt, либо внутрь массива внутри программы 2026-07-02 03:27:16 +07:00
README.md ссылки сохраняются в links.csv, вместо links.txt. файлы группируются по поддиректориям 2026-07-02 17:03:24 +07:00
uv.lock реализован скрейпинг r-19.ru для поиска прямых ссылок на документы на сайте, их сохранение в файл links.txt, либо внутрь массива внутри программы 2026-07-02 03:27:16 +07:00

README.md

Скрейпер, собирает ссылки на все документы с r-19.ru/documents и скачивает их

Запуск

$ uv sync
$ source .venv/bin/activate
$ uv run python main.py

В зависимости от настроек, заданных при запуске, скрейпер может скачивать содержимое сайта, либо только получать прямые ссылки на документы. Прямые ссылки сохраняются в links.csv, скачанные файлы в директорию ./downloaded/