1. Общие сведения
Система предназначена для сбора информации по маршрутам регулярных перевозок, парсинга контрактов с poisktenderov.ru и автоматического извлечения расписаний из документов. (в настоящее время поддерживается только DOCX-формат).
Сайт предоставляет удобную систему управления поисковыми запросами и вы сможете в автоматическом режиме следить за важными изменениями в документах.
Поисковый бот poisktenderov ищет по ключевым словам ежедневно ищет новые контракты на госзакупках, отправляет Вам на почту, этот сайт собирает новые письма и анализирует контракты. Требуется настроить почту, фильтры сбора контрактов по вашим регионам, подготовить парсеры под ваши контракты.
Маршруты и города создаются и распределяются автоматически при получении новых писем и успешном парсинге. Поэтому важно ознакомиться с этой инструкцией и соблюдать все описанные рекомендации по фильтрам и парсерам.
Понятие "город" - условное, формально это имя группы маршрутов, под городом может подразумеваться пгт, село, и даже свои специфические группы, например: "Омск_пригород"
Сайт будет отслеживать статус закупки (состоялась, не состоялась) и сохранять данные о перевозчике.
Если на маршруте поменялось расписание, или закончился срок действия контракта, а новый не состоялся - система уведомит Вас.
Получить более подробное представление, как функционирует сайт, можно по ссылке Схема работы.
2. Подготовка к работе: настройка нового почтового ящика Yandex
- Перейдите по ссылке, создайте новый почтовый ящик.
- Нажмите шестерёнку (настройки) - "Все настройки" - "Почтовые программы" - Разрешить доступ к почтовому ящику с помощью почтовых клиентов (скриншот)
- Создайте пароль для сбора почты на этой странице
- Проверьте, что в нужный почтовый ящик пришло письмо "Вы создали пароль для приложения в аккаунте..."
Этот пароль нужно добавить на странице регистрации нового пользователя для доступа бота к вашему почтовому ящику.
Обратите внимание - теоретически бот получит доступ ко всем письмам этого почтового ящика! Но фактически его будут интересовать письма только от отправителя poisktenderov.ru
3. Подготовка к работе: изучите и настройте под свои регионы poisktenderov.ru
poisktenderov.ru - это бесплатный ресурс, который после регистрации предоставляет возможность составлять и сохранять поисковые запросы (фильтры) для госзакупок.
Обязательно изучите инструкцию. Попробуйте создать несколько запросов.
Фильтры должны удовлетворять некоторым требованиям:
- Имя фильтра: "регион город необязательные слова", например "13 Торбеево пригород дачные" или "30 Астрахань", регион указываем цифрами
- Если название города состоит из нескольких слов, нужно записать его без пробелов, например "Н.Новгород"
- Можно создать несколько фильтров по городу, тогда они должны различаться необязательными словами
Заметим, что по кнопке "отправить на почту" сайт может послать все попадающие под фильтр контракты (но не более 500) в т.ч. и старые, однако в ежедневной рассылке падают только те, которые были опубликованы на госзакупках за прошедшие сутки. Если новых контрактов не было, письмо не создаётся.
Примеры фильтров.
Принцип работы этого сайта с фильтрами:
- Система периодически проверяет непрочитанные письма от poisktenderov.ru на наличие новых контрактов.
- При появлении нового контракта — вы увидите уведомление на главной странице.
- Перейдите в раздел «Контракты», чтобы просмотреть и обработать документы.
4. DownLoader
- Сайт скачивает документы с сайта госзакупок через приложение DownLoader.
- Оно должно быть запущено в момент работы с сайтом. Это обходное решение позволяет избежать блокировок и недоступности контрактов.
- Подключена может быть только одна вкладка браузера.
- Если вы забудете запустить приложение - сайт напомнит вам об этом специальным уведомлением в верхней части экрана.
5. Парсер DOCX-документов
- Для каждого контракта можно открыть редактор парсера.
- Используйте встроенные шаблоны, чтобы быстро начать.
- Язык сценариев DocuScript позволяет:
- Искать текст:
$n_line = find("Сводное расписание")
- Переходить к таблицам:
$t_tbl = next_table($n_line)
- Читать ячейки:
enter_table $t_tbl, seek_cell("Совхоз-техникум"), $s_times = read_cell
- Выводить результат:
return $a_time_list
- Кнопка «Запустить» — тестирует скрипт без сохранения.
- Кнопка «Сохранить» — сохраняет парсер в базу.
Подробная инструкция по парсеру - на отдельной странице.
6. Назначение разделов и порядок работы после настройке
- Сайт читает почту и подгружает сведения о новых контрактах. (это происходит без вашего участия).
- В случае новых контрактов вы увидите уведомление на главной странице
- На странице контрактов вы можете применить к контракту готовый парсер по региону или написать новый
- В случае успешного парсинга информация о контрактах и расписаниях обновляется на страницах региона в маршрутах
- Любые действия логируются и вы можете посмотреть важную информацию в разделе События (раздел в разработке)
7. Идеи развития сервиса:
- Добавить поддержку doc-документов и архивов
- Добавить импорт маршрутов с нитками для удобного перехода в n.maps