Источники: автоматическое скачивание новых видео с каналов

Раздел «Источники» нужен, чтобы не скачивать видео вручную. Вы указываете ссылки на страницы с публикациями. Потом выбираете тип экспорта «Периодический» и нажимаете «Запуск». Дальше приложение работает само. Оно проверяет источники, скачивает новые видео и создаёт из них копии. Копии создаются по настройкам проекта. Период проверки Вы задаёте сами.

Что такое источник и группа источников

Источник - это ссылка на страницу с публикациями. Подходят YouTube, TikTok и другие площадки. Ссылка на одно видео источником быть не может. Нужна страница, где это видео опубликовано. Для одного видео есть скачивание по ссылке.

Источники входят в группы. У группы один прокси, один файл cookies и одна строка браузера. Они действуют на все ссылки группы. В одном проекте помещается до 500 групп. В группе помещается до 500 источников. Всего в проекте бывает до 10 000 источников.

Как включить автоматическое скачивание

1. Откройте раздел «Источники» в меню слева.
2. Нажмите «Добавить группу». Откроется окно «Новая группа источников».
3. «Ссылки на источники»: вставьте ссылки, по одной в строке.
4. «Доступы»: задайте «Прокси», «Файл cookies» и «Использовать строку браузера». Шаг необязательный. Пропустить его можно кнопкой «Пропустить».
5. «Проверка типов источников»: приложение проверяет, что отдаёт страница каждого типа.
6. «Фильтры видео»: задайте условия отбора или оставьте их выключенными.
7. «Качество и имя файла»: выберите «Качество видео». Здесь же стоит переключатель «Только точное качество».
8. «Как часто проверять»: задайте «Как часто проверять, %» и «Видео с одной ссылки за проверку, не больше».
9. Нажмите «Создать группу».
10. В подвале раздела задайте «Папка для скачанных видео». Пока папка не выбрана, периодический экспорт не запустится.
11. В разделе «Экспорт» выберите тип экспорта «Периодический», задайте период проверки и «Создавать за сутки не больше».
12. Нажмите «Запуск».

Папки у проекта может не быть. Тогда мастер предложит выбрать её на первом шаге.

Шаг 10 целиком: подвал раздела, кнопка выбора папки без подписи и окно Windows.

Что делает шаг «Проверка типов источников»

Это третий шаг мастера. Подсказка шага: «Смотрим, что каждый тип страницы умеет отдавать. По одному разу на тип.». Приложение обращается к площадке и проверяет, какие сведения она сообщает о публикациях. Обращение выполняется один раз на вид страницы, а не на каждую ссылку. Лента канала YouTube, вкладка Shorts и лента автора TikTok - это три разных вида. Поэтому запросов почти всегда меньше, чем ссылок.

У каждой строки шага своё состояние: «в очереди», «проверяем...», «готово», «не удалось», «видео нет», «отказ площадки», «нужен вход». Внизу приложение показывает, сколько видов страниц оно проверило и сколько запросов сделало.

Кнопки «Пропустить» на этом шаге нет. Пока проверка выполняется, кнопка «Далее» недоступна. При неудаче она меняет подпись на «Продолжить без проверки». Группа создастся и без проверки типов. Тогда мастер не сможет показать охват фильтров на четвёртом шаге. Вместо числа там будет строка «Охват неизвестен: проверка типов не прошла.». Разбор всех шести шагов - на странице Мастер добавления группы.

Чем отличаются «Одноразовый», «Бесконечный» и «Периодический»

Тип экспорта Вы выбираете в разделе «Экспорт».

Тип экспорта	Что делает	Когда останавливается
«Одноразовый»	Создаёт заданное количество видео	Сам, когда количество набрано
«Бесконечный»	Поддерживает в папке заданное число файлов	Кнопкой «Остановить»; сам только приостанавливается
«Периодический»	Раз в заданный период проверяет источники и создаёт копии из новых видео	Только кнопкой «Остановить»

Группы сами по себе ничего не скачивают. Проверка источников выполняется только при типе экспорта «Периодический». Второе условие - нажать «Запуск». Пока выбран другой тип, группы хранятся, но не проверяются. Сменить тип экспорта во время работы нельзя. Сначала нажмите «Остановить».

Как задать период проверки и суточный предел

Обе настройки стоят в разделе «Экспорт».

• «Проверять источники не чаще чем раз в» - это наименьшая пауза между началами проверок, в минутах. Жёсткого расписания у проверок нет. Проверка всех групп может идти дольше паузы. Тогда новая проверка начнётся сразу после завершения предыдущей. Двух проверок одновременно не бывает. Поле принимает от 1 до 10080 минут. По умолчанию стоит 30.
• «Создавать за сутки не больше» - предел числа видео за сутки. Счёт обнуляется в местную полночь. Значение 0 подписано «Без предела». Значение по умолчанию - 200. Дневной лимит видео Вашего тарифа - другое ограничение. Он действует в любом случае.

Обе настройки появляются только вместе с типом экспорта «Периодический».

Куда сохраняются скачанные видео

Папку Вы задаёте в подвале раздела «Источники». Там стоит строка «Папка для скачанных видео». Папка общая для всех групп проекта. Скачанные файлы занимают место на диске. Пожалуйста, выбирайте папку на диске, где место есть.

Рядом стоит переключатель «Удалять скачанные видео после создания копий». По умолчанию он включён. Приложение создаст копии и сразу удалит скачанное видео. Без этого папка занимает всё больше места. За неделю круглосуточной работы это десятки гигабайт. Куда сохраняются копии, задают настройки экспорта.

Где стоит строка «Папка для скачанных видео» и как выглядит выбор папки.

Как отобрать только нужные видео

Условия отбора Вы задаёте у группы. Это шаг «Фильтры видео» в мастере. У готовой группы условия стоят в её настройках. У каждого условия свой переключатель. Пока он выключен, фильтр не работает. Значение в поле при этом остаётся на месте.

• «Фильтровать по просмотрам и длительности»: «Просмотров не меньше», «Длительность не больше, с».
• «Фильтровать по отклику зрителей»: «Лайков не меньше», «Комментариев не меньше», «Репостов не меньше», «В избранном не меньше». Ещё есть три условия в долях от просмотров: «Лайков не меньше, % от просмотров», «Комментариев не меньше, % от просмотров», «Репостов не меньше, % от просмотров». У «В избранном» доли нет. Эти числа площадки сообщают только на странице видео. Поэтому проверка длится дольше.
• «Фильтровать по языку и месту»: «Язык видео» и «Место в заголовке или описании». Язык и место приложение определяет по заголовку и описанию. Метку на карте оно не учитывает.
• «Фильтровать по дате публикации»: задайте точную дату в поле «Опубликовано не раньше». Либо выберите период: «За последние 7 дней», «За последние 30 дней», «За последние 90 дней», «За последние 365 дней».

Площадка сообщает нужные числа не всегда. Что делать с таким видео, решает пункт «Если данных нет»: «Пропустить» или «Скачать».

«Как часто проверять, %» задаёт долю проверок для группы. 100% - группа участвует каждый раз. 50% - через раз. 25% - каждый четвёртый раз. Первая проверка после запуска приложения начинается сразу, без ожидания периода. Она охватывает все группы, и процент на неё не влияет. Счёт проверок при перезапуске приложения начинается заново. «Видео с одной ссылки за проверку, не больше» считает видео по каждой ссылке отдельно, а не по всей группе сразу.

Почему проверка иногда выполняется в два обращения

Просмотры, длительность и дату публикации площадка сообщает прямо в списке публикаций автора. Три доли отклика, язык и место она там не сообщает. Эти пять условий приложение считает само. Тогда проверка источника выполняется в два обращения. Сначала приложение собирает сведения о публикациях. Потом оно скачивает только те видео, что прошли отбор.

Второе обращение выполняется только при этих пяти условиях. Просмотры, длительность и дата его не требуют. Цена такая: площадка отвечает по каждой публикации окна отдельно, включая те, что отбор не пройдут. За одну проверку приложение разбирает не больше 200 публикаций, сколько бы ни просила группа. Все числа этой фазы собраны на странице Фильтры видео.

Что делает переключатель «Только точное качество»

Переключатель стоит рядом со списком «Качество видео». В мастере это шаг «Качество и имя файла», у готовой группы - её настройки. По умолчанию он выключен. Тогда качество - это пожелание. Нужной дорожки у видео нет, и приложение скачает ближайшую, в том числе выше.

С включённым переключателем замены не будет. Видео без дорожки выбранного качества приложение пропускает целиком. Ни один файл на диск не сохраняется.

Такой пропуск виден в журнале приложения: на плитке группы и в счётчике отклонённых фильтрами видео он не показан. Пожалуйста, проверьте этот переключатель первым, если фильтры выключены, а новых видео всё равно нет.

Такое видео приложение пробует снова на каждой проверке. Так продолжается, пока оно остаётся в начале списка публикаций автора. При качестве «Максимальное» переключатель становится недоступен и снимается сам. Ограничивать там нечего. Разбор настройки целиком - на странице Фильтры видео.

Как добавить сотни ссылок сразу

Вручную десять тысяч ссылок не ввести. Поэтому список загружают из файла. Кнопка загрузки на странице «Источники» открывает окно «Загрузка источников из файла». Подходит таблица CSV или файл JSON.

Обязательна только колонка «Ссылка на источник». Остальные можно не заполнять. Заголовок приложение читает в любом регистре. Файл из одних ссылок оно примет и без заголовка. Кнопка «Сохранить образец» запишет файл с правильными колонками. В образце четыре строки-примера: две группы по два источника. У каждой группы свои настройки. Колонка файла cookies в образце пустая. Это сделано намеренно.

Перед записью приложение показывает, что изменится. В окне указано число новых групп и число новых источников. Там же перечислены номера непринятых строк и причины отказа. Режима два: «Оставить и добавить новые» и «Заменить их содержимым файла». Замена удалит группы, которых в файле нет. Их источники и настройки приложение удалит тоже.

У кнопки загрузки нет подписи. Это первый значок в ряду над списком групп.

Соседняя кнопка сохраняет все группы и их источники в такой же файл. Это резервная копия. Список хранится в базе проектов. База может быть повреждена. Тогда восстановить список можно только из этого файла. В файле записаны прокси групп вместе с логином и паролем. Пожалуйста, храните его там же, где храните пароли.

Что видно во время проверки

На плитке группы стоит переключатель «Проверять источники этой группы». Рядом стоит подпись состояния: «Ещё не проверялась», «Проверка выключена», «Нужен вход в аккаунт», «Проверка не удалась» и другие. Правая кнопка мыши на плитке открывает меню: «Открыть», «Скачанные видео», «Дублировать», «Удалить».

Пока эта группа проверяется, подписи состояния на плитке нет. Её место занимают полоса и счётчик проверенных источников вида «57 / 128». Подпись возвращается по концу круга: тогда на плитке стоят «Следующая проверка через {N} мин» и «В прошлый раз: 3 новых».

Подписи состояния у проверяемой группы нет. Её место занимают полоса и счётчик проверенных источников.

В подвале раздела показана версия модуля загрузки видео. Рядом стоит стрелка его обновления. Площадки меняют свои страницы. После этого старый модуль перестаёт скачивать с них видео. Пожалуйста, проверьте версию первой, если источники вдруг перестали приносить видео.

Почему очередная проверка не начинается

Кнопка «Запуск» нажата, а новых видео нет. Причин ровно семь. Приложение показывает их дословным текстом:

1. «Идёт проверка источников.» Предыдущая проверка ещё не закончилась. Двух проверок сразу не бывает.
2. «Периодическая проверка источников выключена: период не задан.» В поле «Проверять источники не чаще чем раз в» стоит ноль.
3. «Лицензия закончилась. Проверка источников продолжится после активации ключа.»
4. «Кредиты закончились, а создание видео на устройстве выключено. Проверка источников продолжится после пополнения баланса.»
5. «Сработала настройка "Создавать за сутки не больше". Проверка источников продолжится после полуночи.»
6. «Дневной лимит видео исчерпан. Проверка источников продолжится после его сброса.»
7. «Период между проверками источников ещё не прошёл.» Это обычное ожидание между проверками.

Пятая и шестая причины похожи, но ограничения разные. «Создавать за сутки не больше» - Ваша настройка, её счёт обнуляется в местную полночь. Дневной лимит видео принадлежит тарифу, и момент его сброса задаёт сервер. В периодическом типе экспорта дневной лимит тарифа работу не останавливает, а только приостанавливает. При обычном запуске он останавливает всё до нажатия кнопки. Подробности - на странице Время проверки источников.

Частые вопросы

Почему источники ничего не скачивают?

Пожалуйста, проверьте всё по порядку. Выбран ли тип экспорта «Периодический»? Нажата ли кнопка «Запуск»? Включён ли переключатель у группы? Что написано на плитке группы? Не сработало ли «Создавать за сутки не больше»? Не исчерпан ли дневной лимит видео тарифа? Три причины приложение показывает само перед запуском: «Не задано, как часто проверять источники», «Нет ни одного включённого источника» и «Не выбрана папка для скачанных видео». Семь причин, по которым не начинается очередная проверка, перечислены выше. Остальное разобрано на странице Видео не скачивается.

Работают ли проверки, когда приложение закрыто?

Нет. Проверки выполняются только при открытом приложении. Выход из приложения останавливает периодический экспорт. Перезагрузка Windows тоже. После нового запуска приложения экспорт надо включить заново. Пожалуйста, нажмите «Запуск». Первая проверка после этого начнётся сразу и охватит все группы.

Как скачать видео, которое уже скачивалось?

Приложение хранит список скачанных видео. Второй раз это видео не скачается. Пожалуйста, нажмите правой кнопкой по плитке группы и откройте «Скачанные видео». Найдите нужные строки поиском и удалите их. Ближайшая проверка источников скачает эти видео заново. Кнопка очистки списка на странице раздела стирает список целиком. Тогда заново скачается всё, что было скачано раньше.

Удаление группы стирает список скачанных видео?

Это решаете Вы в момент удаления. Перед удалением приложение показывает окно с тремя кнопками: «Отмена», «Без списка» и «Со списком». Группу удалят обе последние кнопки. Отличие одно: что будет со списком скачанных видео этой группы.