Сколько времени занимает проверка источников
Темп проверки источников задан заранее. Это не задержка приложения. Сотня обращений подряд означает ограничение со стороны площадки, причём ограничат адрес и аккаунт человека. Ниже собраны все числа, из которых складывается время проверки.
Почему проверка не мгновенная
Причин четыре, и они складываются:
- Между двумя обращениями к одной площадке выдерживается пауза.
- Число обращений к одной площадке за десять минут ограничено сверху.
- Одновременных проверок в приложении не больше четырёх.
- После отказа «слишком часто» площадка не спрашивается целый час.
Кнопки «проверить сейчас» в окне «ClipSave» нет намеренно. Темп задаёт приложение, а не человек.
Темп обращений к одной площадке
| Что | Значение |
|---|---|
| Пауза между двумя обращениями к одной площадке | 4 секунды |
| Разброс паузы | 25%, то есть от 3 до 5 секунд |
| Окно счёта обращений | 10 минут |
| Обращений к одной площадке за окно | не больше 60 |
| Отсрочка после отказа «слишком часто» | 1 час |
Пауза отсчитывается от конца прошлого обращения, а не от начала. Разброс нужен, чтобы обращения не приходили ровно раз в четыре секунды.
Оба ограничения работают вместе. Пауза ограничивает темп в моменте, окно - в среднем.
Сколько занимает проверка сотни ссылок
Список из ста ссылок одной площадки проверяется около 13 минут. Первые 60 ссылок проверяются примерно за 4 минуты. Дальше вступает ограничение окна, и темп снижается до шести ссылок в минуту.
Ссылки проверяются по одной, сверху вниз. Пауза и окно при этом считаются по каждой площадке отдельно. Поэтому список из двух площадок вперемешку проверяется намного быстрее. Те же сто ссылок укладываются примерно в 4 минуты.
Проверка ссылок выполняется сама, очередью. Во время проверки окно остаётся рабочим. Счётчик рядом показывает ход: «Ссылка 3 из 12».
Сколько занимает круг проверки источников
Круг - это один проход по всем включённым группам проекта.
| Что | Значение |
|---|---|
| Одновременных проверок на всё приложение | 4 |
| Чем занято одно место в очереди | Пара «площадка и прокси» |
| Ожидание группы в карантине | 5 минут |
Место в очереди занимает не группа, а пара «площадка и прокси». Две группы с разными прокси на одной площадке проверяются одновременно. Две группы с одним прокси - по очереди. Пятьсот групп одной площадки с одним прокси проверяются строго друг за другом.
Приложение считает нижнюю оценку круга по простой формуле: число источников делится на 4 и умножается на 4 секунды. Сто источников дают около 100 секунд. На деле круг всегда длиннее оценки. В неё не входят ни повторные попытки, ни карантин площадки, ни второе обращение за сведениями о публикациях.
Второе обращение поднимают пять условий отбора: три доли отклика, язык и место. Оно удлиняет проверку в разы. Числа собраны на странице Фильтры.
На группу в карантине отводится не больше 5 минут. Дольше - группа пропускает весь круг и получает подпись «Пропущена: площадка ещё ограничивает обращения».
Очередь кольцевая. Проверенную группу приложение переносит в конец очереди. За один круг приложение обращается к каждой группе по разу.
Отказ «слишком часто» и карантин на час
Площадка отвечает отказом на частые обращения. Приложение показывает при этом строку «Площадка ограничила обращения». Дальше к площадке час обращений не будет.
Час выбран не наугад. Площадки считают темп десятками минут. Повтор через пять минут даёт тот же отказ и занимает место в очереди.
Карантин переживает перезапуск приложения. Выключить и включить программу - не выход. У окна «ClipSave» отсрочка записана в файл рядом с приложением. У групп источников она записана в базу проекта. Потолок ожидания у группы - одни сутки.
На плитке группы это видно подписью «Повтор в 14:30». Когда точный срок неизвестен, там стоит «Повтор позже».
Пожалуйста, задайте группе прокси, если карантин повторяется часто. Обращения тогда пойдут с другого адреса, и место в очереди у группы станет своим.
Как задаётся периодичность
Обе настройки стоят в разделе «Экспорт»: «Проверять источники не чаще чем раз в» и «Создавать за сутки не больше». Их границы и значения по умолчанию описаны на странице Источники.
Главное про период: это наименьшая пауза между началами кругов, а не расписание. Двух кругов одновременно не бывает никогда. Круг, который длится дольше периода, отодвигает начало нового.
У группы есть своя доля участия - «Как часто проверять, %». При 100% группа участвует в каждом круге. При 25% - в каждом четвёртом.
Что бывает после перезапуска приложения
Проверки выполняются только при открытом приложении. После нового запуска экспорт надо включить заново кнопкой «Запуск».
| Что | Переживает перезапуск |
|---|---|
| Карантин площадки | да |
| Список скачанных видео | да |
| Счётчик кругов и время прошлого круга | нет |
| Причина ночного сбоя | да, показывается с приставкой «В прошлом сеансе: » |
Отсюда две особенности первого круга после запуска.
- Он начинается сразу, период при этом не выдерживается. Счётчик времени обнулился вместе с перезапуском.
- Он охватывает все группы, какая бы доля ни стояла в поле «Как часто проверять, %». Доля считается от числа кругов, а их пока не было.
Так и задумано. Человек нажал «Запуск» и должен получить видео сейчас, а не через полчаса.
Семь причин, по которым круг не начинается
Кнопка «Запуск» нажата, а проверок нет. Приложение отвечает одной из семи строк.
| Причина | Когда снимется |
|---|---|
| «Идёт проверка источников.» | По окончании текущего круга |
| «Периодическая проверка источников выключена: период не задан.» | Никогда. Задайте в поле «Проверять источники не чаще чем раз в» значение больше нуля |
| «Лицензия закончилась. Проверка источников продолжится после активации ключа.» | После активации ключа |
| «Кредиты закончились, а создание видео на устройстве выключено. Проверка источников продолжится после пополнения баланса.» | После пополнения баланса |
| «Сработала настройка "Создавать за сутки не больше". Проверка источников продолжится после полуночи.» | В местную полночь |
| «Дневной лимит видео исчерпан. Проверка источников продолжится после его сброса.» | При сбросе лимита тарифа |
| «Период между проверками источников ещё не прошёл.» | По истечении периода |
Две последние строки похожи, но означают разное. «Создавать за сутки не больше» - Ваша настройка, и она обнуляется в местную полночь. Дневной лимит видео принадлежит тарифу, и его момент сброса задаёт сервер. Оба ограничения видны в одном окне.
Дневной лимит видео в периодическом режиме только приостанавливает работу. Это отличие от обычного запуска, где он останавливает всё до нажатия кнопки.
Причины, по которым запуск не состоится вовсе, разобраны на странице Источники.
Предупреждение о слишком коротком периоде
Перед запуском приложение сверяет период с оценкой круга. Когда период короче, оно показывает предупреждение «Проверка источников будет идти дольше заданного периода».
Текст называет все три числа: «В поле "Проверять источники не чаще чем раз в" стоит 5 мин. На проверку 300 источников уйдёт не меньше 5 мин. Новая проверка начинается только после конца предыдущей. Значит, проверки будут идти реже, чем задано.».
Запуску это не мешает. Пожалуйста, увеличьте период либо уменьшите число источников, если хотите ровный темп.
Что делает остановка со скачанным
Прекратить периодическую проверку можно только кнопкой «Остановить» в разделе «Экспорт». Сменить тип экспорта на ходу нельзя.
С файлами при остановке происходит вот что.
- Видео, которые скачались, но не успели стать копиями, удаляются с диска.
- Отметка «уже брали» у этих видео остаётся на месте. Список скачанных видео - это чёрный список.
- Второй раз такое видео не скачается. Ближайшая проверка его пропустит.
Переключатель «Удалять скачанные видео после создания копий» тут ни при чём. Он решает судьбу файлов, из которых копии уже созданы.
Снять отметку может только человек. Пожалуйста, откройте «Скачанные видео» правой кнопкой по плитке группы. Найдите нужные строки поиском и нажмите «Удалить выбранное». Ближайшая проверка возьмёт эти видео заново.
Частые вопросы
Я задал период 30 минут, а видео появляются раз в два часа. Почему?
Период - это наименьшая пауза между началами кругов, а не расписание. Круг из трёхсот источников длится дольше получаса. Новый начинается только после конца предыдущего. Пожалуйста, посмотрите на предупреждение перед запуском: приложение считает оценку круга заранее и называет её числом.
Почему проверка ссылок в окне скачивания такая медленная?
Так задано намеренно. Между обращениями к одной площадке выдерживается пауза около четырёх секунд. За десять минут к одной площадке приложение делает не больше 60 обращений. Сто ссылок проверяются около 13 минут. Быстрее означает ограничение со стороны площадки, а оно достанется Вашему адресу и Вашему аккаунту.
Перезапустил приложение, а площадка всё равно ограничивает обращения
Так и должно быть. Отсрочка на час записана группе на диск и переживает перезапуск. Пожалуйста, подождите час: правка настроек группы, в том числе прокси, эту отсрочку не снимает. Прокси имеет смысл задать на будущее.
Первая проверка после запуска прошла по всем группам, хотя стоит 25%. Это ошибка?
Нет. Первый круг после запуска всегда охватывает все группы. Доля считается от числа прошедших кругов, а после перезапуска их ноль. Со второго круга доля работает как задано.
Остановил экспорт, а файлов в папке нет
Так и должно быть. Приложение удаляет видео, которые скачались, но не успели стать копиями. Отметка о них остаётся, поэтому заново они не скачаются. Пожалуйста, удалите записи в окне «Скачанные видео», если хотите получить эти видео снова.