Папка Upload как ее чистить?

vikont, как Вы делаете бекап папки upload? Считаете, что бекапа в том же дата-центре, который делает хостер хватит? Или больше заботитесь о своём сайте и сохраняете бекап в другие места (на домашний комп или на сервер в другом дата-центре)?
Я за свои четверть века работы с компами уже не раз сталкивался с ситуациями, когда основные бекапы умирают или становятся недоступны по различным причинам. Поэтому делаю бекапы в разные места и разными способами. А Вы?

Поэтому делаю бекапы в разные места и разными способами. А Вы?

Делать Бэкапы на том же ВПС, что и сайты — это все равно, что отложить деньги на черный день в том же кармане, в который "ныряете" каждый день…
Я делаю бэкапы в разных местах и это меня уже не раз спасало, особенно когда кое кто из ТП на одном из хостингов случайно вместо кнопки перегрузить нажали на переустановить…
Где я делаю бэкапы — удаленный FTP сервер (платный), Яндекс диск (пока бесплатный пакет), периодически на свой комп. Можно бэкапить и на другие платные и бесплатные хранилища — их немало в интернете.

как вариант дедик свой или же использовать азуре или амазон, но лучше всего брать вдску отдельно ресурсы не обязательны, главное квота достаточно фтп демона или просто ssh думаю 500 р для стоящего проекта не много, главное брать в доверенных компаниях вдску и не на той что сайт находится, также не давно узнал есть компания про зип в ней можно бекап сжимать в таких космос размерах что я просто в шоке и потом скачивать на пк, к примеру точно врать не буду но с 100 гигов около 5 можно сжать 5 гб не 100 можно и на яд диск кинуть.

Забыл добавить, что использую панель BRAINY а она умеет бэкапить в 6 различных ресурсов
1. Локальная директория — по выбору на своем ВПС
2. Удаленный сервер — когда у вас не один сервер
3. FTP — на любой ресурс с которым можно связаться и он доступен к загрузке файлов по FTP
4. Яндекс Диск
5. GoogleDrive
6. Dropbox
Бэкапы предварительно можно архивировать с выбранным уровнем сжатия, а так же закрывать паролем от чужого взгляда
Можно указать количество сохраняемых бэкапов, а так же раскладывать их по папкам....
Все операции происходят по крону в автоматическом режиме.

4. Яндекс Диск
5. GoogleDrive

Google — 15ГБ — 0р.
Google — 100ГБ — 1390р.
Google — 1ТБ — 6990р.

Яндекс — 10ГБ — 0р.
Яндекс — 100ГБ — 800р.
Яндекс — 1ТБ — 2000р.

DropBox — 1ТБ — от 99$



Самое стремное, что хостеры в мелкий шрифт эти ограничения, по файловой системе, прячут.

vikont, как именно Вы делаете эти бекапы папки upload? Каждую ночь архивируете её всю целиком и загружаете архивы на ФТП? Делаете какой-то прогой инкрементные копии и их забираете? Или синхронизируете на уровне файлов, сканируя всю структуру папок через ФТП? Или ещё как?

Просто каждую ночь делать полный архив всех файлов и отправлять его на внешний сервер — на мой взгляд это перебор. Да и картинки сжимаются плохо.

Просто каждую ночь делать полный архив всех файлов и отправлять его на внешний сервер — на мой взгляд это перебор.

В панелях управления должны быть встроенные архиваторы с отправкой

Очень удобная штука.

Яндекс — 10ГБ — 0р.
Яндекс — 100ГБ — 800р.
Яндекс — 1ТБ — 2000р.

ОЙ!!! Это цена в тугриках???
У меня дешевле: yadi.sk/i/7QvMEEhD3RzZxB

vikont, как именно Вы делаете эти бекапы папки upload? Каждую ночь архивируете её всю целиком и загружаете архивы на ФТП? Делаете какой-то прогой инкрементные копии и их забираете? Или синхронизируете на уровне файлов, сканируя всю структуру папок через ФТП? Или ещё как?

Бэкапится не папка, а весь пользовательский аккаунт. Панель пока не умеет бэкапить отдельные части аккаунта. Даже не знаю, а надо ли? Пока такой потребности не возникало.

Просто каждую ночь делать полный архив всех файлов и отправлять его на внешний сервер — на мой взгляд это перебор. Да и картинки сжимаются плохо.

Каждую ночь! На сайте информация добавляется каждый день, поэтому бэкапится ежедневно! Опять же, никакого напряга от этого не испытываю! ВПС справляется. Общий размер всех бэкапов более 7,5 гб архиватор tag коэффициент 3 Сильнее сжимать не рискую
На комп конечно же где то раз в неделю копирую готовые бэкапы.

Google — 15ГБ — 0р.
Google — 100ГБ — 1390р.
Google — 1ТБ — 6990р.

Не могу понять, где вы такие цены берете? Цены на Гугле диске.

Тут поступило предложение сделать новую утилиту для расчистки неиспользуемых файлов из аплоуда второй ветки.
Предлагаю следующий алгоритм:
1.Перебираем все таблицы базы в поисках полей типа picture, image, img, photo, content.
2. Ищем в полях этих таблиц все строки типа png, gif, jpg, jpeg, bmp и все имена файлов заносим в бооооольшой массив.
3. Рекурсивно перебираем файлы в аплоаде и тоже заносим их имена в массив.
4. Сравниваем массивы и разницу заносим в третий массив.
5. Удаляем все массивы, кроме третьего, и при его переборе удаляем файлы, имена которых содержатся в нем.
У кого не хватит оперативки на сервере — я не виноват.
Если есть какие-то более другие мысли — излагайте.

Панель пока не умеет бэкапить отдельные части аккаунта.

В ISP можно добавить папки, которые нужно исключать.

Не могу понять, где вы такие цены берете? Цены на Гугле диске.

Цены за год. Забыл дописать.
На месяц то вам зачем место? )))

У кого не хватит оперативки на сервере

Кусками может как то? За несколько подходов.

Кусками может как то? За несколько подходов.

Ну да. В первый подход убиваем чего нет в первом массиве, во втором — чего нет во втором. Третьего не нужно — папка абсолютно пуста.
Может в JSON запихивать?

Ищем в полях этих таблиц все строки типа png, gif, jpg, jpeg, bmp и все имена файлов заносим в бооооольшой массив.

Ищем в полях этих таблиц первые 10 000 строк типа png, gif, jpg, jpeg, bmp и все имена файлов заносим в уже не очень большой массив

Рекурсивно перебираем файлы в аплоаде и тоже заносим их имена в массив.

Сравниваем массивы и разницу заносим в третий массив.

Удаляем все массивы, кроме третьего, и при его переборе удаляем файлы, имена которых содержатся в нем.

Возвращаемся к пункту 1 и берем следующие 10 000 строк.

Так не получится?

Перебираем все таблицы базы в поисках полей типа picture, image, img, photo, content.

Еще добавить photos используется в компоненте доски объявлений Evanescence...

многие эту доску используют.

Вообще как раз у досок объявлений с не удаленными картинками со временем будут проблемы. Так как объявления публикуются на срок, и удаляются по истечению. А остатки изображений копятся… хотя вроде бы пресеты настроены, но все равно удаляются не все.