Чистка базы старых заявок и данных форм: зачем и как безопасно

Сайт компании работает двенадцать лет. Все эти годы каждая отправленная форма сохранялась в базе данных. Заявки, обратные звонки, вопросы, подписки, записи на замер — всё лежит. Вместе с ними копились записи о сессиях посетителей, логи действий в административной части, черновики, удалённые элементы, временные файлы и кэш. База выросла до нескольких гигабайт. Административная часть открывается по двадцать секунд, резервная копия делается полчаса, а хостинг присылает письма о превышении лимитов.

Нужно чистить. Но чистить базу — операция, после которой можно остаться без важных данных, поэтому делать это надо в определённом порядке и с понятными правилами. Разберём, что в базе действительно лишнее, что трогать нельзя и как навести порядок безопасно.

Из чего складывается разрастание

Записи отправленных форм. Каждая заявка сохраняется как запись с полями. За годы их накапливаются десятки тысяч.

Файлы, приложенные к заявкам. Фотографии, чертежи, документы. Занимают не место в базе, а место на диске, и часто именно они дают основной объём.

Статистика и журналы посещений. Если на сайте есть собственный модуль статистики, он пишет каждое событие. Растёт быстрее всего остального.

Журнал действий в административной части. Кто что менял и когда. Полезная вещь, но за десять лет превращается в самую большую таблицу.

Корзина удалённых элементов. Во многих системах управления сайтом удалённые материалы не исчезают, а помечаются как удалённые и продолжают лежать в базе.

Старые версии материалов. Если ведётся история изменений страниц, каждая правка сохраняется отдельно.

Служебные и временные данные. Кэш, очереди заданий, временные корзины покупателей, сессии.

Товары, снятые с продажи. В интернет-магазинах — вместе со всеми свойствами, фотографиями и связями.

Данные интеграций. Журналы обмена с системами учёта, выгрузки, импорта прайс-листов. Обмен раз в час за три года — это десятки тысяч записей.

Первое, что стоит сделать перед любой чисткой, — посмотреть, какие таблицы базы занимают больше всего места. Обычно выясняется, что 90% объёма дают две-три таблицы, и чистить нужно именно их, а не всё подряд.

Что можно удалять почти без раздумий

Записи статистики старше года. Если вы пользуетесь Яндекс.Метрикой, собственная статистика сайта вам не нужна вообще — она дублирует то, что и так собирается, и делает это хуже.

Кэш и временные данные. Пересоздадутся автоматически.

Сессии посетителей. Всё, что старше нескольких дней, бесполезно.

Журналы обмена с внешними системами старше нескольких месяцев. Они нужны для разбора недавних сбоев, старые записи смысла не имеют.

Брошенные корзины старше полугода в интернет-магазине.

Спам из форм. Если у вас копились отсеянные защитой сообщения, их можно удалять целиком.

Дубли заявок. Один человек нажал «отправить» три раза — три одинаковые записи с разницей в секунды.

Временные файлы загрузок. Остатки от незавершённых операций.

Что удалять нельзя

Заявки за последние год-два. Даже если сделки не было, клиент может вернуться, и история обращения пригодится.

Заявки от действующих клиентов. Независимо от возраста: это история отношений.

Материалы страниц, даже снятых с публикации. Удалённая страница — это потерянный текст, который может понадобиться.

Данные о заказах. В интернет-магазине история заказов нужна и для работы с повторными покупателями, и для разбора спорных ситуаций.

Записи, на которые ссылаются другие записи. Удаление «осиротевших» связей приводит к ошибкам на сайте. Это самая опасная часть чистки: удалили раздел, а товары в нём остались висеть без родителя.

Настройки, шаблоны, права доступа. Очевидно, но в порыве чистки страдает и это.

Всё, что вы не понимаете. Главное правило: если непонятно, зачем таблица, — не трогайте её, пока не выясните.

Порядок безопасной чистки

Шаг первый — полная резервная копия. База и файлы. Копия скачивается к себе, а не остаётся на том же сервере. Без этого шага к чистке приступать нельзя вообще.

Шаг второй — анализ. Определите, какие таблицы занимают место и сколько записей в каждой. Посмотрите распределение по датам: сколько записей старше года, двух, пяти лет.

Шаг третий — выгрузка того, что удаляете. Прежде чем удалить заявки старше трёх лет, выгрузите их в таблицу и сохраните отдельным файлом. Тогда удаление перестаёт быть необратимым.

Шаг четвёртый — чистка на тестовой копии. Разверните копию сайта отдельно, проведите чистку там, посмотрите, что сломалось. Это правильный порядок для любой рискованной операции.

Шаг пятый — чистка на рабочем сайте, по частям. Не всё сразу. Сначала одна таблица, проверка сайта, потом следующая. Если что-то сломается, будет понятно, из-за чего.

Шаг шестой — оптимизация таблиц. После массового удаления место не освобождается автоматически — таблицы нужно пересобрать. Иначе вы удалили половину записей, а объём базы не изменился.

Шаг седьмой — проверка сайта целиком. Главная, разделы, страницы услуг, каталог, формы, административная часть, личный кабинет, если есть.

Шаг восьмой — проверка скорости. Сравните время открытия административной части и страниц до и после.

Шаг девятый — свежая резервная копия уже очищенной базы.

Файлы: отдельная задача

Часто основной объём занимает не база, а файлы. Здесь свои правила.

Приложения к старым заявкам. Фотографии и чертежи от клиентов десятилетней давности. Их можно выгрузить в архив и убрать с сервера, оставив архив на отдельном хранилище.

Изображения, не используемые ни на одной странице. Остатки от переделок сайта. Находятся сверкой списка файлов со ссылками в содержимом — операция небезопасная, потому что файл может использоваться способом, который сверка не увидит. Поэтому не удаляйте, а переносите в отдельную папку и ждите месяц.

Дубли изображений. Одна и та же картинка, загруженная десять раз под разными именами.

Несжатые изображения. Не удаление, а сжатие: часто исходные фотографии лежат в полном размере, хотя на сайте показываются уменьшенными. Перевод в современный формат сжатия даёт кратное уменьшение объёма без потери качества.

Старые резервные копии на том же сервере. Классика: копии делаются автоматически и складываются рядом с сайтом, занимая больше места, чем сам сайт. Хранить копии нужно отдельно от сервера.

Архивы и дистрибутивы. Остатки от установки и обновлений.

Как это связано с продвижением 3 в 1

Наш подход исходит из того, что обращения приходят из трёх точек, и разросшаяся база незаметно мешает всем трём.

Поиск, включая нейропоисковые ответы. Перегруженная база означает медленный сайт. Медленный сайт хуже обходится поисковыми роботами, особенно если у вас большой каталог: робот тратит отведённое время на медленные ответы сервера и не доходит до части страниц. Для нейропоисковых роботов это тоже важно — они всё активнее обходят сайты, и медленный ответ означает, что часть содержимого до них не доберётся. Плюс прямой эффект на людей: страница, открывающаяся четыре секунды, теряет часть посетителей ещё до того, как они что-то прочитали.

Яндекс.Справочник. Связь косвенная, но существенная: человек, перешедший из карточки в Яндекс Бизнесе на медленно открывающийся сайт, просто вернётся в карты и позвонит следующей компании. Все усилия по заполнению карточки обесцениваются одной технической проблемой.

2ГИС. То же самое и в усиленном виде: аудитория приложения мобильная, часто на не самом быстром интернете, и терпения у неё меньше. Переход на сайт из карточки 2ГИС должен открываться быстро, иначе смысла в ссылке нет.

Работа только над одним каналом даёт неполный результат: можно идеально заполнить карточки и написать отличные тексты, а терять людей на скорости загрузки. Обращения с карт считайте наравне с заявками с сайта и после чистки сравните: изменилось ли количество переходов, дошедших до обращения.

Что настроить, чтобы не зарастало снова

Разовая чистка решает проблему на время. Чтобы она не вернулась, нужны правила.

Автоматическое удаление старых записей по расписанию. Настраивается задание, которое раз в месяц удаляет статистику старше года, журналы обмена старше трёх месяцев, сессии старше недели. В ХостСМС такие задания настраиваются в планировщике системы.

Ограничение глубины хранения журналов. Многие модули позволяют задать, сколько записей или дней хранить.

Автоматическая выгрузка заявок. Регулярный экспорт обращений в таблицу или передача в систему учёта вроде Битрикс24 или амоСРМ. Тогда база сайта перестаёт быть единственным местом хранения, и удалять из неё старое становится безопасно.

Отключение неиспользуемых модулей статистики. Если вы пользуетесь Яндекс.Метрикой, встроенная статистика сайта только занимает место.

Сжатие изображений при загрузке. Настраивается один раз и избавляет от проблемы навсегда.

Резервные копии — на отдельном хранилище. Не на том же сервере.

Регламент: раз в год проверять объём. Пятнадцать минут работы, которые избавляют от аврала.

Куда девать выгруженные заявки

Удалять обращения страшно именно потому, что они кажутся единственным следом работы за годы. Если выстроить хранение отдельно от сайта, страх пропадает.

Выгрузка в таблицу. Самый простой вариант: экспорт всех обращений с датами, контактами и текстом в файл таблицы. Хранится на рабочем компьютере и в облачном хранилище. Минус — искать по такому файлу неудобно, но как архив он вполне годится.

Передача в систему учёта обращений. Правильный путь. Битрикс24 и амоСРМ принимают заявки с сайта напрямую, и тогда каждое обращение сразу попадает туда, где с ним работают менеджеры. База сайта в этом случае служит транзитом, и хранить в ней историю за десять лет просто незачем.

Хранение в почте. Уведомления о заявках приходят на почту, и почтовый ящик оказывается фактическим архивом. Вариант рабочий, но ненадёжный: ящики переполняются, почта переносится, письма теряются.

Комбинация. Обращения уходят в систему учёта, а раз в год делается выгрузка в таблицу как дополнительная страховка.

Важная деталь: прежде чем настраивать автоматическое удаление старых заявок, убедитесь, что новые действительно попадают в другое место. Иначе можно настроить автоматику раньше, чем построить альтернативное хранилище, и начать терять обращения.

Отдельно стоит решить, что делать с файлами, которые клиенты прикладывали к заявкам. Обычно их достаточно сложить в архив по годам и убрать с сервера. Если речь о чертежах и технической документации постоянных клиентов — такие материалы логичнее хранить в рабочих папках проектов, а не в базе сайта.

Сколько времени занимает работа

Ориентиры для планирования, чтобы не начинать чистку за час до конца рабочего дня.

Анализ базы. От получаса до двух часов: посмотреть объёмы таблиц, разобраться, что за что отвечает, оценить распределение по датам.

Резервное копирование. От нескольких минут до часа в зависимости от объёма. Для больших баз — дольше, и это надо учесть.

Выгрузка ценных данных. Час-два, если выгрузок несколько.

Развёртывание тестовой копии. От получаса до нескольких часов.

Сама чистка. Обычно быстро — минуты. Но пересборка больших таблиц может занять от нескольких минут до часа, и на это время сайт лучше закрыть заглушкой.

Проверка. Час на спокойный обход сайта по всем ключевым страницам.

Настройка автоматики. Час-два разово.

Суммарно на первый раз закладывайте рабочий день. Последующие обслуживания — минуты, потому что всё будет работать по расписанию.

Признаки, что пора чистить

- административная часть открывается заметно медленнее, чем раньше; - списки материалов и заказов грузятся долго; - резервное копирование занимает много времени или падает с ошибкой; - хостинг присылает уведомления о превышении лимитов; - поиск по сайту стал медленным; - выгрузка каталога на внешние площадки не успевает отработать; - сайт периодически отдаёт ошибку при высокой нагрузке; - объём базы превышает несколько гигабайт при небольшом количестве реальных страниц.

Последний пункт самый показательный: если у сайта двести страниц, а база весит три гигабайта, значит, место занято не содержимым.

Типичные ошибки при чистке

Начать без резервной копии. Единственная ошибка, которая бывает непоправимой.

Удалять напрямую запросами к базе, не понимая связей. Записи связаны между собой, и удаление по одной таблице оставляет битые ссылки в других.

Чистить сразу на рабочем сайте. Тестовая копия существует именно для этого.

Удалить и не пересобрать таблицы. Объём не уменьшится, и будет казаться, что чистка не сработала.

Удалить заявки, не выгрузив их. Потом выясняется, что нужна была статистика за прошлые годы.

Удалить материалы страниц вместе с «мусором». Тексты — самая ценная часть сайта, восстанавливать их дорого.

Провести чистку и не настроить автоматику. Через два года всё повторится.

Чистить, когда реальная проблема в другом. Медленный сайт бывает медленным из-за тяжёлых картинок, неоптимальных запросов или слабого тарифа хостинга. Прежде чем чистить, стоит понять, где именно узкое место.

Вывод

База данных сайта требует обслуживания так же, как любое рабочее оборудование. Накопленные за годы журналы, статистика и служебные записи замедляют работу, усложняют резервное копирование и в какой-то момент упираются в ограничения хостинга. Чистка безопасна, если делать её в правильном порядке: копия, анализ, выгрузка, тестовая копия, поэтапное удаление, пересборка, проверка. И обязательно — настройка автоматического обслуживания, чтобы не возвращаться к этому вручную.

Если административная часть вашего сайта стала медленной, а хостинг жалуется на объём, обратитесь к специалистам компании «Сайты Профессионально». Мы разберёмся, что именно занимает место, выгрузим ценные данные, проведём чистку с резервными копиями и проверкой на тестовой версии и настроим регулярное обслуживание, чтобы проблема не вернулась. Диагностику базы и оценку работ мы делаем бесплатно.