Как работать с огромными файлами журналов веб-сервера Apache
Я должен признать, что не обращал внимания на размер некоторых файлов журналов веб-сервера Apache на моем выделенном сервере. Для тех, кто не знает, журналы Apache — это файлы журналов веб-сервера Apache. Они регистрируют каждое обращение к веб-сайту и предоставляют отличный материал, который может быть обработан программным обеспечением для анализа файлов журнала.
Эти файлы журналов могут стать огромными, если у вас есть популярный веб-сайт. Текущий размер файла журнала Ghacks составляет 45 гигабайт. Если он продолжит расти такими темпами, веб-серверу очень скоро не хватит места на жестком диске.
Первая проблема заключалась в том, чтобы выяснить, как сделать резервную копию файла размером 45 ГБ на веб-сервере, поскольку я не хотел терять все данные, хранящиеся внутри. Родилась идея сначала сжать файл журнала веб-сервера Apache, а затем уменьшить его до нескольких килобайт с помощью команды echo.
Файлы журнала веб-сервера Apache хранятся в каталоге / var / log / apache2 на выделенном сервере Debian. Первая команда, которую нужно выполнить, сжимает содержимое каталога apache2 в несколько файлов tar, если сжатый файл достигает максимального размера. Это упрощает перенос файлов на другой компьютер.
tar -cz каталог | split -d -b 1024m — destination.tgz
Каталог — это исходный каталог, в котором находятся файлы журнала веб-сервера Apache, а destination.tgz — это имя создаваемого сжатого файла. Важно отметить, что вам может потребоваться остановить веб-сервер Apache для успешного выполнения операции, поскольку утилита сжатия остановится, если файлы будут изменены во время обработки.
Последнее, что нужно сделать, — это очистить исходные файлы журнала веб-сервера Apache в каталоге файлов журнала. Это можно сделать с помощью следующей команды, даже если Apache запущен.
echo «»> /var/log/apache2/filename.log
Это просто перезаписывает содержимое файла. Обратите внимание еще раз, что некоторые дистрибутивы Linux используют другую структуру каталогов и что файлы журнала могут располагаться в другом каталоге на сервере.
Это займет всего несколько секунд, после чего содержимое файла журнала будет удалено.
Затем нужно просто перенести различные сжатые архивы на другой компьютер.
