Разработка сервиса массовой публикации объявлений на Авито с автоматической обработкой данных, генерацией XML-фидов и инструментами продвижения. Система позволяет загружать из Excel-таблиц до 50 000 объявлений, автоматически обрабатывать данные и формировать фиды для Авито за считаные минуты.
Реализованы автоматическая перепубликация объявлений, бидер для управления продвижением, постоянно обновляемый справочник полей Авито, уникализатор изображений и система платных подписок с демо-доступом.
Проект разделён на два решения: публичный сервис Автозагрузки с базовым функционалом и внутренний портал для сотрудников компании и авитологов с расширенными и экспериментальными возможностями. Данные и изображения хранятся в облаке, а ссылки на них доступны непосредственно в таблицах.
Высокая нагрузка
Авито ежедневно обрабатывает более 50 миллионов публикаций. Старая архитектура не справлялась с растущей нагрузкой, что приводило к задержкам при создании и обновлении объявлений, потере данных и негативному пользовательскому опыту.
«Нам нужна была система, способная обрабатывать пиковые нагрузки до 10 000 RPS с гарантией сохранности данных и временем ответа менее 200ms»
Разработана микросервисная архитектура на Go с event-driven подходом: асинхронная обработка публикаций по шине событий, PostgreSQL с горизонтальным шардированием — основное хранилище, Redis — кэш горячих данных. Система автоматически масштабируется в Kubernetes в зависимости от нагрузки и стабильно работает в пиковые периоды. Среди модулей портала — бидер управления ставками, биллинг тарификации и канбан-борд статусов публикаций.
Результаты
- 50M+ — публикаций в день
- 150ms — среднее время ответа
- 99.9% — uptime сервиса
- 2x — рост производительности
Стек
- Laravel
- API Авито
- XML
- WordPress
- Redis
- Docker