Вторая часть рассказа про отчётность в агентстве — о её внутреннем устройстве. Первая часть была про принципы отчётности.

Каркас отчётности

Вся статистика проектов в агентстве хранится в базах данных (БД). Базы хранятся в облаке Microsoft Azure. В БД данные попадают из рекламных систем, Google Analytics и CRM клиента. Из базы они загружается в сводные таблицы в Эксель или на отдельный сервер онлайн-отчётов для быстрого доступа клиентов к данным.

Сводные таблицы в Эксель — основной рабочий инструмент команды проекта (отчёт по эффективности), который создаёт джедай и по которому клиент оценивает нашу работу. Хранится в Dropbox.

Источники данных и способы импорта

Мы загружаем данные в БД двумя способами: автоматически через API или вручную эксельками. Данные грузим разные:

• Бюджеты, показы и клики забираем из рекламных площадок через API, Google Analytics или эксельки;
• Данные по остальным интернет-каналам (SEO, type-in, рефералы) и конверсии — из Google.Analytics;
• Бюджеты по оффлайн-источникам (реклама в метро, на радио и т.п.) — из выгрузок от клиента;
• Звонки — через выгрузки клиента, системы колл-трекинга или автоматически из CRM;
• Лиды, счета, оплаты и другие этапы воронки — из выгрузок клиента или автоматически из CRM.

Данные загружаем в базу с помощью самописной программы Элеонора. Она работает в двух вариантах:

• серверная часть забирает данные с площадок автоматически раз в день: статистика Яндекс.Директ, Google AdWords, не-рекламный интернет-трафик, цели из Google Analytics;
• клиентская часть устанавливается джедаем на компьютер и позволяет импортировать выгрузки в xml- или xls- форматах от клиента и с площадок, у которых нет API.

Ежедневно после автоматического импорта команде проекта приходит письмо: все ли данные загрузила Элеонора, сколько осталось денег на рекламных аккаунтах, все ли метки в объявлениях верные.

Из чего состоит БД

Начальная сущность БД — атом, к нему привязываются все данные. Атом — мельчайшая единица, статистику по которой мы видим в отчётности. Как правило, это кампания.

Атом состоит из комбинации Город + Источник + Рекламная кампания + Сегмент. На практике это выглядит так:

рекламная кампания = Москва + Яндекс Поиск + Целевые + utm_campaign=msk_y_celevie_poisk

Сама база данных — это система таблиц. В наших БД есть таблицы с данными, таблицы-справочники и таблицы с правилами.

В таблицах с данными хранятся данные по каждому атому. Цифры надёжнее текста и занимают меньше места на сервере, поэтому в таблицах мы шифруем названия с помощью цифр. Для расшифровки отдельно храним таблицы-справочники.

Справочники — таблицы в которых записаны соответствия идентификаторов и названий сущностей. Они позволяют цифры, в которые закодированы названия, расшифровывать в текст. Для каждого класса сущностей есть своя таблицы: для городов, источников, каналов, типов кампаний.

В таблицах с правилами записаны правила, которые объясняют Элеоноре, какую статистику брать и к чему её привязывать. Правила формируются с помощью динамических сегментов, которые Элеонора накидывает на общий массив данных в Google Analytics, а потом привязывает данные к нужному атому.

Пример связей между таблицами в базе (кликабельно)

Устройство БД на примере статистики поисковой кампании в AdWords по брендам конкурентов в Екатеринбурге

Основная таблица — core.Atoms. В ней записаны все свойства атома — рекламной кампании.

Таблица core.Segments с правилами на основании динамических сегментов объясняет, какую статистику брать и куда её привязывать.

Таблица core.AdEngineCampaigns указывает Элеаноре из какой кампании в интерфейсе AdWords брать данные по расходам:

При помощи таблиц-справочников мы понимаем к какому городу, источнику и кампании относится эта статистика. Вот пример для города — таблица core.Cities:

В итоге статистика по кампании хранится в двух таблицах с данными: из рекламных площадок в таблице core.SourceData и из Google Analytics в таблице core.GaData.

Как данные из БД попадают в отчёт

В БД данные хранятся в виде множества разных таблиц, при этом текстовые данные зашифрованы. Для удобной работы нужно всё расшифровать, соединить в одну таблицу и выгрузить её из базы в Эксель. Это возможно с помощью Views.

Вьюхи — это хранящиеся в базе запросы, которые связывают данные из нескольких таблиц, при этом не изменяют сами данные. Выглядеть они могут так:

Эксель или онлайн-отчёт подключается к базе, получает с помощью вьюхи данные и агрегирует их в сводную таблицу, из которой джедай строит различные срезы.

Например, чтобы вывести в отчёт по эффективности данные по количеству целей за определённую дату по конкретной кампании, надо:

• взять данные по кликам за определённую дату;
• объединить их с конверсиями за определённую дату;
• объединить с расходом кампании;
• дешифровать название города, источника и кампании из цифр в текст.

То есть нужно написать минимум 4 вьюхи, чтобы получить сводную таблицу, с которой можно будет работать в Эксель. Звучит страшно, зато позволяет создавать сквозную отчётность до продаж.

БД и джедаи

В работе с базами данных большую часть технических задач делают программисты. Джедаи в базы заходят обычно, чтобы заполнить таблицы-справочники, добавить новые атомы при запуске новой кампании, поправить вьюху при добавлении новой сущности в отчёт.

Однако для любого джедая обязательным остаётся понимание устройства БД и его связки с рекламными системами и Google Analytics. Без этого джедай не сможет построить прототип отчёта и поставить задачу программистам на создание импортёра для загрузки клиентских данных в базу.

В изучении технической стороны работы баз данных помогает Стэнфордский курс по БД (лекции 1-7, 12), книга Мартина Граббера «Введение в SQL», электронный учебник sql-tutorial.ru и практика в sql-ex.ru.

Продолжаю рассказывать о внутренней кухне IT-Agency. Сегодня — про отчётность в агентстве. Тема большая, разбил её на 4 части. Сначала — о принципах отчётности. Позже будет о проектировании, структуре и видах отчётности.

Зачем нужна отчётность на проектах

Отчётность помогает вовремя выявлять проблемы, снижать расходы на рекламу и находить точки роста. Она позволяет клиенту быть уверенным в нашей работе. Для этого отчётность должна выполнять две задачи:

• давать информацию для дальнейших действий: оценка эффективности, управление рекламой, медиапланирование;
• позволять контролировать проект: отслеживание всех этапов воронки продаж, оценка успешности проекта по целевым показателям.

Без отчётности не получится контролировать проект, потому что не будет данных для принятия решений, управления задачами и расстановки приоритетов. Нет отчётности — нет доверия.

В агентстве не бывает проектов без отчётности.

Что значит «хорошая отчётность»

Хорошая отчётность = сквозная и достоверная.

Сквозная — значит, в ней отображены все бизнес-этапы-процессы клиента от первого контакта до продаж.

Достоверная — значит, мы и клиент доверяем ей, то есть знаем, откуда берётся и как считается каждая цифра.

Клиент не будет относиться серьезно к отчётности, которая отличается от его управленческих отчётов.

Целевой показатель проекта

Целевой показатель успешности проекта (KPI) обязательно отражается в отчётности. О нём клиент и команда договариваются перед запуском проекта.

Обычно, KPI рассчитывается от денег, заработанных клиентом. Это даёт команде возможность работать по единой цели с бизнесом. На разных проектах KPI разный. Где-то ROMI, где-то отношение бюджета к прибыли. Например, целевым KPI может быть ROMI > 500%.

В ROI/ROMI обязательно включается стоимость услуг агентства и всех платежей, если не оговорено иное — чтобы клиент видел показатели эффективности.

Джедай и отчётность

Главный по отчётности — джедай. Он отвечает за её качество и актуальность. Он же занимается её проектированием, построением и развитием. В этом ему помогают:

• менеджер и клиент при создании прототипа отчётов и получении внутренних отчётов о коммуникациях и продажах;
• разработчики при настройке скриптов и событий для сбора статистики (Google Analytics. колл-трекинги и т.д.);
• программисты при настройке и поддержке технической части отчётности (серверы отчётов, база данных).

Чем сложнее проект, тем сложнее отчётность. Сложность определяется длиной воронки продаж и количеством каналов. Чтобы вести сложные проекты, джедаю важно прокачиваться в отчётности. Для этого нужно уметь:

• строить воронки продаж;
• выбирать ключевые метрики для каждого этапа воронки;
• понимать разницу между микро- и макро-конверсиями;
• знать принципы работы Метрики и Analytics, в том числе куки, UserID, custom dimension, транзакции;
• считать ROI и ROMI;
• уверенно работать в Excel на уровне сводных таблиц и формул сложности vlookup;
• писать регулярные выражения для сегментов и фильтров в Google Analytics;
• знать базовые запросы SQL и принципы работы views в базах данных.

Базовый набор обучающих материалов по аналитике и отчётности есть в нашем плане обучения джедая в соответствующих разделах. Рекомендую.

Следующий пост будет о проектировании отчётности.

Это первая из серии заметок о работе в IT-Agency с точки зрения джедая. Приоткрою двери внутренней кухни.

Начну с планёрок по понедельникам. Просто потому что в них участвуют все.

Организация планёрок

В понедельник все команды проектов проводят планёрки. На них обсуждают текущие показатели и планируют задачи на неделю.

Планёрку ведёт джедай. Он отчитывается перед менеджером. Иногда к джедаю и менеджеру присоединяются специалисты для обсуждения конкретных задач: дизайнеры, сеошники, программисты, разработчики.

У каждого проекта своё время начала планёрки. Раньше обеда, как правило, не начинают, чтобы у джедая было время подготовиться. Общение идёт по видео через скайп или хэнгаут, потому что команды распределённые. Длится в среднем 40-90 минут. Может растянуться и на 4-5 часов, если проект сложный, а команда большая.

Для чего нужна планёрка

Задача планёрки — держать проект под контролем и развивать его. Это значит видеть всю ситуацию по проекту и знать, что делать для достижения целевых показателей.

Видеть всё, что происходит на проекте, помогает отчётность. Это сводные таблицы в Excel с данными по всем этапам воронки клиента от первого контакта до продаж. (Про устройство отчётности IT-Agency будет отдельный пост.)

Перед планёркой джедай тщательно анализирует показатели: от общего к частному, от продуктов и городов до рекламных кампаний. Нужно контролировать, что происходит сейчас и одновременно видеть, куда всё движется Для этого важно искать изменения, аномалии и новые тренды. Серебряной пули нет, приходится много копаться в данных.

Результат анализа — список гипотез «что и почему изменилось». Вооружившись гипотезами и открыв стратегию проекта, джедай составляет список задач на неделю. Как говорит мой коллега Захар, «перед менеджером, компанией и Богом за проект отвечает джедай». Поэтому он, а не менеджер должен генерировать новые идеи и планировать задачи. Стратегия и остальная команда помогают ему не упустить важное и не уйти в рутину. (О стратегии будет отдельный пост)

Проведение планёрки

Джедай проанализировал отчёт, изучил изменения и аномалии, составил список гипотез и план работ. Остаётся самое приятное — рассказать об этом команде.

Около 60% времени планёрки уходит на обсуждение показателей и гипотез. Еще 20% на разбор сделанных задач и 20% на недельное планирование.

Важно помнить, что планёрка — не дружеские посиделки, а переговоры. Мнения джедая и менеджера могут не совпадать. Джедай должен уметь аргументированно защищать гипотезы, доказывать необходимость новых задач и количество ресурсов на их выполнение. Главное оружие переговоров — спокойствие и уверенность в себе. Для этого к каждой планёрке нужно тщательно готовиться и знать всё о проекте.

Письмо по эффективности

После планёрки джедай отправляет менеджеру письмо с показателями и договорённостями.

Письмо помогает получателю представить всю картину по проекту. Его задача — показать заинтересованным лицам со стороны агентства и клиента, что проект под контролем.

Содержание письма может меняться от проекта к проекту, но обычно состоит из следующих пунктов:

• ключевые показатели текстом или в виде скриншота отчёта;
• несколько срезов с бюджетом, главными интернет-метриками и финансовыми показателями: например, общие результаты, весь Яндекс, весь Google, всё SEO;
• ссылка на онлайн-отчёт с логином и паролем для доступа;
• остаток средств на рекламных аккаунтах, чтобы знать на сколько дней работы осталось бюджета;
• план-факт по задачам с чёткой формулировкой («сделали», а не «делали») и ссылкой на результаты.

Когда планёрка проведена и письмо отправлено — у джедая остаётся время до вечера пятницы, чтобы выполнить обещанное.