Центр управления сотовой связью - взгляд изнутри

У любой сотовой сети есть центр управления и мониторинга (ЦУМ), в котором круглосуточно работают специалисты высокого класса, обеспечивающие бесперебойную работу мобильной связи. В этом репортаже мы расскажем о техническом функционале, группах контроля и других интересных подробностях на примере ЦУМ столичной сети "МегаФон" - это один из самых крупных и самый современный проект такого рода у операторов "большой тройки" (он вступил в строй летом этого года). Центр управления и мониторинга "МегаФон" был основан только в 2006 году, на базе дежурной смены, а уже летом 2009 года, пережив несколько модернизаций, переехал в новое здание общей площадью 300 кв. м. Общий штат подразделения - 63 человека, в том числе 39 инженеров по оперативному управлению. Шесть смен специалистов в режиме реального времени обеспечивают работоспособность сети и мобильных сервисов, а 24 сотрудника организуют поддержку и автоматизацию сквозных бизнес-процессов. Как показывает практика, на рабочие места инженеров по оперативному управлению ЦУМ ежедневно поступает более 500 тыс. информационных сообщений, характеризующих качество сервисов и работоспособность мобильной сети на всех уровнях.

Левое крыло ЦУМа компании "МегаФон"

Основной операционный зал ЦУМ сети "МегаФон" разделен на три зоны. В левом крыле находится контроль аварийных сообщений о сбоях в работе сетевых элементов и передатчиков, базовых станций, сбоях по электропитанию, в работе ВОЛС и т.д. Большая часть проблем решается удаленно, поскольку дистанционное управление позволяет прямо из ЦУМ осуществлять прямой доступ ко всем телекоммуникационным устройствам и системам охраны контейнеров с "железом", а также практически ко всем "смежникам". Кстати, в случае незаконного проникновения в контейнеры, вневедомственная охрана вызывается тоже из этого помещения. В настоящий момент порядка 80% всех технических проблем решается удаленно, на так называемой первой линии реагирования ЦУМ, без привлечения дополнительных технических подразделений компании. А остальные 20% наиболее "тяжелых" случаев уже передаются в профильные отделы компании, которые и занимаются устранением таких аварий.

Графики загрузки голосового трафика

Эта динамичная картинка показывает загрузку голосового трафика по контроллерам. Мы были в ЦУМ в середине дня в четверг, поэтому свободная емкость сети (желтый цвет) составляла порядка 25-30 и даже 40%. Конечно, во время пиковой загрузки эти показатели несколько меньше.

Центр управления и мониторинга столичной сети "МегаФон" - место, откуда
осуществляется контроль всех ИТ- и телеком-систем данного оператора

Типовые проблемы, которые можно решить удаленно, это перезапуск базовых станций, изменение параметров соты, передача трафика через резервные маршруты, оперативное управление качеством сети и т.д. К примеру, при выходе из строя транзитной БС можно на какое-то время "пожертвовать" покрытием в районе и отключить радиочасть, что снизит нагрузку на аккумуляторы и позволит запитать трансмисионное оборудование . А выезжать на место приходится, в основном, при выходе из строя "железа" или чтобы подать питание от резервных генераторов. Все сбои телекоммуникационного оборудования фиксируются в специальной системе. Каждый сбой автоматически оценивается, в зависимости от "тяжести" последствий, и происходит оперативное оповещение (по электронной почте и SMS) ответственных сотрудников оператора. Для решения каждой проблемы существуют свои временные нормативы. Конкретные показатели зависят от трафика, который собирает та или иная БС, от ее положения в структуре сети, емкости и т.д.

Передвижной электрогенератор

Отсюда же, из левого крыла ЦУМ, осуществляется управление аварийными бригадами, которых в столичном регионе у "МегаФона" двадцать. Их личный состав привлекается для оптимизации сети, установки оборудования на новых БС, проверки сетевых элементов, а также в кризисных ситуациях. Столица и область разделены на пять основных секторов, которые закреплены за подразделениями по ликвидации аварийных ситуаций. Кроме того, существует еще пять аварийных бригад, которые в случае выключения питания могут оперативно доставить дизельные генераторы на базе грузовых автомобилей или прицепов. Тем не менее, каждая БС, в зависимости от ее мощности, оснащается резервными аккумуляторами, которых хватает минимум на шесть часов постоянной работы. Аварийные бригады также могут оперативно перезапустить, починить или заменить оборудование при серьезной поломке (существует специальный резервный фонд всех деталей и блоков). Кстати, кроме передвижных генераторов, у "МегаФона" есть и стационарные, которые находятся в ключевых точках радиорелейной транспортной сети и на наиболее важных узловых базовых станциях. Они запускаются автоматически при сбое питания и обеспечивают гораздо больший срок автономной работы - до нескольких суток. Все плановые работы обычно проводятся во время наименьшей загрузки сети и контролируются непосредственно из ЦУМ. В октябре было зафиксировано 1,1 тыс. таких мероприятий. По завершении каждого мероприятия - обязательный тест всех систем, которые оно затронуло.

Степень загрузки сигнальной сети

Верхний график - скорость передачи данных в сети 3G на сетевом оборудовании Cisco.
Нижний - окно контроля ЦОДа компании "МегаФон" в "Центральном телеграфе".

Загрузка "стыка" транспортной сети "МегаФон"
с магистральными операторами - ТТК и "Ростелекомом".

Днем в левом крыле ЦУМ работает 6-7 специалистов, ночью же число инженеров по оперативному управлению уменьшается до трех человек. В частности, по одному специалисту всегда "сидит" на радиочасти, мониторинге трансмиссии, энергетике.

Проверка функционирования базовой станции с помощью комплекса Web Map и чтение лога ее загрузки.

Правое крыло ЦУМ компании "МегаФон".

В правом крыле ЦУМ находятся средства управления и мониторинга энергетических ресурсов. Причем отслеживаются не только базовые станции, но и внутренние подразделения "МегаФона", в том числе и три ЦОД компании - на ул. Вятской, где стоят коммутаторы, контроллеры, сервисные платформы, биллинг и т.д., на Кавказском бульваре, а также Дмитровском шоссе (это помещение сейчас строится). Не осталась без внимания и точка присутствия на "Центральном телеграфе". Кроме того, часть операторов занимается сбором статистики и решением конкретных проблем по обращениям абонентов в call-центр компании, связанными с теми или иными техническими сложностями. Обычно эти сложности классифицируются по типам и распространенности, а также местам возникновения. Кстати, концентрированные проблемы, выявленные более чем у 3-5 абонентов одновременно, да еще в разных районах города (к примеру, неработоспособность сервиса), сразу берутся "на карандаш", поскольку определяются как массовые. Днем здесь работает 3-4 специалиста, ночью - один. Обычно все технические проблемы, фиксируемые в ЦУМ, интерпретируются с точки зрения влияния на абонента. Затем в call-центр передается контрольное время устранения неисправности, чтобы абоненты, обратившиеся по определенному вопросу, могли получить эти данные в режиме online. К примеру, срок починки вышедшей из строя БС или восстановления дополнительного контент-сервиса выглядит не как "до конца дня", а очень четко - "контрольное время решения проблемы - 16:55".

Центральная часть ЦУМа "МегаФона"

Справа - терминал контроля качества связи "Конфиденциальной сотовой сети"

Центральная часть ЦУМ состоит из шести рабочих мест. Основное направление работы специалистов, которые находятся здесь, - общий контроль сети. Учитывается все - от попыток успешного соединения через сеть, загрузки коммутаторов, общей статистики вызовов до функционирования сервисных платформ, услуг и т.д. На все есть свои нормативы, и автоматизированные системы контроля "присматривают" за этим в круглосуточном режиме. Кроме этого, здесь находится пост контроля всех VAS-услуг оператора связи и сторонних контент-провайдеров. Вдобавок, здесь собирают информацию о работоспособности коммутаторов и биллинговой системы. Здесь же сконцентрированы основные системы управления бизнес-процессами оператора связи - система управления взаимодействием с клиентами, система регистрации, обратной связи, обработки и хранения сообщений пользователей службы технической поддержки, система для борьбы с мошенничеством в сети связи, а также процесс-ориентированная система принятия управленческих решений. Часто для определения проблемы в сети необходимо отследить конкретный вызов с сотового телефона. Это можно организовать с помощью фирменного ПО поставщика оборудования (в данном случае, компании Nokia). Как видно из ролика, указаны все параметры вызова и его трассировка.

Центр VAS-услуг компании "МегаФон". Видеокамеры на рабочем месте необходимы для тестирования услуги "Мультифон".

Рабочее место на пять мониторов. Компания от мониторинга оборудования перешла к контролю сервисов - оценка всех событий в сети происходит с точки зрения влияния на абонента

Рабочие места операторов условно разделены по контролируемым системам. Основное - система коммутации и ядро сети, а также биллинговая часть без дополнительных приложений. За этим следит один оператор. Он же "присматривает" за весьма важной для "МегаФона" услугой "Конфиденциальная сотовая связь", которая работает по выделенному каналу передачи данных. Если посмотреть внимательнее на этот рабочий пост, то видно, что на пяти мониторах открыты дополняющие друг друга задачи. Это и электронная почта, и базы данных, системы мониторинга NetCool и OSS, система контроля сети от производителя (к примеру, Nokia), консоль, через которую можно организовать исполнение команд тем или иным сетевым оборудованием. Здесь же - основные параметры статистики по оборудованию (в режиме online) и биллингу (с задержкой в пять минут, поскольку большие объемы информации необходимо агрегировать). Второе рабочее место сразу за этим, тоже с большим количество мониторов - тот самый центр мониторинга VAS-услуг. Именно эти рабочие места наиболее значимы в центральной части ЦУМ, постоянно загружены и работают в круглосуточном режиме без перерывов.

Интересная функциональность информационных систем ЦУМ - сбор всевозможной статистики. К примеру, звонки абонентов столичной сети "МегаФон" зарубежным операторам связи

Информация на большие экраны выводится в зависимости от текущих событий или плановых работ - у каждого "крыла" ЦУМ есть своя "стенка" из больших мониторов, которая для операторов и руководства рабочих групп служит внешним ориентиром - так можно охватить все сразу одним взглядом. Наиболее массовые проблемы, которые бывают время от времени, - задержки с поступлением платежей, но обычно это случается у всех операторов. Впрочем, это скорее проблема передачи данных в биллинг от платежных систем, а не от оператора связи. Но именно они вызывают наибольший шквал эмоций из-за отсутствия связи при оплаченной, вроде бы, услуге. Типичное время, которое выделяется техническим службам на восстановление работы того или иного сервиса, - от нескольких минут до 48 часов, а если сервис основополагающий (например, те же платежные системы), то до 3-4 часов максимум. Кстати, мобильные лаборатории контроля качества сети - это удаленные подразделения ЦУМ, они работают как в "фоновом режиме", объезжая все улицы города, так и принимают новые БС и реагируют на конкретные жалобы абонентов, которые поступают в call-центр компании мобильной связи.