Когда перестает ловить интернет, пользователи чаще всего звонят в колл-центр мобильного оператора. А куда попадают жалобы потом? Digital Business побывал в Центре мониторинга сети Beeline Казахстан в Алматы, где контролируют качество связи и устраняют неполадки.
Представители компании рассказали, какие данные в режиме реального времени отслеживает оператор, из-за чего чаще всего происходят неполадки мобильной сети и сколько жалоб должно прийти, чтобы проблема дошла до технического отдела. Также мы смогли запустить новую базовую станцию Beeline в селе, где проживает всего 100 человек.
«В день обрабатываем около 1 млн аварий по всей стране»
В центре мониторинга работают круглосуточно: около 50 специалистов следят за сетью 24/7, в среднем на смене 10-12 человек. Ранее здесь трудились в основном инженеры с техническим образованием, но сейчас активно набирают ИТ-специалистов — оборудование становится сложнее, и нужны новые подходы.
– Сотрудники центра разделены на несколько команд: одни контролируют мобильную сеть, другие — фиксированный интернет, третьи — транспортные сети. Это километры оптоволокна, соединяющие базовые станции. Есть команда, которая следит за ядром сети — оборудованием, коммутирующим звонки, сообщения и данные, – рассказывает руководитель центра мониторинга сети Beeline Анара Смаилова.
Анара Смаилова
Всего в отделе мониторят более 450 тысяч единиц оборудования, а в день обрабатывается около 1 млн аварий по всему Казахстану.
– Из этого миллиона примерно 2000 превращаются в инциденты – так мы называем сбои длиной более получаса. При этом пользователи ощущают только 0,1% от всех инцидентов, а большая часть из них устраняется в ближайшие пару часов или даже минут в зависимости от сложности ситуации.
По словам Анары, самая частая причина аварий – отключения электроэнергии на оборудовании.
– По этой причине происходит 70% сбоев. Когда отключают электричество, узловое оборудование (устройства, необходимые для работы компьютерной сети: маршрутизатор, коммутатор, концентратор, коммутационная панель и др. – прим. Digital Business) может работать на аккумуляторных батареях до 24 часов. Однако и после этого инженеры из регионов выезжают с дизель-генераторными установками (ДГУ), подключают их и поддерживают работу техники.
– Яркий пример — прошлогодние паводки. Несколько команд буквально жили рядом с базовыми станциями: на надувных лодках привозили дизель-генераторы и топливо. В некоторые места добирались на вертолетах вместе с МЧС, – добавляет старший эксперт по корпоративным коммуникациям Сергей Ким.
Сергей Ким (справа)
Еще одна распространенная причина проблем — строительные работы. Компании обязаны проверять схемы подземных коммуникаций, но часто этого не делают:
– Строительная техника начинает копать наугад и повреждает оптоволокно. Если пострадала магистральная линия, без связи может остаться целый город или даже страна. Ликвидировать такие аварии сложно: иногда инженеры ищут обрыв в чистом поле, а затем заваривают оптоволокно толщиной с человеческий волос, – рассказывает Сергей.
«Зимой специалисты могут ехать несколько часов по заснеженной трассе, а затем идти пешком или на лыжах»
Во время аварий задача сотрудников Центра мониторинга — перенаправить весь прерванный трафик через другие каналы и оптоволоконные кабели, чтобы минимизировать влияние аварии на пользователей и быстро восстановить работу.
– Сотрудники на мониторах видят возможные неисправности. Система с помощью искусственного интеллекта автоматически регистрирует 80% инцидентов и уведомляет команду, которая отвечают за устранение проблем в конкретном регионе. Остальные 20% регистрируются вручную. Далее коллеги действуют как детективы: анализируют ситуацию, выявляют причину, а затем переходят к устранению, – делится Анара.
Некоторые проблемы можно решить удаленно — например, перезагрузкой или настройками софта. Но если требуется физическое вмешательство, инженеры выезжают на место. Иногда это целая экспедиция.
– Зимой специалисты могут ехать несколько часов по заснеженной трассе, а затем оставить машину и идти пешком или на лыжах. Иногда путь в одну сторону занимает несколько часов, а оборудование весит десятки килограммов, – делится Анара.
Также, если из одной локации поступает более 10 жалоб, инцидент передают в технический отдел.
– Например, произошел обрыв кабеля, однако система резервирования сработала не сразу. В таких случаях даже сами инженеры тестируют сеть, как обычные пользователи: кто-то замечает сбои, кто-то нет — многое зависит от модели телефона и типа загружаемого контента. Но часто проблема бывает локальной: кто-то случайно отключил мобильные данные, ушел в подвал или пытается скачать фильм с вершины горы, – делится Анара.
«Во время боя Головкина объем потребляемого трафика мгновенно вырос в 4-5 раз»
Когда у пользователей плохо ловит связь, они обычно делают спид-тест или звонят в колл-центр. Операторы оценивают ситуацию иначе — они смотрят на нее через данные многочисленного оборудования:
– Один из экранов показывает всю транспортную сеть страны: четыре кольца, по которым циркулирует трафик. Другой – все случаи отключения электричества. Если цвет ветки сменился с зеленого на красный – значит, проблема серьезная, – рассказывает Анара.
Есть и график использования интернета по городам. Он показывает даже сезонные и культурные особенности:
– Во время Рамадана видно небольшой пик в 4-5 утра – люди заходят в интернет перед рассветом, когда заканчивается сухур (утренний прием пищи перед постом), – делится Сергей Ким.
Во время крупных событий трафик резко растет:
– Когда Геннадий Головкин дрался за чемпионский пояс, нагрузка на сеть увеличилась в 4-5 раз. То же самое происходит на концертах Димаша Кудайбергена. Если трафик внезапно падает или подскакивает – это либо сбой, либо массовое мероприятие, – объясняет Анара.
«Связь — это не только бизнес, но и важный социальный фактор»
Сейчас у Beeline около 40 тысяч базовых станций по всей стране. К этому списку прибавилась еще одна – в селе Кокпек Енбекшиказахского района, где живет всего 100 человек. Станция была построена с нуля, сейчас она поддерживает технологии 2G, 3G и 4G. Подключали ее при нас и даже разрешили немного поучаствовать в процессе.
В компании подчеркнули: установка БС в таких местах – затея нерентабельная.
– Полная стоимость, включая оборудование, вышку и системы охлаждения, может достигать 100 млн тенге. Помимо этого, есть постоянные расходы: аренда, электричество, обслуживание. Некоторые станции никогда не окупятся: если в селе 100 жителей, из них примерно 30 пользуются нашей связью, а трафик минимальный, – признается Сергей Ким. – Но мы понимаем, что связь – это не только бизнес, но и важный социальный фактор. Жители даже самых удаленных сел должны иметь такие же возможности, как горожане. Поэтому мы продолжаем развивать сеть даже там, где это не приносит прибыли.