Содержание

Эта статья создана на основе видео в нашем YouTube-канале. Смотрите и подписывайтесь!

Спикер: Андрей Стогов, технический директор контакт-центра TeleTribe

О компании и продукте

Рад всех приветствовать. Хотел бы рассказать о нашем опыте использования гибридного облака от OXYGEN. 

Какие ассоциации у вас возникают, когда вы слышите слово «контактный центр»? Когда я 2 года назад приходил работать в компанию TeleTribe, у меня была ассоциация со звонками в самый неподходящий момент с вопросом: «Вас интернет интересует?» Или еще более раздражающая история: «Стогов Андрей, вас беспокоит сотрудник Сбербанка. Вы только что оформили кредит на 300 тысяч, подтверждаете?» Наверняка все знакомы с этой историей.

К сожалению или к счастью, наш контактный центр занимается социальными проектами. Мы не занимаемся продажами, по крайней мере, на данный момент. Чуть подробнее про нас: мы входим в ТОП-10 контактных центров в России по числу оборудованных рабочих мест, на рынке с 2016 года. На данный момент у нас работает свыше 1500 операторов. Филиалы расположены в 5 городах, в разных часовых поясах: от Челябинска до Брянска. Самая старая и многочисленная наша площадка – в Ярославле. В прошлом году мы открыли площадку в Старом Осколе.

Какие номера телефонов каждый из вас знает наизусть? Думаю, все присутствующие знают номер вызова врача на дом – 122. Все мы хоть раз его набирали. Эти номера – 122, 777-77-77, Единый диспетчерский центр, Московский транспорт – все городские сервисы Москвы обслуживает именно наш контактный центр. Помимо этого, мы работаем с компаниями АО «АВТОВАЗ» и «Москвич», осуществляем запись в дилерские центры по всей России.

Буквально две недели назад мы выиграли тендер у Почты России и будем обеспечивать прием звонков от всех граждан, которые обращаются по поиску посылок, отправлений и так далее.

На чём работает контакт-центр: ПО NAUMEN

Теперь по технической составляющей. На чем работает наш контактный центр? Нам, наверное, повезло, потому что изначально мы работали на программном обеспечении российского производителя NAUMEN. И те контактные центры, которые работали на вендорах зарубежных, столкнулись с необходимостью перевода своего КЦ на другое ПО, когда начались санкции. У нас такой задачи не стояло.

Программное обеспечение NAUMEN развёрнуто на нескольких серверах, хотя, в зависимости от трафика, физически это может быть один сервер. Коротко перечислю основные системы: сервер управления проектами (PMS), программный коммутатор TEL, управляющая шина Core, сервис координации Buddy, сервис балансировки SIP-proxy, сервис регистрации SIP-устройств SIP Registrar и сервер исходящих обзвонов Dialer.

Зачем понадобилось облако?

Каким образом мы пришли к необходимости аренды облака? В 2021-2022 годах происходит очень сильный рост трафика из-за распространения COVID-19. Люди звонят на 122, пытаются вызвать врача на дом, появляются дополнительные горячие линии. Наша нагрузка доходит до 4,5-5 тысяч одновременных вызовов. И опытным путём было выяснено, что при такой нагрузке сервис начинает деградировать. Перед нами встаёт необходимость второй платформы, чтобы обеспечивать приём заявок от населения. Какие мощности требуются, чтобы развернуть одну платформу?

На одну платформу требуются следующие характеристики: порядка 600 ядер, 1 900 ГБ оперативной памяти, для хранения данных – медленные диски vSATA 65 000 ГБ и быстрые диски 10 000 ГБ. При таких требуемых мощностях далее возникает вопрос, с которым сталкивается любая компания: закупать оборудование самостоятельно либо же арендовать.

В нашем случае выбор упрощало то, что нам требовался оперативный запуск второй платформы, и у нас не было времени, чтобы заниматься закупкой оборудования самостоятельно, поскольку это несколько месяцев.

Затраты на покупку того серверного оборудования, которое требовалось, были оценены примерно в 50 миллионов рублей. А ежемесячные платежи за аренду этого же оборудования составляли чуть меньше 2 млн руб. При таком соотношении сумм возникает вопрос об окупаемости. Подчеркнём: 2 млн руб. – это ежемесячный платёж, а не годовой. Если сравнивать строго эти две цифры – 50 млн руб. единовременно при покупке против 2 млн руб. ежемесячно при аренде, – покупка окупается за счёт сэкономленной аренды за 25 месяцев, то есть чуть больше чем за два года. Однако такой расчёт учитывает далеко не всё: за его рамками остаются затраты на размещение купленного оборудования в ЦОДе, увеличение штата и ряд других расходов. С их учётом реальный срок окупаемости составляет порядка трёх лет – возможно, даже больше; точную цифру в рамках такой упрощённой модели назвать затруднительно. В итоге мы пришли к тому, что нам необходимо срочно арендовать мощности в каком-либо ЦОДе. И дальше у нас пошёл процесс его выбора.

Как выбирали ЦОД?

Какими критериями мы руководствовались? Наша существующая платформа размещалась в Курчатовском ЦОДе на территории одноимённого института. Новую платформу предполагалось разместить на географически разнесённой с ней площадке. К кандидату предъявлялись следующие требования: поддержка сквозной адресации между обеими площадками, соответствие современным стандартам надёжности и отказоустойчивости, а также известность как ЦОДа, так и самой компании-оператора. Нам также было необходимо физически разместить своё оборудование. Понятно, что стоимость решений для нас сыграла тоже не самую последнюю роль. Ну и оперативное реагирование на любые запросы, которые у нас возникали, для нас было важным фактором. 

Мы делали заявки в четыре ЦОДа, если я не ошибаюсь: в «Ростелеком-ЦОД», в ЦОД «АКАДО Телеком», в «ДатаЛайн» и, соответственно, в OXYGEN. «Ростелеком» – компания большая, неповоротливая, она ответила на наш запрос, кажется, спустя недели две или три. Мы даже не дождались от них ответа. Но, в любом случае, предложение у них было самое дорогое. 

OXYGEN сделал нам наилучшее предложение по цене. Для нас был выделен персональный менеджер, организован в чат в Telegram для оперативного решения вопросов и поездка на экскурсию непосредственно в ЦОД. Она сняла вопросы, если они ещё оставались.

Итоговая архитектура: две площадки

Что у нас получилось в итоге? У нас первая платформа NAUMEN 1 размещалась в ЦОДе Курчатовского института. Вторую мы развернули в ЦОДе OXYGEN. Между собой эти площадки были соединены двумя агрегированными L2 гигабитными каналами. Каждая площадка имеет выход в интернет через двух независимых провайдеров, и филиалы у нас подключены через каналы GRE либо через L2 каналы в зависимости от того, как исторически было сложено.

Проблемы за 2 года использования

С какими в итоге проблемами мы столкнулись за два года эксплуатации нашей инфраструктуры в OXYGEN? У нас было три проблемы, причём две из них были связаны с сетевыми сложностями. Первая история: у нас была блокировка входящего трафика в одном из каналов L2, агрегированных между ЦОДами. То есть, один SFP перестал работать. Проблема не так просто и быстро была диагностирована в силу того, что она плавающая, SFP нагревается и перестаёт работать, при этом второй SFP, соответственно, работает, и полная потеря связности не происходит. В итоге проблему выявили, локализовали, заменили SFP и всё решилось. 

Вторая проблема была связана с отказом платы в маршрутизаторе Juniper, который находился в зоне ответственности OXYGEN. Маршрутизатор имеет основную и резервную платы: когда одна из них вышла из строя, все маршруты автоматически перешли на резервную, однако время переключения оказалось критичным для телефонии – сервисы пришлось поднимать вручную, и в оказании услуг возник простой продолжительностью около двух часов, достаточно серьёзный именно из-за длительного восстановления. Коллеги из OXYGEN обратились к вендору с вопросом, как решать такую проблему; по его рекомендации было проведено обновление программного обеспечения, после чего сбой больше не повторялся. 

И последнее, с чем мы столкнулись: у нас был отказ диска в RAID массиве, в хранилище. Причём, по непонятным причинам, этот отказ приводил к блокировке всей партиции в хранилище. Снова обратились к вендору, который рекомендовал заменить диск после переборки RAID группы. Провели все мероприятия, и больше у нас такой проблемы не возникало. 

Экскурсия в ЦОД OXYGEN

Я ранее говорил, что съездил на экскурсию в ЦОД OXYGEN на Волгоградском проспекте. Так сложилось, что я был в этом ЦОДе ещё по прошлой работе в районе трёх лет назад. И я был потрясён теми изменениями, которые произошли там за три-четыре года, пока меня не было. Изначально это было полуразрушенное здание около завода «Москвич», состоящее из нескольких залов, с крышей с металлическими перекрытиями и стенами. А через три года здание, конечно, преобразилось и выглядит совершенно по-другому.

Там появились новые залы, парящие серверные и так далее. 

Но главное, что меня поразило – другое. Мне в процессе экскурсии показывали энерговводы в здание, и я спустился в коллектор. И в коллекторе меня поразила чуть ли не стерильная чистота. Там ни мусора, ни стяжек, ни кусков глины. Я понял, что, если в техническом помещении царит такой перфекционизм, то это относится и ко всему ЦОДу. Рад был поделиться своим опытом.

Вопросы и ответы

Вопрос из зала:

Насколько важна отказоустойчивость для вашего проекта, как вы обеспечиваете её сейчас и что планируете дальше? Ведь отказоустойчивость – это не наработка на отказ, а поведение системы в момент сбоя. Ваши сервисы достаточно экзотичны (кластеризовать NAUMEN, например, умеют немногие), поэтому вы делаете кластеризацию сами или пока не занимаетесь ею? Ведь бэкап способом её обеспечения не является. 

Андрей Стогов:

Контакт-центр работает в режиме 24/7 в реальном времени, и любые задержки для нас критичны. Но всё определяется требованиями бизнеса и целесообразностью затрат. Текущая архитектура разделена: физические серверы размещены в Курчатовском ЦОДе по модели colocation, а в облаке OXYGEN – только маршрутизаторы, средства шифрования каналов и виртуальные машины. Два года эксплуатации показали, что, с точки зрения отказоустойчивости, виртуализация оказалась даже надёжнее: аварийных ситуаций было больше именно в физическом ЦОДе. Кластеризацию NAUMEN мы пока не выполняем. Такая задача не стоит, поскольку существующая структура (бэкапы и возможность принять нагрузку) нас устраивает. При этом мы согласны, что бэкап отказоустойчивость не обеспечивает, а её полноценное обеспечение означало бы примерно удвоение наших расходов. База данных NAUMEN работает под Oracle – это историческая реальность, а не выбор: новые версии продукта и правда переводят на PostgreSQL, и идея миграции из зала озвучивалась, но переписывание «тонны кода» с Oracle на PostgreSQL – задача не такая простая, как кажется. 

Вопрос из зала:

После аварии с платой Juniper – это оборудование в итоге убрали или оно продолжает использоваться? Мы поняли, что ПО обновили, но сегодняшняя парадигма намекает на плавный переход на что-то другое. Каковы планы? 

Андрей Стогов:

Вопрос о планах скорее к Александру из OXYGEN. Со своей стороны: софт был обновлён, плата заменена, коллеги заверили, что от вендора получено уведомление, что таких проблем больше не возникнет. Добавлю: отказ платы, по-моему, заметили только мы – у нас трафик идёт в реальном времени. Остальные клиенты, кажется, ничего не заметили, и коллеги долго не понимали, чего мы поднимаем шум, ведь формально всё работало. 

Александр Будкин:

Планы есть – установка ещё большего числа Juniper, только свежих версий. Действительно, мы обновили софт и заменили плату: получился каскад событий – «щёлкнуло» ненамного, а разбираться коллегам пришлось долго, но после последнего обновления таких проблем больше нет, и за несколько лет эксплуатации это единственный сбой железа. По Eltex: эксплуатационного опыта с ним в таких приложениях у нас пока нет – стоило бы попробовать, причём проверять дольше года: если гипотетически поставить Eltex, и год на этом решении ничего не произойдёт, это ещё не значит, что ближайшие пять лет пройдут так же гладко. Уточню и архитектуру: резервирование двухуровневое – два маршрутизатора, в каждом по две платы. Инцидент случился при переключении плат внутри одной из них – на уровне L2 сходимость прошла штатно, многие клиенты с L2-каналами даже не заметили сбоя, а каскад событий внутри вызвали чувствительные к задержке приложения. 

Вопрос из зала:

Несколько отстранённый вопрос: по дисковым ресурсам у вас заявлено порядка 65 ТБ – сколько вы храните записи звонков? 

Андрей Стогов:

Записи звонков хранятся три года. Кроме того, от ряда заказчиков поступают требования хранить также видеозаписи экранов операторов, поэтому фактический объём хранения зависит от этих специфических требований. Звук записывается в формате MP3, точный битрейт по памяти не назову, но он согласован с Департаментом информационных технологий и достаточно комфортен для прослушивания диалогов операторов. 

Александр Будкин:

Добавлю, что решение коллег работает в нашем кластере с поддержкой BIGVM – это специальный режим на хостах с большим объёмом памяти, позволяющий запускать виртуальные машины с оперативной памятью до 1,5 ТБ. На нём реализована high availability: специальная архитектура синхронизирует память между хостами и обеспечивает корректную live-миграцию. 

Андрей Стогов:

Это важный момент – он входил и в число наших требований. Здесь благодарим компанию OXYGEN, сумевшую обеспечить их полностью. 

Поделиться

Понравилась статья? Оцените

Нет оценок

Вам может быть интересно