Исследование устойчивости национальных сегментов сети Интернет за 2018 год

Данное исследование объясняет каким образом отказ одной автономной системы (AS) влияет на глобальную связность отдельного региона, особенно в том случае, когда речь идет о крупнейшем провайдере интернета (ISP) данной страны. Связность интернета на сетевом уровне обусловлена взаимодействием между автономными системами. По мере увеличения количества альтернативных маршрутов между AS возникает устойчивость к отказам и повышается стабильность интернета в данной стране. Однако, некоторые пути становятся более важными по-сравнению с остальными и наличие как можно большего числа альтернативных маршрутов в итоге является единственным жизнеспособным способом обеспечить надежность системы (в смысле AS).

Глобальная связность любой AS, независимо от того, представляет ли она второстепенного поставщика интернета или международного гиганта с миллионами потребителей услуг, зависит от количества и качества его путей к Tier-1 провайдерам. Как правило, Tier-1 подразумевает международную компанию, предлагающую глобальную услугу IP-транзита и подключение к другим Tier-1 операторам. Тем не менее, внутри данного элитного клуба нет обязательства поддерживать такую связь. Только рынок может придать мотивацию таким компаниям безоговорочно соединяться друг с другом, обеспечивая высокое качество обслуживания. Достаточный ли это стимул? Мы ответим на этот вопрос ниже — в секции, посвященной связности IPv6.

Если провайдер интернета теряет связь с хотя бы одним из собственных Tier-1 соединений, он, вероятнее всего, окажется недоступен в некоторых частях Земли.

Краткие факты TL;DR:
Румыния и Люксембург вышли из топ 20 с 11-го и 20-го места, соответственно, по итогам 2017 года;
Сингапур прыгнул на 18 мест до 5-й позиции;
Гонконг упал на 13 мест до 15 позиции;
Нидерланды вошли в топ 20 на 17-ю позицию;
18 из 20 стран остались в топ 20 по сравнению с прошлым годом.

Измерение надежности интернета

Представьте, что AS испытывает значительную сетевую деградацию. Мы ищем ответ на следующий вопрос: «Какой процент AS в этом регионе может потерять связь с Tier-1 операторами, тем самым утратив глобальную доступность»?

Зачем моделировать подобную ситуацию? Строго говоря, когда BGP и мир междоменной маршрутизации находились на стадии проектирования, создатели предположили, что каждая не-транзитная AS будет иметь по меньшей мере двух вышестоящих поставщиков (апстрим), чтобы гарантировать отказоустойчивость в случае, если один из них упадёт. Однако в реальности всё совсем иначе — более 45% ISP имеют только одно соединение с транзитным апстримом. Набор нетрадиционных отношений между транзитными интернет-провайдерами еще более снижает общую надежность. Итак, падают ли транзитные ISP? Ответ — да, и это происходит довольно часто. Правильный вопрос в данном случае: «Когда конкретный интернет-провайдер испытает деградацию связности?». Если кому-то такие проблемы кажутся отдалёнными, стоит вспомнить закон Мерфи: «Все, что может пойти не так, пойдёт не так».

Чтобы смоделировать подобный сценарий, мы применяем одну и ту же модель третий год подряд. В этом же году мы не просто повторили предыдущие вычисления — мы значительно расширили область исследования. Следующие шаги были пройдены для оценки надежности AS:

Для каждой AS в мире мы получаем все альтернативные пути к Tier-1 операторам с помощью модели отношений AS, служащей ядром продукта Qrator.Radar;
Используя базу геоданных IPIP, мы сопоставляли страны с представленным адресом каждой AS;
Для каждой AS мы подсчитали долю её адресного пространства, соответствующую выбранному региону. Это помогло отфильтровать ситуации, когда интернет-провайдер может присутствовать на точке обмена в определённой стране, но не имеет присутствия в регионе в целом. Иллюстративным примером является Гонконг, где сотни участников крупнейшей азиатской интернет-биржи HKIX обмениваются трафиком, имея нулевое присутствие в интернет-сегменте Гонконга;
Получив четкие результаты для AS в регионе, мы оцениваем влияние возможного отказа данной AS на другие AS и страны, в которых они представлены;
В конце концов, для каждой страны мы нашли конкретную AS, затрагивающую наибольший процент других AS в данном регионе. Иностранные AS не рассматриваются.

Надежность IPv4

Ниже вы можете увидеть топ 20 по надежности стран, в с точки зрения отказоустойчивости в случае сбоя единственной AS. На практике это означает, что в стране хорошая связность интернета, а процент отражает долю AS, которая потеряет глобальную связность в случае отказа крупнейшей AS.

В то время как отдельные страны могут перемещаться вверх и вниз по рейтингу, общая картина не претерпела существенных изменений с 2017 года. В прошлом году среднее значение отказа по миру составляло 41%, в 2018 оно снизилось на 3% до 38% с небольшим. Количество стран, снизивших зависимость от одной AS до менее 10% (что является признаком высокой отказоустойчивости) увеличилось на единицу до 30.

Еще одним заметным изменением стало значительное повышение надежности интернета в небольших странах Южной Азии и Африки. Эти регионы по-прежнему развиваются, но значительное улучшение разнообразия на рынке IP-транзита является признаком ускорения прогресса.

Игра в IPv6

Считается, что если технология хорошо работает в IPv4, её можно легко портировать в IPv6. Это ошибочное предположение может быть структурной проблемой всего процесса разработки IPv6.

Измерение глобальной надежности между двумя версиями протокола не так легко как может показаться. Для поддержания глобальной связности в IPv4, любой и единственный путь до Tier-1 провайдера будет достаточен. Но в IPv6 это может быть не так. Из-за продолжающихся пиринговых войн между несколькими провайдерами верхнего уровня в IPv6 они не все связаны друг с другом. По-меньшей мере две пары провайдеров решили разорвать пиринговые отношения (“de-peer”) в IPv6: Cogent (AS174) и Hurricane Electric (AS6939), Deutsche Telekom (AS3320) и Verizon US (AS701). Эти телекоммуникационные компании могут иметь разнообразные причины для своих конфликтов, но если сеть подключена только к одной их стороне, она не будет иметь полноценной связности в IPv6. Это также влияет на надежность интернет-провайдера с несколькими апстримами — отказ одного может привести к проблемам со связностью.

Желая устранить эти проблемы, мы скорректировали процесс измерения, чтобы проверить, поддерживается ли полная IPv6 связность во время сбоя. Другими словами, для обеспечения полной связности и высочайшей надежности, пути до Tier-1 операторов должны присутствовать постоянно. Мы также подсчитали процент AS в стране, которые имеют лишь частичную связность в IPv6 из-за пиринговых войн. Вот результаты:

Общее сравнение IPv4 и IPv6 в случае единственного отказа показывает, что у 86% национальных сегментов IPv4 связность намного выше. Важным открытием в мире IPv6 является то, что многие интернет-провайдеры не имеют надлежащей связности даже в нормальных условиях — без каких-либо сбоев. Например, в США это относится к примерно 10% всех AS, поддерживающих IPv6, а в Китае ситуация еще хуже, так как China Telecom (AS4134) получает глобальную связность только от одного провайдера — Hurricane Electric.

Как утверждалось ранее, никто не может принудить Tier-1 поставщиков соединяться друг с другом, помимо их клиентов. Свежие данные явно показывают, что потребительский спрос не является достаточным стимулом для их подключения друг к другу и достижения 100% видимости сетей. Единственным способом улучшить данную ситуацию кажутся призывы к надлежащему уровню сервиса IPv6. Команда Qrator.Radar рассматривает различные варианты, как сделать эту информацию более очевидной для каждого интернет-провайдера в мире, тем самым повысив информированность сообщества по данной проблеме.

Что касается частичной связности — несколько стран «не видят» более 20% адресного пространства IPv6. Это:

Нахождение двух бывших островных колоний, Сен-Мартен и Сен-Бартелеми, объяснимы глядя на общий рейтинг IPv4; микрогосударства, в большинстве случаев, зависят от единственного поставщика интернет-услуг. Остальные 9 государств со значениями выше 20%, и в особенности Объединённые Арабские Эмираты с 25% частично соединенных (соответственно, без полноценного глобального пиринга в IPv6) сетей, вызывают удивление.

Широкополосный интернет и PTR-записи

Повторяя вопрос, который мы задавали себе с прошлого года: «Правда ли, что ведущий провайдер в стране всегда влияет на региональную надежность больше, чем все остальные или какой-то другой?», мы разработали дополнительную метрику для дальнейшего изучения.

Возможно, наиболее значительный (по клиентской базе) провайдер-интернета в данной области не обязательно будет является той автономной системой, которая станет наиболее важна в вопросе обеспечения глобальной связности. Пример может быть быстро найден в самой верхней позиции в рейтинге IPv4 — Германия. В прошлом году было ясно, что немецкий транзит был по-меньшей мере на 2,29% зависим от провайдера Versatel. В этом году Versatel сменился DTAG (Deutsche Telekom), что улучшило связность в стране на 0,03%.

Но знание о положении DTAG долго не давало нам спать и мы пытались разработать метрику, которая будет включать в себя иногда невидимые соединения (ASN может изменить принадлежность или географию, номер может быть высвобожден), чтобы показать, что действительно произойдет там, где мы наверняка знаем о существовании доминирующего локального игрока. Россия с «Ростелекомом», Соединенные Штаты со всемогущим Comcast, которые владеют львиной долей широкополосной пользовательской базы в собственных странах. Так что же случится в регионе, если такой провайдер вдруг потерпит неудачу?

После многочисленных экспериментов мы определили, что наиболее точный показатель фактической значимости провайдера может быть основан на анализе записей PTR. Как правило, они используются для обратного поиска DNS: с использованием IP-адреса можно идентифицировать связанное имя хоста или доменное имя.

Это означает, что PTR может позволить измерение конкретного оборудования в адресном пространстве отдельного оператора. Поскольку мы уже знаем самые «жирные» AS для каждой страны в мире, мы могли бы посчитать записи PTR в сетях этих поставщиков, определив их долю среди всех PTR-записей региона. Стоит сразу же сделать заявление об отказе от ответственности: мы подсчитывали ТОЛЬКО записи PTR и не вычисляли соотношение IP-адресов без PTR-записей к IP-адресам с записями PTR.

Итак, далее мы говорим исключительно об IP-адресах с присутствующими записями PTR. Создавать их — не общее правило, поэтому некоторые провайдеры вписывают PTR, а другие нет.

Мы показали сколько из этих IP-адресов с указанными записями PTR отключится в случае отключения от/вместе с крупнейшей (по PTR) автономной системой в указанной стране. Цифра отражает процент от всех IP-адресов с поддержкой PTR в регионе.

Давайте сравним 20 наиболее устойчивых стран в IPv4 с рейтингом PTR:

Очевидно, что подход, рассматривающий PTR-записи дает совершенно иные результаты. В большинстве случаев меняется не только центральная AS в регионе, но и полностью отличается процент неустойчивости для указанной AS. Во всех надежных, с точки зрения глобальной доступности, регионах количество IP-адресов с поддержкой PTR которые отключатся вследствие падения AS в десятки раз выше.

Это может означать, что ведущий национальный интернет-провайдер всегда владеет конечными пользователями. Таким образом, мы должны предположить, что этот процент представляет собой часть пользовательской и клиентской базы ISP, которая будет отключена (в случае, если невозможно переключение на альтернативного поставщика) в случае сбоя. С этой точки зрения страны уже не кажутся такими надежными как они выглядят с точки зрения транзита. Мы оставляем за читателем возможные выводы из сравнения топ-20 IPv44 со значениями рейтинга PTR.

Детализация изменений в регионах

В прошлом году мы явно указали на значительное влияние AS174 оператора Cogent. В этом году, учитывая статичность 90% рейтинга год к году, когда Cogent обслуживал такие регионы, как Франция, Великобритания, США и Ирландия, мы видим все эти страны на всех позициях с теми же значениями зависимости от одного апстрима. Тем не менее, изменения произошли в США, где AS209, Centurylink, сместила Cogent. В ответ Cogent добавил в список стран, где он является доминирующими поставщиком соединения, Испанию и Бельгию.

Хотя это и означает, что отключение Cogent представляет собой риск сразу для нескольких регионов, необходимо также признать, что рыночная позиция конкретно данного провайдера является в первую очередь результатом его хорошей IPv4 связности. Несмотря на то, что Cogent добавил в собственный стратегический портфель еще две страны, отказ в обслуживании не приведет к полной недоступности в этих высоко диверсифицированных национальных сегментах интернета.

Но крупная новость связана именно с тем, что произошло в Соединенных Штатах. В течение двух лет подряд — 2016 и 2017 — мы определяли AS174, Cogent, как решающего на этом рынке. Это уже не так — в 2018 году AS 209 CenturyLink заменила его, отправив Соединенные Штаты вверх на три позиции, до 7-го места в рейтинге IPv4.

Оборачиваясь на регион бывшего СССР, мы видим небольшие изменения по сравнению с прошлым годом. Основным интернет-провайдером в России остаётся Ростелеком (AS 12389), чья доля на рынке довольно значительна (отражено в значениях PTR). Однако в 2018 году отключение «Ростелекома» приведет к отсутствию глобальной связности лишь у 5,27% автономных систем в стране, что ставит Россию на 13-е место по надежности.

Как и в прошлом году, транзитный рынок в России представлен в основном средними Tier-2 сетями, что и приводит к высоким значениям доступности. То же самое нельзя сказать об Узбекистане, где третий год подряд мы наблюдаем 99,9% зависимость от одного поставщика (AS 28910). В Туркменистане есть только один вышестоящий поставщик: «Ростелеком». Индекс Таджикистана «гораздо» лучше со значением в 78,14% нестабильности, что ставит страну на 202-е место в общем рейтинге. Четвертой страной региона с высоким значением нестабильности является Азербайджан, хотя его 47%-ая зависимость от AS 29049 не так плоха по сравнению с остальными.

Снижение рейтинга Украины на четыре позиции может объясняться продолжающимися законодательными процессами внутри страны, где ищутся способы определить приемлемый уровень применимого интернет-регулирования. Подобное вмешательство неизбежно приводит к некоторой потере надежности, хотя позиция Украины в топ-20 довольно устойчива три года подряд.

Есть «всего» 83 страны с более чем 40%-ой зависимостью от одного поставщика, 65 из них обладают значениями выше 50%. Есть 39, в большинстве своем, небольших стран с индексами нестабильности 90% и более. Существуют исключения: индекс Северной Кореи составляет 100% для AS 131729, что не нуждается в объяснении; то же самое относится к Эритрее, Гренландии и Новой Каледонии, имеющих свои причины. 99%-ая Эфиопии от единственной AS 24757 (EthioNet), в стране с населением в 100 миллионов человек, является неожиданным фактом в 2018 году. Сирия на 99,5% зависима на AS 29256, что представляет собой значительную потерю относительно прошлогодних 88,75%, вызванной смещением прошлогодней AS принадлежащей немецкому телекому. У Кубы показатель 97% зависимости от AS 11960. Индекс Ямайки — 91,3% для AS 34520, принадлежащей Columbus Networks — компании, с которой мы часто сталкиваемся как единственным поставщиком связности в отдаленных местах у берегов Северной и Южной Америки.

По сравнению с Люксембургом, находящемся на 30-м месте классического рейтинга со значением в 9,8% зависимости от AS6661, 66%-ый показатель Монако для AS6758 не свойственен стране такого уровня жизни и географии.

За последние два года на азиатском рынке интернет провайдеров произошли значительные изменения.

Повышение надежности связности Сингапура объясняется его позицией среди азиатских тигров — наиболее быстрорастущих экономик региона. Это соревнование ожесточено в верхней части рейтинга устойчивости, где позиции расположены достаточно плотно в процентном соотношении. Гонконг и Сингапур поменялись местами на основе 2%-го изменения индекса.

По мнению независимых наблюдателей, опрошенных нами, позиции Singtel в Сингапуре ослабевают. В прошлом году ключевая AS принадлежала StarHub, Сингапурскому провайдеру широкополосного доступа в интернет. В 2018 году основной AS в Сингапуре уже становится SingNet AS3758 (широкополосное подразделение SingTel’а). Нам сказали, что SingTel в последнее время испытывает недостаток капитала, поскольку их основной бизнес в Сингапуре прекратил активный рост (что можно дополнительно подтвердить посмотрев на динамику акций компании за последние два года). Трудности SingTel усугубляются взаимным интеграционным процессом с филиппинским ISP Globe — это, вероятно, еще одна причина, по которой SingNet потерял потребителей, тем самым потеряв долю на рынке и реальные подключения. Эти события вместе драматически и достаточно резко децентрализовали рынок ISP Сингапура, что и привело к прыжку на 18 позиций до текущей 5-й строчки в рейтинге устойчивости.

Говоря о Globe ISP, владеющим AS4775, в прошлом году был ведущей для Филиппин, в 2018 перестал ею быть — AS9299 превзошла его. AS9299 принадлежит PLDT, который, как сообщается, становится все более агрессивным на филиппинском рынке. Кроме того, позиция региона восстанавливается. Филиппины упали с 20-го места в рейтинге надежности на 31-е в 2017 году, и поднявшись до 27-го сейчас. Один этот факт наглядно показывает, что конкуренция — это хорошо, особенно когда речь заходит о надежности интернета в отдельно взятом регионе. Однако, при этом, мы не должны забывать, что Globe представляет SingTel, а PLDT, фактически, филиал NTT на Филиппинах.

Потери Гонконга в рейтинге надежности могут быть связаны с деятельностью PCCW в регионе. Местные наблюдатели сообщают нам, что PCCW в 2018 году выбрала стратегию активного приобретения клиентов, набрав долю на рынке и активных клиентов в самой экономической зоне.

В прошлом году основная AS Гонконга принадлежала Level3 (AS3356). После слияния с CenturyLink в конце 2017 года позиция Level3 не могла не изменится на более крупную, но в то же время менее устойчивую с региональной точки зрения.

С ростом рисков кибербезопасности и, фактически, постоянным потоком новостей об атаках на интернет-инфраструктуру настало время всем правительствам, частным и государственным компаниям, но в первую очередь — рядовым пользователям внимательно оценить собственные позиции. Риски связанные со связностью регионов необходимо изучать тщательно и честно, анализируя истинные уровни надежности. Даже невысокие значения в рейтинге нестабильности могут вызвать настоящие проблемы с доступностью в случае массированной атаки на крупного, общенационального, поставщика критически важной службы, допустим, DNS. Не забывайте также, что внешний мир отключится от служб и данных расположенных внутри региона, в случае полной потери связности.

Наше исследование ясно показывает, что рынки интернет-провайдеров и операторов связи, основанные на конкуренции, в конечном итоге развиваются динамичнее, чтобы стать намного более стабильными и отказоустойчивыми в отношении рисков внутри и даже за пределами конкретного региона. Без конкурентного рынка отказ одной AS может и приведет к потере сетевого соединения у значительно части пользователей из страны или более обширного региона.