Бесплатный фрагмент - Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры

Посвящение

Книга посвящается человеку, который оказал влияние на всю мою жизнь — моему Учителю, научному руководителю, заведующему кафедрой «Информационные системы» с 1994 года и по настоящее время Тверского государственного технического университета, заслуженному работнику высшей школы Российской Федерации, доктору технических наук, профессору Борису Васильевичу Палюху. Благодаря ему я смог сделать главный выбор в свей жизни — стать специалистом в области информационных систем.

Предисловие

Александр Юрьевич Чесалов

Член экспертной группы по вопросам цифровизации деятельности Уполномоченного по правам человека в Российской Федерации.

Член Экспертного совета при Комитете Государственной Думы по науке и высшему образованию по вопросам развития информационных технологий в сфере образования и науки.

Разработчик программы Центра искусственного интеллекта МГТУ им. Н. Э. Баумана, программы «Искусственный интеллект» и «Глубокая аналитика» проекта «Приоритет 2030» МГТУ им. Н. Э. Баумана в 2021—2022 годах.

Сертифицированный специалист: IBM Professional certificate foundations of AI, IBM Professional certificate Essential Technologies for Business и др.

Добрый день, дорогие друзья и коллеги!

Представляю вам свою научно-исследовательскую работу на тему «Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры. Монография. Том 1».

В 2003 году в Тверском государственном техническом университете я защитил кандидатскую диссертацию по теме «Анализ и выбор рациональной структуры региональных распределенных сетей передачи, обработки и хранения данных» по специальности 05.13.01 — Системный анализ, управление и обработка информации (в промышленности). На сегодняшний день — это специальность 2.3.1. «Системный анализ, управление и обработка информации, статистика».

В честь двадцатилетия с момента написания своей первой научной работы я принял решение опубликовать накопившийся у меня за последние годы значительный объем материалов, который будет издан в двух книгах:

Том 1. Раскрывает классические подходы к проектированию распределенных сетевых структур на основе разработанной методики анализа функционирования и выбора рациональной структуры региональной сети передачи, обработки и хранения данных в условиях использования разнородных и низкоскоростных каналов связи с целью повышения производительности, а как следствие, ее эффективности функционирования. Основная работа по данному направлению выполнялась в период с 2000 по 2003 годы.

Том 2. Значительно дополняет содержанием том первый и раскрывает новые подходы к проектированию региональных распределенных сетей передачи, обработки и хранения данных на основе технологий следующего поколения — NGN (Next Generation Network), которые, в последствии, позволили перейти к «сетям будущего» (см. стандарты и рекомендации Международного союза электросвязи), функционирующих на основе технологий машинного обучения и искусственного интеллекта. Основная работа по данному направлению выполнялась в период с 2009 по 2011 годы.

На первый взгляд читателю может показаться, что информация в обеих книгах значительно устарела, а подходы и результаты нельзя применить в современной практике. Я и сам так долго думал до того момента, как в 2021 году меня не пригласили в МГТУ им. Н. Э. Баумана принять участие в создании Центра сильного и прикладного искусственного интеллекта.

Оглядываясь на свою практическую работу за последние двадцать лет я понял, что мои наработки пригодились мне в жизни не один раз, а результаты научно-исследовательских работ и общие подходы к проектированию сетевых инфраструктур передачи, обработки и хранения данных, которые изложены в данной книге, мною были апробированы на практике неоднократно в разные периоды времени и в разных проектах.

К значимым достижениям, основанных на моей работе, можно отнести следующие:

2003 год

Предложенный в работе методологический подход к определению загрузки и производительности сервера центра обработки информации, совместные работы, выполненные в соавторстве с д. т. н. Б.В. Палюхом и к. т. н. С.Л. Федченко, а также разработанная на его основе программа оценки соответствия производительности многопроцессорных ЭВМ числу решаемых задач были реализованы в проекте, выполненным ФГУП «Государственный испытательный центр программных средств и вычислительной техники» (город Тверь) для Центробанка Российской Федерации.

В дополнение к этому, результаты работы были использованы в:

— Администрации Тверской области, при проектировании региональной вычислительной сети обработки социально-экономической информации и при реализации проекта целевой программы информатизации — «Создание опорных пунктов информатизации в районных (городских) администрациях и муниципальных образованьях и отработка функционирования системы взаимодействия на базе внедрения электронного документооборота».

— Компании «ЛУКойл-Арктик-Танкер» при разработке сетевого проекта построения распределенной системы электронного документооборота компании на базе СУБД Lotus Domino R5.

2005 год

В период с 2005 до 2008 годы в компании «Сетевые системы» под моим непосредственным руководством проводились научно-исследовательские и опытно-конструкторские разработки (НИОКР) в области информационных технологий и сетевой безопасности.

Одним из основных результатов НИОКР стало создание встраиваемой сетевой операционной системы «PyrOS» для устройств сетевой безопасности: аппаратных файрволлов (firewall), систем обнаружения и предотвращения вторжений (Intrusion Detection Systems — IDS и Intrusion Prevention System, IPS) управляемых коммутаторов и других.

Операционная система «PyrOS» ничего общего не имела с клонированием Linux. Наш опыт в создании собственной системы базировался на знаниях FreeBSD и QNX. Первый прототип был создан на основе FreeBSD и промышленного сервера Advantech FWA-3140. В последующем ядро, драйвера и код были полностью переработаны. Был создан свой перечень управляющих команд и командный интерпретатор (как бы сейчас сказали: «свой язык программирования и управления сетевыми устройствами»).

В последствии данная разработка была высоко оценена на международной выставке CeBIT 2007, как техническое решение, специалистами компаний Intel, Cisco и тогда еще никому не известной компании Huawei.

Подробнее об этой разработке можно узнать из моей книги «Разработка встраиваемой сетевой операционной системы PyrOS».

2011 год

Написана диссертация на соискание ученой степени доктора технических наук на тему: «Методология определения операционных характеристик и рациональной структуры региональных распределенных сервисных сетей передачи, обработки и хранения данных». Специальность 05.13.10 — Управление в социальных и экономических системах.

Работа посвящена развитию технологий сетей Next Generation Network (NGN) и применения их для построения региональных распределенных сетей.

Диссертация защищена в Межотраслевом центре эргономических исследований и разработок в военной технике (Тверское отделение (40-я лаборатория) НИИ авиационного оборудования) — филиала Центрального научно-исследовательского института экономики и конверсии (ЦНИЭК).

В том же году в компании «МТС» внедрена, разработанная нами система централизованного хранения, обработки и защиты конфиденциальной информации, расположенной в распределенных центрах обработки информации компании, на удаленных автоматизированных рабочих местах и терминалах — «Atlansys Atlansys Enterprise Security System» (https://atlansys.tech/atlansysess/). Система была установлена на 12 000 рабочих местах.

2021 год

1. Написана Программа центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана по теме: «Создание платформы машинного обучения для автоматизации интеллектуальных сетей передачи, обработки и хранения гетерогенных данных на основе технологий доверенного искусственного интеллекта». По направлению: «Межотраслевые технологии искусственного интеллекта и искусственный интеллект для иных приоритетных отраслей экономики и социальной сферы».

Основная цель программы Центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана — создание специализированного программного комплекса — платформы машинного обучения для автоматизации обеспечения бесперебойной работы и улучшения качества услуг интеллектуальных сетей передачи, обработки и хранения гетерогенных данных (включая поддержку работы с широкополосными сетями передачи данных, сетями Wi-Fi, сети IoT и д.р.) на основе технологий доверенного искусственного интеллекта, а также:

— работу в распределенных облачных инфраструктурах для решения широкого круга межотраслевых задач индустриальных партнеров;

— создание и тестирование новых алгоритмов обучения нейронных сетей, которые могут применяться в широком спектре кросс-отраслевых прикладных решений;

— сделать существенных шаг для последующих исследованиях в направлении Сильного искусственного интеллекта.

Очень важным аспектом работы данной платформы является реализация задачи поддержания наиболее эффективной нагрузки на сеть по критерию производительности в условиях интенсивной маршрутизации обмена сообщениями. На основании исходных данных платформа может моделировать и прогнозировать поведение сети, информируя оператора о причинах сбоев или снижения эффективности работы сети, или помогая делать прогнозы по улучшению обслуживания сети, а также решать задачи по ее оптимизации.

Созданная «умная» платформа сможет также применяться крупными производственными компаниями при переводе производственных и технологических процессов на уровень «Индустрия 4.0» и промышленного Интернета вещей, для решения задач автоматизации обмена данными о процессах и автоматической реконфигурации без непосредственного участия человека.

Применение машинного обучения и искусственного интеллекта для решения подобных задач автоматизации и оптимизации сетевых параметров интеллектуальных сетей в ближайшем будущем позволит нам перейти к созданию новых сетевых систем — сетей будущего, которые способны автоматически решать сложные оптимизационные задачи и строить самостоятельно алгоритмы построения и развития сетей, что немаловажно, они смогут выполнять оптимизационные задачи быстрее и качественнее человека, что в будущем будет возможно с появлением сильного искусственного, который позволит создавать самоорганизующиеся сети передачи данных, объединяющие в себе сотовые сети, широкополосные сети, сети Wi-Fi, сети Интернета вещей, сети промышленного Интернета и другие сети специального назначения,,,,,,,,.

Совместно компанией «ЭР-Телеком Холдинг» — индустриальным партнером Центра разработано Техническое задание, которое позволит решить следующие основные задачи на базе создаваемой платформы:

1. Разработка подсистемы улучшения эффективной нагрузки и контроля качества эксплуатации интеллектуальной сети (инфокоммуникационной сети и сервисов).

2. Разработка подсистемы предиктивной аналитики для поддержки системы-принятия решений по эксплуатации сети.

3. Разработка подсистемы сбора и глубокого анализа данных сети IoT, с целью формирования специализированных баз данных, для дальнейшего создания, внедрения и предоставления платных сервисов клиентам (заказчикам, потребителям услуг).

Работа по написанию Программы центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана выполнена в рамках конкурса проведенного в 2021 году Аналитическим Центром при Правительстве России по отбору получателей поддержки исследовательских центров в сфере искусственного интеллекта, в том числе в области «сильного» искусственного интеллекта, систем доверенного искусственного интеллекта и этических аспектов применения искусственного интеллекта. Программа высоко оценена независимыми экспертами.

Об этом проекте и его результатах я подробно рассказываю в книге «Как создать Центр искусственного интеллекта за 100 дней».

2. Подготовлен Отчет о научно-исследовательской работе МГТУ им. Н. Э. Баумана за 2021 год по теме: «Разработка методологии построения интеллектуальных сетей, определение их структуры и архитектуры, параметров функционирования с целью повышения производительности работы системы и пропускной способности каналов передачи данных с учетом возможности использования технологий машинного обучения и искусственного интеллекта». Работа выполнена в рамках конкурса «Приоритет-2030»: «Искусственный интеллект как сервис», проведённого Министерством науки и высшего образования Российской Федерации.

2023 год

Разработана электронная универсальная система машинного обучения «Atlansys EUS» (Electronic Universal System, EUS).

Название платформы выбрано не случайно и является отсылкой к 80-м и 90-м годам двадцатого века, к эпохе зарождения и развития компьютерных технологий, автоматизированных и экспертных систем.

Платформа «Atlansys EUS» создана для разработчиков и пользователей сервисов искусственного интеллекта. Она предоставляет цифровые сервисы, необходимые для разработки, развертывания и запуска приложений, использующих технологии машинного обучения и искусственного интеллекта в распределенных облачных средах для решения научных и бизнес-задач заказчиков.

Концепция «Atlansys EUS» — это автоматизированная реализация процесса «Data Mining -> Data Science -> Data Analysis -> Artificial Intelligence -> Machine Learning -> Value» через цифровые сервисы.

Как вы можете видеть, научно-исследовательская работа, представленная в первом томе, прошла красной нитью через многие из моих проектов, выполненных за последние двадцать лет в области информационных технологий. Я надеюсь она сможет быть полезной и вам в вашей работе.

Эта книга, как и мои многие другие, является исключительно личным опытом и проектом автора, а также абсолютно свободным к распространению документом. Вы можете использовать эту книгу и представленную в ней информацию по-своему усмотрению, но ссылка на нее обязательна.

Приятного Вам чтения и продуктивной работы!

Ваш, Александр Чесалов.

Сайт: chesalov.com

E-mail: aleksander.chesalov@yandex.ru

01.06.2023

Благодарность

Выражаю глубокую благодарность всем тем людям, которые помогли мене поверить в свои силы, провести работу над накопленным за последние двадцать лет материалом и издать эту книгу в двух томах.

Особую благодарность выражаю Директору Научно-исследовательского института энергетического машиностроения МГТУ им. Н. Э. Баумана, к.т. н. Крылову Владимиру Ивановичу, Заместителю директора Научно-исследовательского института энергетического машиностроения МГТУ им. Н. Э. Баумана, к.т. н. Французову Максиму Сергеевичу и Руководителю департамента искусственного интеллекта НОЦ «Технологии искусственного интеллекта» МГТУ им. Н. Э. Баумана, к.т. н. Тынченко Вадиму Сергеевичу.

Выражаю благодарность всем ученым, которые поддержали меня в моей инициативе опубликовать монографию, нашли время на ознакомление с данной работой и подготовили на нее свои рецензии, а именно:

— Ректору Ульяновского государственного технического университета, Почетному работнику высшего профессионального образования РФ, Заслуженному профессору УлГТУ, заместителю председателя Общественного экспертного совета по развитию информационных технологий при Губернаторе Ульяновской области, доктору технических наук, профессору кафедры «Информационные системы», Надежде Глебовне Ярушкиной.

— Руководителю научно-учебного комплекса «Информатика и системы управления» МГТУ им. Н. Э. Баумана, доктору технических наук, профессору Андрею Викторовичу Пролетарскому.

— Доктору технических наук, профессору кафедры системного анализа и исследования операций Института информатики и телекоммуникаций Сибирского государственного университета науки и технологий им. Н. Ф. Решетнева Алене Александровне Ступиной.

— Ведущему научному сотруднику лаборатории проблем компьютерной безопасности Санкт-Петербуржского Федерального исследовательского центра Российской Академии наук, доктору технических наук, профессору Игорю Борисовичу Саенко.

— Заведующему лаборатории искусственного интеллекта, профессору кафедры информатики Института космических и информационных технологий Сибирского федерального университета, доктору технических наук Олеславу Александровичу Антамошкину.

— Заместителю генерального директора по науке ООО «НТЦ АРГУС», доктору технических наук, профессору Борису Соломоновичу Гольдштейну.

Рецензии на монографию

Рецензия Ректора Ульяновского государственного технического университета, д.т.н., профессора кафедры «Информационные системы» Н. Г. Ярушкиной

Рецензия Руководителя научно-учебного комплекса «Информатика и системы управления» МГТУ им. Н. Э. Баумана, д.т.н., профессора А. В. Пролетарского

Современные тенденции развития региональных систем управления предопределяют необходимость наличия соответствующих сетевых технологий сбора обработки и хранения информации, важное значение в которых играют новые современные технологии четвертой промышленной революции. В интересах решения подобных задач субъектами Российской Федерации строятся распределенные сети сбора, обработки и хранения информации, в которых в качестве узлов сети рассматриваются отдельные хозяйствующие субъекты, органы управления и социального обеспечения, включая региональные центры управления регионом.

В целом указанные источники разнородны данных, имея собственную сеть обмена информации в единой региональной сети передачи, хранения и обработки данных (РССХД) должны быть агрегированы. Сложность решения этой задачи во многом определяется разнородностью их программно-аппаратного обеспечения, удаленностью их географического положения и разнородностью параметров связи. При наличии ограниченных ресурсов решение такой задачи становится еще более сложной и требует разработки специализированных методических подходов.

Именно решению этой научной проблемы посвящена работа. Как следует из монографии, автор достаточно подробно дает анализ существующих методов и методик оптимизации сети, начиная от ее топологического синтеза, оптимизации операционных характеристик и выбора параметров сети информационного обмена.

Автор дает критический анализ существующих методик проектирования региональных сервисных сетей передачи обработки и хранения данных (РССХД), указывает на существенные недостатки в выборе топологии сетей, системы информационного обмена и модельного обеспечения функционирования сетей в целом. В частности, следует согласится с автором, что существующие методы топологического выбора сетей не учитывают информационную взаимосвязанность узлов, их иерархическую соподчиненность по агрегируемой информации.

Кроме этого, справедливо указывается необходимость отдельного учета в выборе технических средств и программного обеспечения сетей информационного обмена, предполагая их необходимую иерархическую взаимосвязанность узлов сети по характеру обрабатываемой информации. Также следует считать справедливым указание автора на то, что в вопросах топологического анализа узлов сети на современных системах не учитывается их кластерный характер взаимосвязанности в обработке и агрегировании информации.

В целом выполненный анализ позволил автору сделать необходимые выводы о доработке существующих методик, определить научную проблему, цель и задачи исследования, изложенные в первом и втором томах монографии.

В работе лично автором получены следующие научные результаты:

1. Модель функционирования региональной сети, учитывающая структуру сети, операционные характеристики сети хранения информации и системы информационного обмена, топологию и характеристики сети связи;

2. Комплекс методик выработки альтернативных вариантов организации региональной сети передачи, обработки и хранения данных, в рамках которого разработаны:

· методики вертикальной и горизонтальной структуризации узлов сети на основе обработки матрицы необходимой связности;

· методика интегральной оценки связности узлов сети с учетом их необходимого информационного взаимодействия, связности решаемых задач и параметров каналов связи.

3. Комплекс методик выбора рациональной структуры сети передачи, обработки и хранения данных, в рамках которого разработаны:

· методика выбора топологии и пропускной способности каналов связи;

· методика определения загрузки и производительности сервера;

· методика выбора протокольных параметров связи.

4. Методика выбора рационального варианта системы информационного обмена в распределенной сети передачи, обработки и хранения данных.

5. Разработано научно обоснованные техническое решение — операционная система «PyrOS» для аппаратно-программных межсетевых экранов, маршрутизаторов и систем предотвращения сетевых вторжений.

Практическая значимость работы. В результате проведенных в рамках данной работы исследований сформирована алгоритмическая и методологическая основа синтеза региональных распределенных сетей, в условиях использования разнородных каналов связи.

Достоверность и обоснованность работы подтверждены использованием современного апробированного математического аппарата, сочетанием теоретических и экспериментальных исследований и непротиворечивостью их результатов, а также результатами оценки эффективности практического применения разработанного методического аппарата.

Вместе с тем, в работе следует отметить ряд следующих недостатков:

· из работы не ясно на основе учета каких параметров определяется введенный автором параметр необходимой близости узлов сети.

· из работы не ясно как увязаны между собой задачи выбора операционных характеристик сети и параметров сети информационного обмена.

· из работы не ясно какова последовательность операционных характеристик сети. На основе каких данных обеспечивается в комплексе решение данной задачи.

В целом автор провел законченное самостоятельное исследование, содержащее новые, достоверные и глубоко обоснованные научные результаты и положения, выводы и рекомендации, имеющие теоретическую и практическую значимость. Работу отличает логичность и последовательность излагаемых проблем в ходе решения поставленных задач. Монография является научной работой, в которой решена важная научная проблема, имеющая важное значение на современном этапе социально-экономического развития Российской Федерации.

Вывод

Несомненно, монография имеет достаточно весомое научное значение, соответствует требованиям к издаваемым монографиям (научным изданиям) ВАК и будет интересна для специалистов работающих в области информационных технологий, инженеров и ученых занимающихся проблемами исследования и проектирования распределенных вычислительных систем и сетей передачи данных, а также будущим аспирантам, работающим по научным специальностям 2.3. «Информационные технологии и телекоммуникации» и 2.2.15. Системы, сети и устройства телекоммуникаций.

Монография рекомендуется к публикации.

Рецензия доктора технических наук, профессора кафедры системного анализа и исследования операций Института информатики и телекоммуникаций Сибирского государственного университета науки и технологий им. Н. Ф. Решетнева А. А. Ступиной

Рецензия Заведующего лаборатории искусственного интеллекта, профессора кафедры информатики Института космических и информационных технологий Сибирского федерального университета, д.т. н. О.А. Антамошкина

Рецензия Ведущего научного сотрудника лаборатории проблем компьютерной безопасности Санкт-Петербуржского Федерального исследовательского центра Российской Академии наук, доктора технических наук, профессора И. Б. Саенко

Рецензия Заместителя генерального директора по науке ООО «НТЦ АРГУС», д.т.н., профессора, Б. С. Гольдштейна

Актуальность: определяется необходимостью совершенствования системы управления социально-экономического развития субъектов Российской Федерации, требующих оперативной оценки текущего состояния телекоммуникационной инфраструктуры. Существующая система информационного обеспечения управления не отвечает требованиям оперативности и полноты представляемой информации и таким образом не обеспечивают требуемые качественные показатели управления и оперативности принимаемых решений.

Особенностью существующих региональных систем обработки и хранения информации является их разнородность, как по составу технических средств, программного обеспечения, так и по форматам и протоколам передаваемой информации. Кроме этого, существующие сети обработки и сбора информации являются разнородными по составу используемых технических средств передачи информации. Все это вызывает существенные трудности в организации единой сети сбора обработки и хранения информации в интересах управления народным хозяйством в регионах страны. Указанные особенности определяют несомненную актуальность темы исследования.

В первом и втором томах монографии автор дает анализ и определяет общие тенденции развития сетевых технологий вычислительной техники и средств коммутационного обеспечения, применяемые в настоящее время в передовых технологиях сетевой обработки информации. Абсолютно справедливо автором указывается на то, что основные тенденции, связанные с развитием сетевых технологий сбора и обработки социально-экономической информации связаны с существующими тенденциями технологических проектов, определяемых как «сети следующего поколения».

Автор дает критический анализ существующих методик проектирования региональных сервисных сетей передачи обработки и хранения данных (РССХД), указывает на существенные недостатки в выборе топологии сетей, системы информационного обмена и модельного обеспечения функционирования сетей в целом. В частности, следует согласится с автором, что существующие методы топологического выбора сетей не учитывают информационную взаимосвязанность узлов, их иерархическую соподчиненность по агрегируемой информации.

Кроме этого, справедливо указывается необходимость отдельного учета в выборе технических средств и программного обеспечения сетей информационного обмена, предполагая их необходимую иерархическую взаимосвязанность узлов сети по характеру обрабатываемой информации. Также следует считать справедливым указание автора на то, что в вопросах топологического анализа узлов сети на современных системах не учитывается их кластерный характер взаимосвязанности в обработке и агрегировании информации.

В целом выполненный анализ позволил автору сделать необходимые выводы о доработке существующих методик, определить научную проблему, цель и задачи исследования, изложенного в первом и втором томах монографии.

Также автором определены основные направления топологического синтеза РССХД. Для этого на основе достаточно подробного анализа существующих методов топологического синтеза сетей им разработана методика оптимального построения РССХД на основе определения множества альтернативных деревьев организации связи узлов, учитывающая их кластерный характер взаимосвязи, возможности организации связи и степень семантической близости обрабатываемой информации.

Для решения этих задач автором введено новое понятие «необходимой связности узлов». Введение этого понятия дало возможность автору реализовать процедуры автоматической генерации вертикальной организации сети на основе расчета порядковой функции графа необходимой связности узлов сети.

Такой подход в целом дает возможность осуществить генерацию деревьев связности РССХД и выбрать рациональный вариант организации сети. Для этого автором предлагается использовать методы векторной оптимизации, применение которых обеспечивает учет многоцелевого характера функционирования сети, ее технической и программной реализации. Вместе с тем, в данной главе автором не прописывается четко процедура перехода от альтернативных деревьев организации, к их аппаратно-программному обеспечению функционирования. Кроме этого, предлагаемая им методика кластеризации узлов не обеспечена соответствующим выбором аппаратно-программных средств их функционирования.

В монографии автором дано описание методик выбора операционных характеристик «сетей нового поколения», исходя из основного критерия эффективности функционирования сети по параметру пропускной способности. В частности, им описаны: методические подходы к выбору пропускной способности каналов связи; определения оптимальной загрузки и производительности сервера, выбора протокольных параметров и оборудования передачи данных. Кроме этого, в этой же главе систематически изложена вся процедура проектирования сети с учетом определения ее операционных характеристик.

В целом предложенные методики позволяют решать указанные задачи и составляют единое целое. Однако, автором недостаточно полно методически показана взаимосвязь методик топологического анализа и последующей оценки и выбора операционных характеристик «сетей нового поколения» или РССХД.

Автором предлагается комплекс методик обоснования рационального варианта организации информационного обмена. Им определены требования к организации информационного обмена в РССХД, исходя из характера и особенностей решаемых задач. В этом разделе автором совершенно справедливо указывается на то, что существующие тенденции организации управления социально-экономического развития регионов обеспечиваются на основе строгой иерархической взаимосвязи уровней управления, состав циркулирующей информации в которых существенно отличается по степени агрегирования. Именно этот фактор определил необходимость выделения оперативного, системного и внешнего уровней взаимодействия отдельных узлов сети, требующих различных способов организации информационного обмена. В целом для решения подобных задач автором представлена методика выбора сети информационного обмена на основе применения векторных критериев оптимизации.

Автором рассмотрены результаты практического внедрения методик путем сравнения характеристик существующей и модернизируемой на основе применения предложенного методического обеспечения РССХД. Показано, что применения методического аппарата позволяет существенно улучшить характеристики сети и повысить однородность загрузки оборудования.

Основными научными результатами, полученными лично автором, являются:

1. Модель функционирования региональной сети, учитывающая структуру сети, операционные характеристики сети хранения информации и системы информационного обмена, топологию и характеристики сети связи;

2. Комплекс методик выработки альтернативных вариантов организации региональной сети передачи, обработки и хранения данных, в рамках которого разработаны:

· методики вертикальной и горизонтальной структуризации узлов сети на основе обработки матрицы необходимой связности;

· методика интегральной оценки связности узлов сети с учетом их необходимого информационного взаимодействия, связности решаемых задач и параметров каналов связи.

3. Комплекс методик выбора рациональной структуры сети передачи, обработки и хранения данных, в рамках которого разработаны:

· методика выбора рациональной структуры региональной сети передачи, обработки и хранения данных и пропускной способности каналов связи;

· методика определения загрузки и производительности сервера;

· методика определения и оптимизации операционных характеристик региональной сети хранения на протокольном уровне, позволяющая учесть взаимосвязь основных сетевых механизмов процессов передачи данных в условиях использования разнородных каналов связи.

4. Методика выбора рационального варианта системы информационного обмена в распределенной сети передачи, обработки и хранения данных.

5. Разработано научно обоснованное техническое решение — операционная система «PyrOS» для аппаратно-программных межсетевых экранов, маршрутизаторов, коммутаторов и систем предотвращения сетевых вторжений, внедрение которого вносит значительный вклад в развитие экономики страны (Свидетельство об официальной регистрации программы для ЭВМ №2005612532).

Научная новизна исследований заключается в следующем:

1. В комплексе методик выработки альтернативных вариантов организации региональной сети, в отличие от существующих, учитывается степень необходимой связности узлов сети, интегрально оценивающей степень информационной взаимосвязанности решаемых узлами задач и параметры сети связи, определяемые, как степень их соответствия требованиям информационного обмена. Такой подход дает возможность учесть широкий спектр действующих на систему факторов, оценка степени которых осуществляется на основе применения метода анализа иерархий.

2. В методике вертикальной структуризации на основе применения алгоритма расчета порядковой функции графа реализуется процедура построения эквивалентного произвольному ациклическому графу связности узлов сети иерархического графа, определяющего порядок распределения узлов сети по иерархическим уровням. При пошаговом снижении требований к учету связности узлов сети при таком подходе представляется возможным определить все допустимые варианты иерархического распределения узлов сети, а при условии их кластеризации (горизонтальной структуризации) на каждом уровне сформировать предложения по выбору вариантов аппаратно-программного обеспечения функционирования сети.

3. В комплексе методик рациональной структуры сети передачи, обработки и хранения данных в отношении каждого варианта иерархического представления структуры сети обеспечивается выбор операционных характеристик, а также топологии и пропускной способности каналов связи с учетом влияния системы информационного обмена и ресурсных возможностей в условиях использования разнородных каналов связи. Полный анализ характеристик каждого варианта организации сети позволяет с помощью разработанной модели функционирования региональной сети оценить эффективность его функционирования и далее выбрать рациональный вариант.

4. В методике выбора рационального варианта построения системы информационного обмена отбор вариантов осуществляется на основе векторного критерия оптимизации в факторном пространстве «эффективность-стоимость». Используется метод скаляризации целевой функции с неравнозначными критериями.

Практическая значимость: в результате проведенных в рамках данной работы исследований сформирована алгоритмическая и методологическая основа синтеза региональных распределенных сетей, как «сетей нового поколения», в условиях использования разнородных каналов связи.

Вместе с тем в работе отмечены следующие недостатки:

1. Автор предлагает решать задачу выделения сильносвязных узлов сети на основе применения аппарата структурных чисел Беллерта. Применение этого аппарата в целом оправдано. Алгоритм оригинален. Однако он хорошо работает только в условиях бинарных значений связности узлов. Учитывая это, автор вводит в рассмотрение весовые коэффициенты (раздел 2.4) и не раскрывает их содержание и взаимосвязь с параметрами необходимой связности, хотя она очевидна.

2. Автор вводит понятие «параметр необходимой связности» учитывая в едином критерии информационную связность узлов и возможности реализации сети связи между ними. В целом такое представление связности во многом оправдано. Однако, неясно, как при этом выбираются весовые коэффициенты, что может быть положено в основу их выбора.

3. Автор долго не публиковал монографию. Многие из представленных расчетов не являются актуальными.

Тем не менее, сделанные замечания вовсе не умаляют высокой оценки исследования в целом. Автору рекомендуется провести работу по изучению новой концепции проектирования интеллектуальных сетей или, так называемых, «сетей будущего», предложенных Международным союзом электросвязи — ITU в своих рекомендациях и стандартах.

Вывод

Разработанное автором методическое обеспечение может быть использовано при разработке и реализации сетевых проектов целевых программ цифровизации субъектов Российской Федерации. Его применение позволит ускорить процесс проектирования, снизить финансовые и временные затраты при выборе приемлемого решения, построить или модернизировать региональную сеть, отвечающую предъявляемым требованиям к передаче, обработке и хранению данных.

Несомненно, монография имеет достаточно весомое научное значение, соответствует требованиям к издаваемым монографиям (научным изданиям) ВАК и будет интересна для специалистов работающих в области информационных технологий, инженеров и ученых занимающихся проблемами исследования и проектирования распределенных вычислительных систем и сетей передачи данных, а также будущим аспирантам, работающим по научным специальностям 2.3.1. «Системный анализ, управление и обработка информации, статистика» и научной специальности, Паспорт специальности 2.3.2. Вычислительные системы и их элементы, 2.3.3. «Автоматизация и управление технологическими процессами и производствами» и 2.2.15. Системы, сети и устройства телекоммуникаций.

Монография рекомендуется к публикации.

Введение

В настоящее время в России происходит бурный процесс развития информационных технологий проектирования и внедрения компьютерных телекоммуникационных сетей. Одни сети имеют глобальный характер и топологию, другие являются корпоративными или локальными. Характер роста указанных сетей является весьма стохастичным, база средств вычислительной техники, на которой они строятся, гетерогенна. Вместе с тем данные сети имеют мощную тенденцию к расширению и объединению, образуя в конечном итоге интегрированную территориально-распределенную сеть, входящую частично в мировую сеть Internet.

В данной работе в качестве объекта исследования рассматривается региональная сеть передачи, обработки и хранения социально-экономической информации (региональная сеть хранения данных, РСХД), как совокупность технологий построения распределенных сетей и сетей хранения, построенных с применением SAN (Storage Area Network) и NAS (Network Attached Storage). Узлами РСХД являются административный центр и районные центры, представляющие собой сложные аппаратно-программные комплексы, и соединяющие их в единую систему разнородные каналы передачи информации.

Основной задачей РСХД является передача, обработка и хранение больших массивов социально-экономической информации, как основной составляющей всего информационного пространства регионов Российской Федерации.

На данный момент, сетевые территориально распределенные сети занимают важное место в развитии региональной науки и техники, образовании и культуры, здравоохранении, торговли и т. д. Это вызвано, в первую очередь, интенсивным ростом потребностей в распределенных прикладных вычи­слениях, информационных сервисах, системах электронного документообо­рота, дистанционного обучения, торговли, использованием почтовых служб, сервисов безопасности передачи, хранения и восстановления данных, и т. д. С другой стороны, недостаток финансирования сетевых проектов со стороны государственных органов, ограниченность средств телекоммуникационных компаний, необходимых для создания единой интегрированной высокоскоростной среды, пока не позволяют создать мощную основу для развития крупной сети регионального масштаба (хотя работы в этом направлении проводятся). Вместе с тем надо, быть готовым к решению задач проектирования и повышения эффективности функционирования и производительности региональных территориально распределенных сетей, на базе уже существующих телекоммуникационных решений, как одной из составляющих общероссийской телекоммуникационной инфраструктуры.

В общем случае моделируемая система РСХД характеризуется территориально распределенной структурой. Несмотря на то, что важнейшим показателем потенциальных возможностей ресур­сов сети является пропускная способность центров обработки, передачи и хранения данных, управляемых протоко­лами TCP/IP, iFCP, iSCSI и InfiniBand, применя­емые в настоящее время модели описания процессов сетей SAN являются недостаточно адекватными для проектирования сетей класса РСХД. Кроме того, анализ существующих подходов к решению задачи оптимизации параметров РСХД показывает, что ряд существенных черт, факторов и меха­низмов, определяющих эффективность функционирования сети, необосно­ванно упрощается. Таким образом, возникает потребность в создании более совер­шенных моделей описания процессов функционирования РСХД и методах выбора оптимальных решений, что должно позволить оценить или сформировать набор проектов сетей хранения с тем, чтобы обеспечить возможность выбора приемлемого варианта системы.

Целью работы является разработка методики выбора рациональной структуры региональной сети передачи, обработки и хранения данных в условиях использования разнородных каналов связи с целью повышения производительности, а как следствие, ее эффективности функционирования, посредством выбора методов и совершенствования алгоритмов построения распределенных сетей.

Для достижения поставленной цели в работе решаются следующие основные задачи:

— провести анализ технологий и особенностей построения распределенных сетей хранения данных;

— исследовать модели и методы проектирования распределенных сетей передачи данных;

— предложить комплексную модель региональной сети, представляющую собой совокупность модели функционирования центра обработки информации и системы в целом;

— разработать алгоритмы повышения производительности, а как следствие, и эффективности функционирования системы, и методику выбора рациональной структуры региональной сети передачи, обработки и хранения данных;

— провести анализ и предложить методику определения и оптимизации операционных характеристик сети на протокольном уровне, позволяющую учесть взаимосвязь основных сетевых механизмов процессов передачи данных в условиях использования разнородных каналов связи для региональной сети передачи, обработки и хранения данных;

— провести апробацию результатов исследования;

— разработать предложения и рекомендации по выбору рациональной структуры при проектировании РСХД и повышению эффективности ее функционирования.

Методы исследования

При выполнении работы использовались методы теории вероятностей, теории массового обслуживания, марковских процессов и методы математического моделирования.

Научная новизна работы состоит в следующем:

— проанализированы новые технологии и исследованы подходы к построению распределенных сетей хранения данных и, как следствие этого, предложен подход к выбору рациональной структуры при проектировании региональной сети передачи, обработки и хранения данных;

— разработана модель функционирования региональной сети хранения;

— предложены алгоритмы повышения эффективности функционирования РСХД, используемые при создании структуры, выбора оптимальной пропускной способности каналов, определения характеристик сети хранения и их оптимизации, выбора аппаратного обеспечения на этапе технического проекта;

— разработана методика анализа функционирования и выбора рациональной структуры региональной сети передачи, обработки и хранения данных;

— предложена методика определения и оптимизации операционных характеристик региональной сети хранения на протокольном уровне, позволяющая учесть взаимосвязь основных сетевых механизмов процессов передачи данных в условиях использования разнородных каналов связи.

Достоверность и обоснованность работы подтверждены теоретическими разработками ведущих ученых, которые легли в основу работы, а так же результатами практического использования разработанной методики.

Практическая значимость работы

В результате проведенных в рамках данной работы исследований сформирована алгоритмическая и методологическая основа проектирования региональных распределенных сетей, в условиях использования разнородных каналов связи.

Предложенная методика может быть использована при разработке и реализации сетевых проектов целевых программ информатизации регионов РФ, что позволит ускорить процесс проектирования, снизить финансовые и временные затраты при выборе приемлемого решения, построить или модернизировать региональную сеть, отвечающую предъявляемым требованиям к передаче, обработке и хранению данных.

Апробация работы

Основные положения, теоретические выводы и практические рекомендации работы докладывались автором на следующих всероссийских и международных конференциях: «Математические методы в технике и технологиях» (г. Санкт-Петербург), «Социокультурная динамика: философские и социологические проблемы» (г. Тверь), «Современная образовательная среда» (г. Москва), «Высокопроизводительные параллельные вычисления на кластерных системах» (г. Нижний Новгород), на Российском Форуме разработчиков и администраторов информационных систем на базе технологий IBM Lotus Domino. (г. Москва).

Публикации

По результатам исследований опубликовано девять печатных работ,,,,,,,,.

Структура работы. Работа состоит из введения, четырех глав, заключения, списка литературы и приложения.

Глава 1

Анализ проблем повышения эффективности функционирования региональной сети передачи, обработки и хранения данных (РСХД): Аналитический обзор и Постановка задачи

1.1 Актуальность проектирования и повышения эффективности региональных распределенных сетей

Информационные ресурсы являются одним из важнейших видов ресурсов для всех без исключения органов управления, в том числе и для областных органов государственной власти. Внедрение информационных систем представляет в настоящее время процесс, который происходит и в России, и за ее пределами, и отражает динамику и сложность экономики, расширяющиеся международные связи и кооперацию по решению ряда экономических, социальных и политических задач [,].

Анализ ситуации в регионах РФ показал, что в большинстве из них сетей передачи, обработки и хранения данных, в полном понимании рассматриваемой в работе концепции региональных сетей не существует. Например, в более чем 50% районах Тверской области отсутствуют высокоскоростные каналы передачи данных, более 80% устаревшего сетевого и серверного аппаратно-программного обеспечения и т. д. [].

Во многих странах создана и действует информационная индустрия с мощной инфраструктурой, обеспечивающей необходимую поддержку большого числа баз данных о различных видах деятельности общества на базе широкого использования технологий распределенных сетей хранения данных — SAN и NAS.

Опыт ведущих стран показывает, что в процессе информатизации для получения результата необходимо, в первую очередь, решить проблемы учета имеющихся трудовых, финансовых и материальных ресурсов, в виде соответствующих социально — экономических баз данных. В этом случае появляется возможность решать вопросы комплексного развития территории на основе анализа многоаспектной информации.

Кроме того, постоянное развитие и увеличение информационно-технического потенциала предприятий и учреждений, потребностью управления корпоративными сетями инициирует потребность к территориально распределенной информационной интеграции с использованием сети Internet и технологий РСХД, что приводит к резкому увеличению передаваемого по сети трафика в условиях использования, как правило, низкокачественных и низкоскоростных линий связи и необходимости хранения больших массивов данных. Следствием этого, стабилизация и совершенствование социально-экономической сферы регионов требуют поддержки, совершенствования и развития региональных сетей передачи, обработки и хранения данных.

РСХД предъявляют высокие требования к эффективному использованию средств передачи данных и уровню обслужи­вания клиентов сети. В связи с этим, одной из важнейших проблем, которую приходится решать при проектировании и внедрении сетевых проектов и их эксплуатационном сопровождении, является проблема адекват­ного описания процессов в моделях, используемых при проектировании и организации эффективной работы распределенных региональных сетей в различных условиях функционирования.

На сегодняшний день задача построения региональной сети передачи, обработки и хранения данных стоит достаточно остро не только для отдельно взятого региона, но и имеет большое практическое значение для большинства регионов Российской Федерации.

1.2 Обзор технологий построения и проблемы организации эффективного функционирования РСХД

За последние годы появилось много новых разработок в области сетевого хранения данных. На сегодняшний день выделяют две концепции построения РСХД: первая — Network Attached Storage (NAS) и вторая, быстро развивающаяся, Storage Area Network, базирующихся на трех основных стандартах (протоколах), которые используются для организации РСХД — Fiber Channel, SCSI, InfiniBand и их модификациях для RNAS — iFCP, iSCSI [,].

Несмотря на то, что для построения РСХД в девяноста восьми случаях из ста используется технология Fiber Channel условная грань, разделяющая технологии хранения на сетевые устройства, постепенно стирается, а рынки альтернативных технологий расширяются (рис.1).

Одной из наиболее заметных тенденций в развитии распределенных сетей стало резкое увеличение спроса на сетевые устройства хранения. По прогнозам аналитической компании Yankee Group, в 2002 году доход от реализации систем хранения SAN вырос на 12,6% по сравнению с показателями предыдущего года, а к 2005 году он составит 8,56 млрд. долларов.

Рассмотрим три основных технологии, которые могут быть положены в основу региональной сети хранения данных.

Fiber Channel — технология передачи данных на уровне блоков (в отличии от передачи на уровне файлов) с предоставлением качества и класса услуг, включая гарантированную доставку пакетов. Данная технология позволяет осуществлять доступ к данным на уровне блоков быстрее, чем на уровне файлов, и дает возможность решить проблемы с безопасностью и перегрузкой системы. К недостаткам технологии Fiber Channel можно отнести то, что она поддерживает передачу данных на расстояния не более 10 км. С целью решить данные проблемы в Lucent Technologies и Cisco была разработана новая технология Fiber Channel IP (FCIP). Но анализ показал, что технология FCIP хоть и удовлетворяет требованиям гарантированной доставки, однако туннелирование в TCP/IP может стать серьезным препятствием, поскольку процедура обработки инкапсулированных пакетов способна негативно повлиять на эффективность и скорость системы в целом.

Альтернативой FCIP для построения РСХД служит протокол iFCP (Internet Channel Protocol), предложенный компанией Nishan, в основе которого лежит технология IP. Он предназначен для соединения шлюзов на базе TCP/IP, при котором Fiber Channel отображается на IP. Важно отметить, что iFCP предполагает замену коммутаторов и маршрутизаторов Fiber Channel на системы на базе IP, сохраняя способность связывать устройства Fiber Channel через IP. Данная технология может использоваться, как связующее звено между распределенными сетями передачи и обработки информации, так и в рамках сетей Fiber Channel [].

iSCSI (Internet SCSI) — технология позволяющая передавать команды SCSI поверх протокола IP и предназначена для передачи данных на уровне блоков с применением устройств, поддерживающих ленточные библиотеки и дисковые массивы, а также хост адаптеры и коммутаторы IP. Данная технология была разработана и поддерживается IBM, Cisco и Storage Networking Industry Association. Его применение позволяет с помощью сети IP объединить территориально распределенные центры обработки информации региональной сети, с одной стороны, и и устройства хранения данных — с другой, решив тем самым проблему удаленного доступа к данным, а в последствии и резервного копирования из любого сегмента региональной сети. Технология iSCSI позволяет также одновременно организовать несколько каналов ввода/вывода между несколькими конечными устройствами при наличии всего одного порта Ethernet. Но широкое распространение данного протокола ограничивается пропускной способностью существующих сетей IP, которой может быть недостаточно для обеспечения доступа к хранимой информациис требуемыми параметрами. Исходя из этого, для снижения задержек и возможных ошибок для передаваемых блоков данных (команд SCSI) существующие сети должны быть адаптированы для работы iSCSI [].

InfiniBand — технология, осуществляющая передачу данных на скорости 2,5 Гбит/с, разработанная компанией Intel и поддерживаемая Dell, IBM, Hewlett-Packard, Microsoft и Sun Microsystems. Спецификация InfiniBand описывает коммутируемую архитектуру «точка-точка», обеспечивая множеству устройств ввода/вывода возможность посылки одновременных запросов к процессору системы таким образом, чтобы в процессе передачи данных не возникло «узких» мест. Ее применение направлено на повышение производительности и масштабируемости кластерных систем хранения и обработки данных, а также подсистем РСХД.

Теперь рассмотрим и проанализируем технологии, которые используются как базовые для описанных выше, при проектировании региональной распределенной сети передачи, обработки и хранения данных на примере Тверского региона.

1996 год ознаменовался бурным ростом и развитием рынка коммутируемых технологий. Применение технологии коммутации оказало влияние на все аспекты обеспечения межсетевого обмена, начиная от типов продуктов кончая способом построения сетей, и обеспечило реальные выгоды в повышении производительности, упрощении и снижении стоимости проектирования, как локальных, так и глобальных сетей (рис.2) [,,,,,].

Для построения региональных сетей хранения существуют порядка десяти ведущих технологий обеспечивающих надежную и скоростную передачу данных. Сейчас основной моделью передачи данных по магистральной сети стала следующая цепочка: оптика — сеть SDH — сеть АТМ — сеть IP.

Большое распространение получили сети FrameRelay, ATM, различные варианты Ethernet и др.

Но в настоящее время наличие раздельных сетей становится непозволительной роскошью, поэтому столь высок интерес к технологиям, обеспечивающим совместную передачу разнородной информации с требуемым качеством.

Технология SDH (Synchronous Digital Hierarchy) представляет собой комплекс международных стандартов, относящихся к синхронному мультиплексированию и передаче данных. Оборудование SDH может передавать информацию со следующими линейными скоростями — 155Мбит/c — 2,5 Гбит/c.

Технология ATM может использоваться для передачи разных типов информации и одновременно поддерживать широкий спектр пользовательских приложений, в том числе оригинальных приложений ATM, унаследованных приложений для локальных сетей, голоса и видео. Способность передавать голос, данные, видео и мультимедийный трафик по глобальной сети является ключевым преимуществом ATM, так как он предоставляет одну общую сетевую технологию для общедоступных и частных сетей. Другим достоинством ATM является масштабируемая пропускная способность. В настоящее время скорость варьируется в диапазоне от 1,544 Мбит/с до 622 Мбит/с.

Технологии Fast Ethernet и ATM можно использовать для повышения производительности и управляемости различных сетей целым рядом способов. В конфигурации, приведенной на рисунке 3 коммутаторы, предоставляют многочисленные выделенные соединения на 10 Мбит/с с концентраторами в пределах всей организации. Коммутаторы образуют магистраль Fast Ethernet для разделяемых локальных сетей и серверов, они обеспечивают также соединение с территориальной магистралью ATM через маршрутизатор с интерфейсом ATM.

Технология DTM (Dynamic synchronous Transfer Mode) создавалась с целью более рационального использования пропускной способности оптических сетей, поддержки широкополосного трафика в реальном масштабе времени и групповой адресации, обеспечения перераспределения ресурсов сети между сеансами связи. Она базируется на стеке из восьми протоколов и обеспечивает передачу данных со скоростью от 512 Мбит/c [].

Наиболее перспективным подходом к построению региональных сетей передачи и хранения данных является использование спутниковой связи. Она имеет существенные преимущества над наземными системами связи. Наиболее значимыми, из которых является скорость передачи данных. Вследствие использования беспроводных технологий спутниковые сети могут достичь практически любых удаленных географических областей, в том числе в регионах с недостаточно развитой коммуникационной инфраструктурой. Благодаря своей независимости от услуг телекоммуникационных компаний, спутниковая связь не подвержена перерывам в работе, например, из-за повреждения кабеля.

Однако существуют и недостатки. В частности, спутниковая связь очень дорога и относительна молода. Кроме того, крупные проекты в данной области не так-то просто воплотить в жизнь, для этого компания должна как минимум располагать значительными финансовыми средствами и получить одобрение в нескольких национальных и международных организациях. С технической точки зрения потенциальной проблемой является блокирование принимаемого со спутника сигнала зданиями и даже листвой деревьев в зависимости от типа применяемой технологии. Кроме того, сейчас стоит наиболее остро вопрос защиты информации: при спутниковой связи сигнал может быть принят любым неуполномоченным лицом. Шифрование спутниковых каналов не осуществляется, но некоторые производители предлагают программное обеспечение шифрования, с помощью которого можно защитить трафик [].

Используемые спутники можно разделить на две основные категории: геостационарные и низкоорбитальные. Среди других технологий — спутники на средней орбите и гибридные формы спутниковых сетей.

Для разработки региональной сети хранения наиболее подходит использование низкоорбитальных спутников, которые представляют собой созвездия относительно небольших спутников, вращающихся на более низких высотах, чем геостационарные системы. Эти спутники можно разделить на два основных класса: большие и малые. Первые работают на частотах свыше 1 ГГц, а вторые — менее 1 ГГц.

Связь через низкоорбитальные спутники имеет малую задержку и большой потенциал для увеличения пропускной способности (табл.1).

Существует еще одна немаловажная особенность — создание региональной спутниковой сети вынуждает проектировщиков прибегнуть к услугам нескольких посреднических организаций. Консультанты и системные интеграторы осуществляют проектирование и инсталляцию оборудования, операторы связи предоставляют каналы и выполняют мониторинг связи между конечными точками, а производители оборудования предоставляют поддержку после выявления какой-либо проблемы, все это требует колоссальных финансовых затрат.

Сегодня многие сервис-провайдеры в области спутниковых сетей предлагают свои услуги по анализу и проектированию сети, управлению проектом, снабжению, сопровождению, инсталляции, управлению сетью, предоставлению спутниковых каналов связи, обучению, обслуживанию заказчиков [,,].

Как уже подчеркивалось, для проектирования и внедрения современных региональных сетей широко используются аналоговые и цифровые каналы связи, интегральные технологии передачи различных видов трафика: сети с интеграцией услуг (ISDN), сети с ретрансляцией кадров (Frame Relay), сети с асинхронным режимом передачи (ATM). На базе этих систем связи реализуется широкое разнообразие телекоммуникационных решений.

Наиболее распространенным решением во многих регионах при построении распределенных сетей для связывания территориально удаленных подразделений или филиалов предприятий является применение аналоговых линий связи. Популярность такого решения обусловлена, прежде всего, его доступностью и относительно невысокой стоимостью.

Можно выделить, два наиболее подходящих и перспективных подхода по передаче данных на большие расстояния и с высокой скоростью.

Первый — это использование системы широковещательной передачи данных, поддерживающей VBI (Vertical Blanking Interval) -технологию. VBI разработана канадской фирмой Norpak Corporation и предназначена для доставки неограниченному числу абонентов телевизионной сети различной информации, в виде текстовых, графических и д.р. файлов, БД, Internet-страниц и т. д. Система передачи данных полностью совместима со всеми стандартами сигналов телевещания, имеет соответствующее аппаратно-программное обеспечение и может использоваться в любых средах распространения.

Скорость передачи данных определяется количеством используемых телевизионных строк и способом преобразования данных, и может находиться в диапазоне от 9600 до 115200 бит/сек. В случае использования всех строк телевизионного сигнала (при этом видеосигнал не передается), пропускная способность канала может достигать 4 Мбит/сек. Сети телевещания относят к наиболее отказоустойчивым и надежным системам в мире, доставляющим информацию практически в течение всего рабочего времени.

Данная технология широко используется многими странами, и ее применяют крупнейшие компании (CNN, NBC, ABC, CBC, CBS, IBM, AT&T, Apple и т.д.).

Одним из ключевых преимуществ передачи данных по системам телевещания является возможность получения данных там, куда проходит телевизионный сигнал, т.е. практически 94% всей территории области (см. Рис.4).

Необходимо отметить, что основным ограничивающим фактором передачи данных по системам телевещания является то, что данная система является однонаправленной. Ее использование неприемлемо для работы с СУБД и приложений, работающих в режиме on-line. С другой стороны, перечисленные ранее характеристики, экономичность системы позволяют использовать данную технологию как альтернативную или дополнительную в областях, связанных с односторонней передачей данных, где поток от одного ко многим передается по VBI–технологии, а обратная связь осуществляется с использованием других технологий.

Второй — использование оптоволоконных каналов связи (ОКС) (Рис.5) в сочетании с Radio-Ethernet.

Основное преимущество передачи данных по ОКС — это сочетание большой пропускной способности канала с двунаправленностью. Но есть и недостатки, одним из существенных — это отсутствие ОКС в 14 районах области, а также стоимость прокладки и монтажа оборудования.

Помимо этого, не все клиенты имеют прямой выход на ОКС и, как следствием этого, пропускная способность до данного канала от провайдера до клиента ограничивается качеством и техническими характеристиками линий телефонных станций. Ситуация усугубляется еще не только их качеством, при котором реальная пропускная способность канала очень низка, но и мизерным количеством цифровых автоматических телефонных станций (АТС), которые способны обеспечить достаточную надежность соединения и скорость передачи данных.

Технология Radio-Ethernet прекрасно дополняет и расширяет возможности традиционных каналов передачи данных от провайдера до клиента. Она является аналогом технологии Ethernet. Пропускная способность, на данный момент, канала ограничивается 512 Кбит/c. Внедрение данной технологии в городах и районах области способно обеспечить стабильную, бесперебойную, качественную передачу данных на большие расстояния (десятки километров), но ее применение ограничено высокой стоимостью базового оборудования, арендуемого канала и технической поддержки.

Анализ ситуации в Тверском и многих других регионах показал, что, несмотря на наличие уже имеющихся каналов, единой региональной сети обработки социально-экономической информации, функционирующей на базе административного центра обработки информации и подчиненных ему районных центров, в полном ее понимании, не существует.

Другая проблема состоит в недостатке или полном отсутствии финансирования проектов.

Имеющееся число провайдеров (поставщиков) услуг Интернет в основном предлагают узконаправленный сервис, ориентированный на небольшое число городов региона, который составляет основу их доходов. В свою очередь, преимущества от использования РСХД, несмотря на большие инвестиции, состоят прежде всего в повышении уровня сервиса, расширении диапазона информационных услуг, экономии времени и финансовых затрат на передачу, обработку, хранение информации.

Кроме того, при существующей практике, при выборе и утверждении сетевых проектов, для большинства организаций, характерны следующие недостатки:

— принятие и оценка решений в подавляющем большинстве случаев основано лишь на интуиции проектировщиков, выступающих в качестве экспертов;

— при выборе проектов неоправданно принимаются допущения, что все анализируемые варианты являются практически равноценными по показателям надежности, качества и пропускной способности, что далеко не соответствует истине;

— как правило, окончательные решения принимаются на основании показателя приведенных затрат, при этом игнорируется ряд важных показателей, отвечающих за качество, надежность, сервис и перспективность развития региональных вычислительных сетей.

Перечисленные выше проблемы являются типичными для большинства регионов (областей) Российской Федерации.

В направление развития концепции РСХД, разработки и реализации единых правил, принципов и стандартов по формированию и ведению первичных информационных ресурсов на муниципальном и областном уровнях управления, появляется необходимость в разработке экономически и математически обоснованных моделей, методов и методик эффективного проектирования региональных систем передачи, обработки и хранения социально-экономической информации в условиях использования разнородных каналов связи. Они, в свою очередь, станут единой основой для разработки соответствующих проектов формирования информационного пространства регионов РФ.

1.3 Обзор математических методов проектирования распределенных вычислительных сетей

Проектирование РСХД является сложной и комплексной задачей, решение которой можно разбить на следующие основные этапы (рис. 6):

— Обследование.

— Составление и утверждение технического задания.

— Технический проект.

— Рабочий проект.

— Монтаж оборудования.

— Опытное функционирование или тестирование работы аппаратно-программных комплексов.

— Приемочные испытания.

— Обучение и поддержка (сервис).

— Эксплуатация.

— Оптимизация и модернизация.

Одним из наиболее значимых этапов является этап технического проекта (ТП). Полученные результаты в ходе его разработки (анализа и синтеза исходных данных, определение топологии, построение модели, оценка показателей эффективности и т.д.) являются ключевыми при проектировании и создании РСХД. Количество подэтапов ТП должны быть четко описаны и жестко регламентированы в техническом задании (ТЗ), так окончание каждого из них является логическим началом следующего, а завершение технического проекта является началом рабочего проекта.

Рисунок 6. Основные этапы и алгоритм проектирования региональной распределенной вычислительной сети

После анализа факторов, определяющих выбор аппаратно-программного обеспечения и нацеленных на повышение эффективности функционирования, выполняется определение и выбор топологии РСХД. В результате чего должна быть создана структура, обеспечивающая оптимальную передачу заданных потоков информации по всем направлениям информационного обмена. Сложность этой задачи для региональной сети заключается не только в значительном объеме вычислений, но и в ограниченных возможностях определения исходных объемов передаваемой информации, потоки которой возрастают в ходе эксплуатации сети [,,,,].

Наиболее часто используемый подход к решению данной проблемы заключается в теоретическом разбиении имеющейся сети на более простые структурные образования — структуру минимальной сети, анализе каждого из них и получении агрегированных характеристик сети композицией показателей простых структур [].

Как известно топология сети существенно влияет на надежность, гибкость, пропускную способность, стоимость сети и передаваемого по ней трафика, время ответа, и определяется способом соединения ее узлов каналами связи. На практике используются четыре базовые топологии: шинная, кольцевая, звездообразная, древовидная (иерархическая).

В работе [] применение методов многокритериальной оптимизации, теории нечетких множеств (при совместном учете показателей количественного и качественного характера), алгоритмов дискретного математического программирования, основанные на точных методах позволяют построить топологические схемы распределительных сетей и выбрать оптимальное решение для конкретной задачи. Они выбираются по нескольким критериям. При этом решение локально-оптимальное по любому из названных критериев принадлежит области Парето.

Настоящий алгоритм обеспечивает отыскание оптимального числа линий, отходящих от источника питания при учете ряда ограничений. При этом процесс оптимизации может начинаться из любого узла сети.

Автором подчеркивается, что получаемые по частным критериям схемы являются локально-оптимальными вариантами построения распределительных сетей. В общем случае указанные варианты не охватывают все альтернативы, принадлежащие области Парето. В связи с этим возникает необходимость «размножения» вариантов схем распределительных сетей. Для этой цели используются следующие подходы:

— формирование схем распределительных сетей осуществляется экспертом или в результате применения существующих традиционных алгоритмов выбора конфигурации сетей;

— формирование схем распределительных сетей осуществляется исходя из учета объективно существующей неопределенности исходной информации.

Последние варианты также должны принадлежать области Парето, т.е. необходима их проверка принадлежности к этой области. Для выбора окончательного решения в работе предлагается два взаимно дополняющих друг друга пути анализа.

Первый из них ориентирован на формирование и анализ модели однокритериального выбора среди схем, равноценных по показателям надежности электроснабжения и качества электроэнергии.

Второй подход связан с построением и анализом модели многокритериального выбора, обеспечивающего учет показателей как количественного, так и качественного характера.

Использование данного математического аппарата позволило автору решить следующие задачи:

— провести критический анализ существующих проблем проектирования и реконструкции распределительных электрических сетей среднего напряжения;

— разработать адекватную математическую модель для оценки и оптимизации надежности распределительных электрических сетей;

— провести анализ формальных и неформальных методов дискретной оптимизации и дать рекомендации о целесообразности использования для целей оптимизации надежности эвристических методов;

— разработать методы и алгоритмы для оптимизации как однородных, так и неоднородных средств повышения надежности в воздушных распределительных электрических сетях;

— разработать методы и алгоритмы комплексной многокритериальной оптимизации схем распределительных электрических сетей с учетом различных количественных и качественных критериев;

— реализовать возможность учета при выборе схем распределительных электрических сетей неопределенности целей и исходной информации.

Сложность синтеза вычислительных сетей с учетом всего диапазона взаимосвязанных вопросов такова, что оптимизация по одному комплексному критерию практически не возможна или приводит к неоправданным вычислениям и временным затратам. И как следствие, применение подхода комплексной оптимизации параметров вычислительной сети для проектирования РСХД на сегодняшний день неоправданно.

Несмотря на это, многие авторы используют обобщенные показатели оценки эффективности функционирования вычислительных сетей. Методы исследования в данных работах базируются на результатах теории сетевых моделей вычислительных сетей, теории оптимизации, теории баз данных, теории графов и теории представления знаний.

Другой подход к определению топологии сети предложен в работе []. В ней рассматривается класс иерархических структур, как наиболее общий, объединяющий в своем составе распределенные, и древовидные структуры. При использовании такой сети снижаются общая протяженность каналов сети, эффективно используется узловое оборудование и каналы сети, упрощается процедура управления сети и достигается определенная экономия ресурсов сети и т. д.

Больший вклад в разработку теоретических основ анализа и конструктивного метода оптимизации структуры РСХД с коммутацией пакетов, организованных по иерархическому принципу, предназначенных для решения широкого класса прикладных структурно-сетевых задач, отличавшихся различными факторами, подходами и методами расчетов вероятностно-временных характеристик был сделан в работе [].

Рассматриваемые в работе задачи решались с помочью методов теории вероятностей, теории массового обслуживания, теории графов и математического программирования.

После окончания разработки и выбора оптимальной топологии сети следующими подэтапами технического проекта являются разработка математической модели или комплекса моделей, моделирование и определение или оптимизация показателей эффективности функционирования.

Применение общей теории систем, методов математического программирования, теории множеств, математической статистики и имитационного моделирования позволяют разработать модели и методы комплексной оптимизации параметров вычислительной сети, которые учитывают взаимосвязь основных сетевых механизмов, в условиях многокритериальности и неопределенности ресурсных и критериальных ограничений.

В работе [] автором предложена модель анализа пропускной способности функциональной подсистемы, в основу которой положен информационный подход к анализу процессов обслуживания входных требований в функциональных подсистемах вычислительных сетей и сетей обмена данными (СОД). Суть предлагаемого подхода заключается в представлении процесса обслуживания входных требований как процесса кодирования. Поток информации, связанный с распределением внешних событий на множестве входов функциональной подсистемы сети обмена данными, в этом случае представляется в виде последовательности кодовых символов, принадлежащих пространству элементов соответствующей функциональной подсистемы. Тогда функциональная подсистема СОД может рассматриваться как информационный канал, для которого можно определить информационную пропускную способность.

Таким образом, вычислив информационную пропускную способность функциональной подсистемы СОД, рассматриваемую как информационный канал, можно определить пропускную способность подсистемы. Предложенная автором модель и метод оптимизации пропускной способности СОД может быть использован для решения задач управляющих элементов двухуровневой иерархической системы управления синтезом параметров СОД.

В результате проведенных исследований, постановки задачи, разработке методов комплексной оптимизации параметров СОД, позволяющих учесть взаимосвязь основных сетевых механизмов в условиях многокритериальности и неопределенности ресурсных и критериальных ограничений, автором разработана информационная модель пропускной способности и модель распределения потоков информационного обмена в функциональной подсистеме СОД. Предложена процедура синтеза оптимального координирующего сигнала, использующая указанные модели, предложена модель и план распределения разрешений в СОД при реализации метода ограничения нагрузки.

К достоинствам предложенного подхода можно отнести то, что решение поставленных задач напрямую зависит от изменения начальных условий, определяемых для каждого блока оптимизации и можно получать различные решения, управляя процессом параметрического синтеза.

К недостаткам — сложность выбора критериальных ограничений или ограничения на используемые ресурсы, а также сложность разработанных методов и подходов не позволяют быстро и объективно принять решения при анализе проектируемой или модернизируемой сети.

В работе [] автором предлагается вероятностно-математическая модель процесса функционирования вычислительной системы, базирующаяся на основе теории массового обслуживания, также приводится оценка степени ее адекватности. На основе анализа известных методов управления доказывается, что динамические свойства системы управления потоками существенно зависят от структурной устойчивости оптимальных решений. Предложен подход к проектированию оптимальных вычислительных сетей, учитывающий явления структурной неустойчивости. Исследованы формы потери устойчивости оптимальных решений и предложены способы оценки критических значений управляющих параметров. Разработаны алгоритмы вычислительной сети, явно учитывающие явление структурной устойчивости оптимальных решений, возникающее при изменении характеристик внешней среды и изменении параметров входных потоков. На основании имитационной модели проведено экспериментальное исследование алгоритмов и исследованы их характеристики для различных типов сетей и проведен сравнительный анализ экспериментальных данных с результатами исследования.

Использование теории массового обслуживания (ТМО), теории марковских процессов позволяют рассмотреть теоретические аспекты разработки методов и алгоритмов управления информационными потоками в проектируемых телекоммуникационных сетях, а также позволяют учесть взаимосвязь основных сетевых механизмов, процессов передачи данных в условиях использования разнородных каналов связи.

В работе [] представлен метод применения оптимального правила предоставления общих сетевых ресурсов (алгоритм оптимальной диспетчеризации), применение которого повышает качество функционирования сети. Как результат, делается вывод, что правилом разрешения конфликтов, когда на один ресурс претендует несколько процессов, является правило, в соответствии с которым при возникновении конфликта ресурс предоставляется конфликтующему процессу, имеющему минимальную вероятность попадания в активное состояние. Делается вывод о том, что при возникновении конфликта следует отдавать предпочтение тому из конфликтующих процессов, который реже вступает в конфликт с другими процессами.

В качестве оптимального правила предлагается использовать правило, минимизирующее среднюю частоту конфликтов.

Хотелось бы подчеркнуть, что к достоинствам изложенной в [30] методики определения характеристик вычислительной сети (ВС) можно отнести то, что она может быть положена в основу, и использоваться при разработке:

— методов применения оптимального правила предоставления общих сетевых ресурсов, разделения информационных потоков в узлах сети и улучшения качественных характеристик сетей;

— алгоритмов оптимального распределения информационных потоков;

— проектировании типовых структур региональных вычислительных сетей.

К недостаткам относится то, что в ней не раскрываются и не приводятся расчеты наиболее значимых параметров, определяющие эксплуатационные характеристики сети, такие как длина кадра и ширина окна линейного протокола, длительность сквозного тайм-аута на транспортном уровне управления сетью. Не делается упор на оптимизацию параметров функционирования ВС. Так как при разра­ботке приложений, создании и эксплуатации сети важным является зна­ние и прогноз пределов изменения операционных показателей пропускной способности и сетевой задержки в различных нагрузочных условиях.

Необходимо отметить, что основополагающим в теории массового обслуживания является аппарат теории марковских процессов. Вместе с тем имеется возможность дальнейшего развития теоретических работ в направлении анализа и исследования функционирования сетей.

В работе [30] доказана возможность использования теории гиббсовских состояний на счетных множествах, разработанной для описания биологических полей, применительно к информационно-вычислительным системам.

Сделан вывод, что рассмотрение случайных полей, обладающих потенциалом ближайшего соседа, является эквивалентным рассмотрению марковских полей. Данное теоретическое положение позволяет в более компактной, лаконичной форме задавать информацию о состоянии телекоммуникационной сети.

Применение методов базирующихся на использовании ТМО позволило автору решить следующие задачи:

— исследовать аналитическими средствами различные модели локальных и глобальных вычислительных сетей,

— рассчитать основные характеристики: вероятность занятости канала, среднюю скорость обслуживания заявок, среднюю производительность сети, пропускную способность, среднее время пребывания заявок в системе, вероятности потери пакетов, коэффициенты загрузки станции и общего канала,

— решить задачу минимизации общей задержки пакетов сообщений и установления оптимального маршрута прохождения сообщений, с целью нахождения оптимального распределения потоков,

— решить задачу выбора времени отправления квитанций с оптимальным упреждением момента начала блокировки пакетов из-за отсутствия мест в буферной памяти при анализе адаптивного децентрализованного, гибридного и иерархического алгоритмов маршрутизации,

— при использовании теории Марковских процессов принятия решений применительно к глобальным сетям найти оптимальную стратегию доступа к цифровым сетям интегрального обслуживания.

Практическая значимость применения методов исследования базирующихся на использовании теории массового обслуживания, марковских процессов, методах математического моделирования, теории гиббсовских состояний на счетных множествах заключается:

— в возможности выполнения условия обеспечения свободной и эффективной маршрутизации потоков сообщений в глобальных гетерогенных сетях, что особенно критично, как для Тверского региона в целом, так и для России, имеющей огромную территорию;

— в разработке методов применения оптимального правила предоставления общих сетевых ресурсов, разделения информационных потоков в узлах сети и улучшения качественных характеристик сетей;

— разработке алгоритмов оптимального распределения информационных потоков;

— проектировании типовых структур региональных сетей телекоммуникаций;

— проектировании региональных сетей телекоммуникаций;

— разработке коммуникационных профилей по функциям маршрутизации, коммутации и ретрансляции.

Дополнение ТМО методами теории вероятностей, теории расписаний позволяют разработать модели информационного переноса данных в сетевых структурах, отличающихся учетом дис­кретного характера функционирования управляющих протоколов:

— потоковые, позволяющие исследовать предельные возможности маги­стралей передачи данных, управляемых протоколами канального и сете­вого уровня, и оптимизировать сетевую структуру и протокольные пара­метры по нагрузочному критерию;

— конвейерные, дающие возможность изучать влияние структурных неоднородностей передающей среды и потока данных на вероятностно-временные характеристики качества функционирования протокола транс­портного уровня и синтезировать протокольные параметры по критерию, ориентированному на потребительские показатели.

Разработанные в [] модели фрагментов сети с коммутацией пакетов, позво­ляют проводить сопоставительный анализ управляющих протоколов и расчет операционных характеристик отдельных звеньев передачи данных, многозвенных виртуальных каналов и средние показатели эффективности функционирования всей сети.

При разработке вопросов построения моделей нор­мальных и асинхронных протокольных процедур управления звеном пере­дачи данных и оптимизации пропускной способности линейных соединений, показатель эффективности функциони­рования звена передачи данных определяется в виде отношения среднего объема данных, передаваемых при полной нагрузке, к среднему времени между поступлениями двух последовательных квитанций:

В асинхронном режиме работы линейного соединения размер окна вли­яет, главным образом, на вероятность получения квитанции за время пе­редачи эшелона кадров. Требуемое значение при этом может быть найдено по заданной вероятности непроизводительных простоев.

На базе того же математического аппарата автор приводит детальный анализ других моделей и результатов исследований, которые позволяют:

— выделить наиболее важные факто­ры, эффекты и структурные особенности различных уровней управления транспортировкой данных, определяющие операционные характеристики подсети связи;

— получить аналитические опенки оптимальных по критерию пропускной способности межузловых соедине­ний значений длины кадра и ширины окна, имеющие содержательно хо­рошо интерпретируемую зависимость от параметров протокола, характе­ристик звена передачи данных и вида трафика;

— найти аналитическую оценку нижней границы пропускной способности многозвенного тракта;

— получить оценки оптимальных значений сетевых пара­метров, обеспечивающих минимальное среднее время доставки сообщений пользователей по виртуальным соединениям при несущественном откло­нении потенциальной пропускной способности межузловых соединений от максимального значения и т. д.

Концептуальная и математическая четкость построений, эффективные методы и алгоритмы, применение высокопроизводительных ЭВМ для решения задач большой размерности привели к широкому использованию моделей одно — и многопродуктовых сетей в исследовании операций.

В своих работах специалисты ВЦ РАН рассматривают ряд методов и подходов к решению задач по проблеме анализа многопользовательских сетевых систем с учетом неопределенности.

В рамках развития и применения общей методологии исследования операций ими предлагаются методы и рассматриваются задачи, которые могут быть использованы при проектировании РСХД:

— Многокритериальная, или параметрическая, постановка для неизвестных требований []. Рассмотрены два подхода к анализу эффективности многопользовательских сетевых систем с неизвестными требованиями пользователей: параметрический, где параметром является вектор входной нагрузки (вектор требований), и многокритериальный, где критериями являются величины пропускаемых по сети потоков (вектор мультипотока). Даны формальные постановки задачи анализа. Для обеих постановок предложен единый способ аппроксимации множества, являющегося решением. Разработаны алгоритмы аппроксимации. Обсуждаются различные процедуры организации вычислений.

— Задача о допустимости со случайными требованиями []. Рассмотрена задача анализа эффективности многопользовательских сетевых систем со случайными требованиями пользователей. Предложен ряд вероятностных и стохастических формулировок существующей задачи о допустимости многопродуктовых потоковых сетей. Исследованы постановки, учитывающие возможную не информированность (неполную или неточную информированность) о функции распределения вектора входной нагрузки — вектора требований. Обсуждаются методы решения возникающих задач стохастической оптимизации.