Бесплатный фрагмент - ПРИМЕНЕНИЕ ТЕХНОЛОГИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА НА ЖЕЛЕЗНОДОРОЖНОМ ТРАНСПОРТЕ

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ЖЕЛЕЗНОДОРОЖНОГО ТРАНСПОРТА

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

Филиал Самарского государственного университета путей сообщения в г. Нижнем Новгороде

Л. Ю. Катаева

ПРИМЕНЕНИЕ ТЕХНОЛОГИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА НА ЖЕЛЕЗНОДОРОЖНОМ ТРАНСПОРТЕ

Данное пособие представляет собой вводный курс в технологию искусственного интеллекта на железнодорожном транспорте с использованием MS Excel. Основное внимание уделяется практическим аспектам решения задач, таких как регрессия, классификация, кластеризация, анализ временных рядов, обнаружение аномалий, уменьшение размерности данных, работа с текстом и построение деревьев решений. Представлены примеры решения оригинальных практических задач железнодорожной отрасли с помощью MS Excel, а также практические упражнения для закрепления изученного материала. Пособие может быть использовано как студентами вузов, так и специалистами, занимающимися анализом данных в различных областях. Курс подходит как для начинающих, так и для тех, кто уже имеет некоторый опыт работы с машинным обучением. Учебное пособие предназначено для студентов всех направлений подготовки в Филиале Самарского государственного университета путей сообщения (СамГУПС) в г. Нижнем Новгороде.

ВВЕДЕНИЕ

Интеллектуальные системы, разработанные в рамках области компьютерных наук, известной как искусственный интеллект (ИИ), способны выполнять задачи, которые требуют наличия человеческого интеллекта. Современные технологии позволяют широко применять ИИ в различных отраслях, включая железнодорожный транспорт. Внедрение технологии искусственного интеллекта на железнодорожном транспорте может заметно повысить эффективность и безопасность системы. ИИ способен автоматизировать процессы, управлять ресурсами, обнаруживать и предотвращать аварии, а также улучшать качество обслуживания пассажиров. В этом учебном пособии рассмотрены основные принципы использования технологии искусственного интеллекта (ИИ) при решении профессиональных задач студентами, обучающимися железнодорожным специальностям. Показаны различные аспекты, связанные с применением ИИ, включая машинное обучение, обработку естественного языка, компьютерное зрение и другие. Здесь представлены примеры успешного применения технологии искусственного интеллекта на железнодорожном транспорте. Рассмотрены различные области, где ИИ может быть использован, такие как управление транспортными потоками, обнаружение и предотвращение аварий, оптимизация использования ресурсов, повышение уровня обслуживания пассажиров и многое другое. Цель данного пособия — ознакомить читателей с основами применения технологии искусственного интеллекта на железнодорожном транспорте и предоставить практические рекомендации по ее использованию. Хочется верить, что данное пособие будет интересно и полезно инженерам и специалистам железнодорожного транспорта, а также всем, кто интересуется технологией искусственного интеллекта и ее применением на практике.

О ПОТЕНЦИАЛЕ ПРИМЕНЕНИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА НА ЖЕЛЕЗНОДОРОЖНОМ ТРАНСПОРТЕ

Искусственный интеллект (ИИ) — это технология, которая позволяет компьютерам обучаться на основе данных и делать прогнозы. В железнодорожной отрасли искусственный интеллект может использоваться для решения различных задач, таких как предсказание сбоев оборудования, оптимизация маршрутов движения поездов, управление движением и т. д.

Он уже сейчас стал мощным инструментом для улучшения эффективности, безопасности и качества обслуживания пассажиров на железнодорожном транспорте. С помощью Excel, которое является широко используемым инструментом для анализа данных, можно применять различные методы анализа данных, такие как машинное обучение, анализ временных рядов и статистический анализ. Эти методы могут помочь определять оптимальные маршруты, управлять ресурсами и обеспечивать безопасность на железнодорожном транспорте. Для студентов железнодорожников знание и применение ИИ на железнодорожном транспорте может стать важным фактором в их профессиональном росте, расширении их возможностей при решении профессиональных задач и повышении квалификации.

Одним из примеров того, как ИИ может повысить безопасность на железной дороге, является использование предиктивного обслуживания. Предиктивное обслуживание — это практика использования передовой аналитики и алгоритмов машинного обучения для выявления потенциальных отказов оборудования до их возникновения.

В контексте железнодорожной безопасности это может включать использование датчиков для сбора данных о работе компонентов поезда, таких как тормоза, колеса и подшипники. Затем эти данные могут быть проанализированы с помощью алгоритмов машинного обучения для выявления закономерностей и аномалий, указывающих на потенциальные проблемы.

Прогнозируя вероятность возникновения отказов оборудования, железнодорожные компании могут принять упреждающие меры для решения этих проблем до того, как они приведут к авариям или другим инцидентам, связанным с безопасностью. Например, бригады технического обслуживания могут быть направлены на ремонт или замену компонентов до того, как они выйдут из строя, что снижает риск схода поездов с рельсов или других аварий.

Еще один способ повышения безопасности на железных дорогах с помощью искусственного интеллекта — использование технологии компьютерного зрения для мониторинга железнодорожных переездов и железнодорожных путей в режиме реального времени. Эта технология может быть использована для обнаружения и предупреждения операторов железных дорог о потенциальных угрозах безопасности, таких как транспортные средства или пешеходы, которые выходят на пути, или неисправные сигналы на переездах. Он может использоваться для прогнозирования аварийных ситуаций и выявления потенциальных проблем в оборудовании, что позволяет предотвратить возможные аварии. ИИ способен значительно повысить безопасность на железных дорогах, предоставляя железнодорожным компаниям инструменты, необходимые для обнаружения и устранения потенциальных рисков безопасности до того, как они приведут к авариям или другим инцидентам.

Системы управления движением поездов, основанные на искусственном интеллекте, могут оптимизировать маршруты и расписание движения поездов, что позволяет уменьшить время в пути и сократить затраты на топливо и тем самым существенно улучшить эффективность перевозок.

Использование систем распознавания речи можно использовать для автоматического ответа на вопросы пассажиров, а системы перевода языков — для обеспечения комфорта и безопасности при перевозке иностранных пассажиров.

К основным направлениям искусственного интеллекта на железнодорожном транспорте можно отнести:

1. Управление ресурсами, а именно оптимизация расписания поездов, управление персоналом и техникой, управление запасами и оборудованием. Именно искусственный интеллект может помочь в принятии более точных и обоснованных решений, что приведет к более эффективному использованию ресурсов и повышению производительности железнодорожной системы.

2. Обеспечение безопасности на железнодорожном транспорте, а именно использование машинного обучения и анализа данных для обнаружения аномалий в работе оборудования, предсказания возможных аварий, а также для обнаружения и предотвращения препятствий и опасностей на пути следования поездов, так же для обнаружения мошенничества и предотвращения террористических актов на железнодорожном транспорте. Например, на основе данных об истории покупок и поведении пассажиров можно обучить алгоритмы машинного обучения, чтобы автоматически обнаруживать подозрительные транзакции и поведение пассажиров.

3. Улучшения качества обслуживания пассажиров, а именно оптимизация маршрутов, управление билетами и ценообразование, предоставление более точной и своевременной информации для пассажиров.

В целом, использование искусственного интеллекта на железнодорожном транспорте может привести к значительным улучшениям в эффективности, безопасности и качестве обслуживания. Для студентов железнодорожной отрасли знание и применение искусственного интеллекта может стать важным фактором в их профессиональном развитии и будущей карьере.

Машинное обучение и анализ данных, интернет вещей (IoT), роботизированные системы, искусственный интеллект и машинное зрение — все это ключевые технологии, которые могут быть применены на железнодорожном транспорте для улучшения безопасности, эффективности и качества обслуживания.

Искусственный интеллект (Artificial Intelligence) — это область информатики, которая изучает, как компьютеры могут выполнять задачи, которые обычно требуют человеческого интеллекта, такие как распознавание речи, обработка языка, планирование, принятие решений и многое другое. Он может использоваться в различных приложениях, включая машинное обучение и машинное зрение.

Роботизированные системы используются для автоматизации процессов в различных отраслях, включая железнодорожный транспорт. Они могут быть управляемыми программно и использовать машинное обучение и искусственный интеллект для принятия решений на основе данных, чтобы оптимизировать производительность и увеличить эффективность.

Машинное зрение (Computer Vision) — это область искусственного интеллекта, которая изучает, как компьютеры могут анализировать, обрабатывать и понимать изображения и видео. Он может быть использован в различных приложениях, таких как автоматическое распознавание лиц, распознавание объектов, анализ медицинских изображений и многое другое. Машинное зрение может быть использовано вместе с машинным обучением для обработки и анализа больших объемов данных, собранных с IoT-устройств и других источников.

Машинное обучение (Machine Learning) — это подход к искусственному интеллекту, который позволяет компьютеру обучаться на основе данных и опыта, а не только на основе жестко заданных правил. Он используется для обработки и анализа больших объемов данных, которые могут быть собраны с помощью IoT-устройств.

IoT-технологии (Internet of Things) позволяют собирать данные из различных источников, включая датчики, устройства и оборудование, а затем передавать их в облако для анализа. Машинное обучение может использоваться для обработки и анализа этих данных, чтобы получить ценную информацию из больших объемов информации, которая может быть использована для принятия решений.

Все эти технологии могут использоваться вместе для создания умных систем и устройств для автоматизации процессов, повышать эффективность и улучшать в целом качество работы железнодорожного транспорта.

Машинное обучение и анализ данных

Машинное обучение и анализ данных являются ключевыми технологиями, которые могут использоваться на железнодорожном транспорте для повышения эффективности и безопасности.

Алгоритмы машинного обучения могут быть использованы для прогнозирования сбоев оборудования и аварийных ситуаций на железнодорожном транспорте. Например, на основе исторических данных об авариях и сбоях можно обучить алгоритмы машинного обучения, чтобы предсказывать вероятность возникновения таких ситуаций в будущем. Это позволяет принимать меры предосторожности и предотвращать возможные аварии.

Анализ данных также может помочь оптимизировать расписание движения поездов и уменьшить время простоя поездов на станциях. Например, с помощью анализа данных можно определить наиболее загруженные маршруты и временные промежутки, когда спрос на транспорт выше всего. Это позволяет оптимизировать расписание движения поездов и сократить время ожидания для пассажиров.

Кроме того, машинное обучение и анализ данных могут быть использованы для улучшения обслуживания пассажиров. Например, на основе данных о предпочтениях пассажиров и результатах анализа их поведения можно создавать персонализированные предложения и услуги. Это помогает улучшить удовлетворенность клиентов и повысить их лояльность.

В целом, машинное обучение и анализ данных являются мощными инструментами, которые могут помочь железнодорожному транспорту повысить эффективность и безопасность, улучшить обслуживание пассажиров и предотвратить возможные проблемы.

Прогнозирования сбоев оборудования и аварийных ситуаций на железнодорожном транспорте

Применение технологий машинного обучения и анализа данных на железнодорожном транспорте не ограничивается только прогнозированием сбоев оборудования и аварийных ситуаций, а также может быть использовано для улучшения других аспектов работы железнодорожного транспорта.

Анализ данных может помочь в оптимизации расходов на топливо и энергию, на обслуживание и ремонт оборудования. На основе данных об использовании топлива и энергии можно разработать оптимальные стратегии их использования, чтобы снизить затраты на их закупку. Также анализ данных об использовании оборудования и его ремонте позволяет понимать, какие компоненты наиболее часто выходят из строя, чтобы предпринимать меры по улучшению их надежности и снижению затрат на ремонт.

Технологии машинного обучения и анализа данных могут использоваться для улучшения безопасности самих поездов и станций. Например, с помощью систем машинного зрения и анализа данных можно обнаруживать неправильно припаркованные автомобили и другие препятствия на железнодорожных путях, которые могут привести к авариям. Системы машинного зрения и анализа данных могут использоваться для обнаружения неправильного поведения пассажиров и предотвращения возможных угроз безопасности.

На основе данных о поведении пассажиров и их индивидуальных предпочтениях можно создавать персонализированные предложения и услуги, такие как предложения о покупке билетов, дополнительные услуги при поездках на поезде, а также рекомендации по маршрутам и достопримечательностям, наиболее подходящим для каждого пассажира.

Применение технологий машинного обучения и анализа данных на железнодорожном транспорте может привести к значительному улучшению эффективности и безопасности работы железнодорожного транспорта, улучшению опыта пассажиров и снижению затрат на обслуживание и ремонт оборудования.

Интернет вещей (IoT)

Интернет вещей (IoT) — это еще одна технология, которая может быть использована на железнодорожном транспорте для повышения эффективности и безопасности работы.

С помощью данной технологии можно осуществлять мониторинг состояния оборудования и инфраструктуры на железнодорожном транспорте. При использовании датчиков, установленных на железнодорожных путях можно автоматически обнаруживать вибрации, повреждения и трещины, что позволит оперативно реагировать на потенциальные проблемы и предотвращать возможные аварии.

IoT-технологии могут использоваться для мониторинга температуры и вибраций на железнодорожном оборудовании и с помощью датчиков определять температуру на колесных парах и обнаруживать места перегрева.

Использование IoT-технологии применимо для управления и мониторинга всей железнодорожной инфраструктуры. Установка датчиков на железнодорожных переездах позволит заблаговременно определять наличие препятствий на пути следования поезда. Мониторинг состояния электрических сетей и определения возможных проблем с электропитанием на станциях и вагонах тоже возможно м использованием данной тезнологии.

Использование датчиков температуры и влажности воздуха, уровня шума и освещенности в вагонах позволит осуществлять мониторинг показателей комфорта и адаптировать условия в вагонах к потребностям пассажиров во время поездки.

Таким образом IoT-технологии являются мощным инструментом для повышения эффективности и безопасности работы железнодорожного транспорта. Они позволяют оперативно реагировать на потенциальные проблемы и аварии, а также улучшать комфорт для пассажиров.

Роботизированные системы

Роботизированные системы на железнодорожном транспорте — это технологии, которые могут использоваться для автоматизации различных процессов на железнодорожном транспорте, таких как управление поездами, обслуживание оборудования и техническое обслуживание путей. Их использование может существенно повысить эффективность работы, снизить затраты и улучшить безопасность.

Примеры роботизированных систем на железнодорожном транспорте включают автоматические системы управления поездами (АСУП) [1—4], автоматические системы диагностики пути, автоматические системы технического обслуживания путей и многое другое. Современные технологии роботизации на железнодорожном транспорте [5—7] требуют использования передовых технологий, таких как машинное обучение, искусственный интеллект и IoT.

Роботизированные системы могут использоваться для автоматической проверки оборудования и инфраструктуры на железнодорожном транспорте, а роботы-инспекторы могут быть использованы для проверки состояния рельсов, мостов и тоннелей.

Использование распознавания речи и обработки естественного языка на железнодорожном транспорте

Следует сказать, что уже созданы умные помощники, предоставляющие возможность подобрать более удобный маршрут и ответить интересующие вопросы на разных языках мира, но бурное развитие современных технологий позволяет пойти дальше.

Наиболее распространены системы распознавания и синтеза речи, которые используются для автоматического объявления остановок на железнодорожном транспорте. Например, система «Train Announcement System» в Японии, системы Турции [8] и других странах использует технологии распознавания речи и синтеза речи для объявления следующей станции и другой информации для пассажиров.

Информирование пассажиров о задержках и изменениях маршрутов: системы распознавания речи и обработки естественного языка используется для информирования пассажиров о задержках и изменениях маршрутов с использованием системы «Railway Information System» в Индии. CRIS (Центр железнодорожных информационных систем) является организацией при Министерстве путей сообщения разрабатывает и поддерживает программное обеспечение для ключевых функциональных областей Индийских железных дорог [9]. Компания Hitachi разработала систему управления поездами, которая использует технологии распознавания речи и обработки естественного языка для управления поездами на железнодорожном транспорте [10].

Использование искусственного интеллекта и машинного зрения на железнодорожном транспорте

В настоящее время технологии искусственного интеллекта и машинного зрения нашли широкое применение в железнодорожном транспорте. Они помогают повысить безопасность, эффективность и конкурентоспособность железнодорожной отрасли. Одной из областей применения ИИ на железнодорожном транспорте является управление поездами. Системы искусственного интеллекта могут помочь оптимизировать маршруты движения поездов, учитывая множество факторов, таких как расписание, загрузку вагонов, погодные условия и т. д. Это позволяет сократить время в пути и уменьшить расход топлива. Примером такой системы является «OptiYard», разработанная компанией Siemens Mobility. Машинное зрение может использоваться для обнаружения и классификации объектов на железнодорожных переездах и путях. Система детектирования дефектов на колесах «TrainScanner», разработанная компанией Frauscher [11], использует машинное зрение, что позволяет своевременно обнаруживать потенциальные проблемы и предотвращать аварии. Системы искусственного интеллекта могут использоваться для анализа данных с различных датчиков и камер наблюдения, чтобы обнаруживать потенциально опасные ситуации, такие как нарушение скоростного режима, пересечение линии ограничения скорости и т. д. Примером такой системы является «RailSense», разработанная компанией Konux [12]. Искусственный интеллект может использоваться для прогнозирования неисправностей оборудования и оптимизации процессов технического обслуживания. Это позволяет сократить время простоя поездов и уменьшить расходы на ремонт оборудования. В заключение, можно отметить, что применение искусственного интеллекта и машинного зрения на железнодорожном транспорте имеет большой потенциал для повышения эффективности, безопасности и экономики железнодорожной отрасли.

МЕТОД МНОЖЕСТВЕННОЙ ЛИНЕЙНОЙ РЕГРЕССИИ В MS EXCEL

Метод множественной линейной регрессии — это статистический метод, который используется для анализа связи между двумя или более независимыми переменными и зависимой переменной. В железнодорожной отрасли этот метод может быть полезен для прогнозирования различных параметров, таких как скорость движения поездов, расход топлива, затраты на ремонт и т. д.

Подготовка данных

Подготовка данных к линейной регрессии — это важный этап, который позволяет получить более точные результаты. Ниже приведены основные шаги, которые необходимо выполнить при подготовке данных к линейной регрессии.

Собор данных

В качестве независимых переменных могут использоваться различные факторы, такие как возраст, пол, доход, образование и т. д. В качестве зависимой переменной может использоваться любой параметр, который вы хотите прогнозировать.

— Очистка данных от выбросов и ошибок.

При подготовке данных очень важно исключить выбросы и ошибки, которые могут существенно повлиять на результаты регрессии. Например, если вы работаете с данными об уровне доходов и обнаружите, что один из значений дохода является очень высоким или очень низким, то этот выброс следует исключить из анализа.

— Проверка данных на линейность.

Для того чтобы использовать линейную регрессию, данные должны быть линейно связаны. Это означает, что связь между независимой и зависимой переменными должна быть линейной. Для проверки линейности можно построить диаграмму рассеяния и проверить, как расположены точки на графике.

— Проверка данных на нормальность распределения.

Для того чтобы результаты регрессии были более точными, данные должны быть распределены нормально. Это означает, что большинство значений должны находиться вокруг среднего значения, а распределение должно быть симметричным. Для проверки нормальности распределения можно построить гистограмму или использовать тест Колмогорова-Смирнова.

— Определение корреляции между переменными.

Для того чтобы регрессионный анализ был более точным, необходимо определить, насколько сильно связаны между собой независимые и зависимые переменные. Для этого можно использовать коэффициент корреляции Пирсона или Спирмена.

— Обработка пропущенных значений.

Если в данных есть пропущенные значения, то их необходимо обработать перед проведением регрессионного анализа. Пропущенные значения можно заменить средним значением или медианой, или удалить строки с пропущенными значениями, в зависимости от количества пропущенных значений и характера данных.

После того как данные были подготовлены, можно переходить к построению модели линейной регрессии. Следует помнить, что качество результата регрессии зависит от качества подготовки данных, поэтому важно тщательно проверять данные на ошибки и аномалии перед проведением анализа.

Реализация метода в Excel

Для реализации метода в Excel воспользуйтесь пошаговой инструкцией, приведенной ниже.

Шаг 1. Открыть файл с данными в Excel и выбрать столбцы, которые будут использоваться для проведения регрессионного анализа.

Шаг 2. Нажать на вкладку «Данные» и выбрать «Анализ данных» в разделе «Анализ». Если данной опции нет, то необходимо сначала установить ее в Excel.

Шаг 3. В появившемся окне выбрать «Регрессия» и нажать «ОК».

Шаг 4. Ввести диапазоны данных для каждого аргумента и для зависимой переменной. Если выбранные столбцы имеют заголовки, то можно включить опцию «Метки столбцов» для удобства.

Шаг 5. Включить опцию «Статистика» для получения дополнительной информации о регрессионной модели, такой как коэффициент детерминации (R-квадрат) и стандартную ошибку оценки.

Шаг 6. Нажать «ОК» и дождаться завершения анализа.

Шаг 7. Изучить полученные результаты. В таблице «Коэффициенты» будут отображены коэффициенты регрессии, включая коэффициенты наклона и точку пересечения. В таблице «Анализ дисперсии» можно увидеть сумму квадратов остатков, которая показывает, насколько хорошо модель соответствует данным.

Шаг 8. Построить график регрессии. Для этого необходимо выбрать столбцы с аргументами и зависимой переменной, затем нажать на вкладку «Вставка» и выбрать «Диаграмма рассеяния с линией тренда». В появившемся окне выбрать тип линии и цвет, а также добавить заголовок и метки осей.

Шаг 9. Интерпретировать результаты. На основе полученных результатов можно сделать выводы о том, какие факторы влияют на зависимую переменную и насколько сильна эта зависимость. Также можно использовать результаты регрессионного анализа для прогнозирования будущих значений зависимой переменной на основе изменения аргументов.

Важно помнить, что результаты регрессионного анализа могут быть неправильными, если данные содержат выбросы или не соответствуют требованиям для проведения регрессионного анализа. Поэтому перед проведением регрессионного анализа необходимо тщательно проверить данные на наличие ошибок и аномалий.

Интерпретация результатов регрессии

Оценка и интерпретация результатов линейной регрессии — это важный этап, который позволяет понять, какие факторы влияют на зависимую переменную и насколько сильна эта зависимость.

При оценке и интерпретации результатов линейной регрессии необходимо выполнить основные шаги.

Шаг 1. Оцените коэффициенты наклона.

Коэффициенты наклона показывают, как сильно каждый фактор влияет на зависимую переменную. Коэффициенты наклона можно найти в таблице «Коэффициенты» результата анализа регрессии. Если коэффициент наклона положительный, то увеличение значения фактора приведет к увеличению значения зависимой переменной, а если коэффициент наклона отрицательный, то увеличение значения фактора приведет к уменьшению значения зависимой переменной.

Шаг 2. Оцените коэффициент детерминации.

Коэффициент детерминации (R-квадрат) показывает, насколько хорошо модель соответствует данным. Значение коэффициента детерминации может находиться в диапазоне от 0 до 1, где 0 означает, что модель не соответствует данным вообще, а 1 означает, что модель идеально соответствует данным. Чем выше значение R-квадрат, тем лучше модель соответствует данным.

Шаг 3. Оцените стандартную ошибку оценки.

Стандартная ошибка оценки показывает, насколько точно можно прогнозировать значения зависимой переменной на основе модели регрессии. Чем меньше значение стандартной ошибки, тем точнее можно прогнозировать значения зависимой переменной.

Шаг 3. Постройте график регрессии.

График регрессии позволяет визуально оценить, насколько хорошо модель соответствует данным. Если точки на графике расположены близко к линии регрессии, то модель хорошо соответствует данным.

Шаг 5. Проверьте значимость коэффициентов наклона.

Для того чтобы определить, насколько значимы коэффициенты наклона, можно использовать t-тест или F-тест. Если значение p-уровня значимости меньше 0,05, то коэффициент наклона является значимым.

Шаг 6. Интерпретируйте результаты.

На основе полученных результатов можно сделать выводы о том, какие факторы влияют на зависимую переменную и насколько сильна эта зависимость. Например, если коэффициент наклона для фактора «возраст» положительный и значимый, то можно сделать вывод, что увеличение возраста приводит к увеличению значения зависимой переменной.

Важно помнить, что результаты линейной регрессии могут быть неправильными, если данные содержат выбросы или не соответствуют требованиям для проведения регрессионного анализа. Поэтому перед проведением линейной регрессии необходимо тщательно проверять данные на наличие ошибок и аномалий.

МЕТОДЫ КЛАССИФИКАЦИИ В ЖЕЛЕЗНОДОРОЖНОМ ТРАНСПОРТЕ

Рассмотрим данный метод на примере обсуждения решения задачи с набором данных, содержащий информацию о пассажирских поездах. Каждая запись содержит следующие параметры: номер поезда, время отправления, время прибытия, продолжительность поездки, количество остановок, наличие ресторанного вагона и статус заполненности (полный, частично заполнен или пустой).

Мы хотим построить модель классификации, которая позволит предсказывать статус наполненности поезда на основе остальных параметров. Для этого будет использоваться Excel и алгоритм классификации «логистическая регрессия». Для решения данной задачи необходимо выполнить ряд шагов, описанных ниже

Подготовка данных. Перед тем как начать построение модели, необходимо подготовить данные. Удалим из данных столбец с номером поезда, так как он не является релевантным для решения задачи. Преобразуем категориальный признак «наличие ресторанного вагона» в числовой, используя метод «Дамми-переменных».

Построение модели. Для построения модели классификации на основе логистической регрессии в Excel нужно выбрать на вкладке «Данные» опцию «Анализ данных», а затем выбрать «Логистическая регрессия».

В открывшемся диалоговом окне нужно выбрать столбец, содержащий статус наполненности, в качестве зависимой переменной, а остальные столбцы в качестве независимых переменных. После этого необходимо настроить параметры алгоритма классификации, такие как коэффициент регуляризации, максимальное число итераций и т. д.

Оценка модели. После того как модель была построена, необходимо обратиться к методам статистического анализа и оценить ее качество. Для этого можно использовать различные метрики, такие как точность, полнота, F1-мера и др.

Использование модели. После того как модель была оценена, можно использовать ее для предсказания статуса наполненности новых поездов на основе их характеристик. Для этого необходимо ввести данные нового поезда в таблицу и запустить модель, чтобы получить предсказание.

Таким образом, можно использовать Excel и алгоритм классификации «логистическая регрессия» для построения модели классификации и предсказания статуса наполненности пассажирских поездов на основе их характеристик.

МЕТОДЫ КЛАСТЕРИЗАЦИИ НА ЖЕЛЕЗНОДОРОЖНОМ ТРАНСПОРТЕ

Кластеризация представляет собой метод машинного обучения, используемый для сортировки объектов на основе их сходства. Один из удобных инструментов для проведения кластеризации — MS Excel. Для этого необходимо иметь набор данных, содержащий характеристики объектов, которые нужно сгруппировать в кластеры в соответствии с их сходством. Например, кластеризация может помочь определить группы товаров с похожими характеристиками или выделить кластеры пользователей с похожими предпочтениями.

В железнодорожной отрасли кластеризация может быть полезна для группировки поездов в зависимости от их характеристик, таких как количество вагонов, тип груза, маршрут и т. д. Это позволяет оптимизировать управление поездами и повысить эффективность перевозок.

Алгоритм по использованию MS Excel для кластеризации данных приведен ниже.

На первом этапе откройте MS Excel и создайте новую книгу.

На листе MS Excel введите таблицу исходных данных. Каждый столбец должен содержать характеристики соответствующих объектов, а каждая строка — отдельный объект.

На следующем этапе выделите ячейки с данными и выберите вкладку «Вставка» в меню. Затем нажмите на кнопку «Диаграмма рассеяния» и выберите тип диаграммы рассеяния для каждой пары переменных.

Выделите ячейки с данными и выберите вкладку «Данные» в меню. Затем нажмите на кнопку «Анализ данных» и выберите «Кластерный анализ» из списка доступных инструментов анализа.

В открывшемся диалоговом окне выберите опцию «Кластеризация методом к-средних» и укажите количество кластеров, которые вы хотите создать. Также можно выбрать опцию «Автоматический выбор k», чтобы Excel самостоятельно определил оптимальное количество кластеров.

Нажмите на кнопку «ОК», и MS Excel выполнит кластерный анализ. В результате, на новом листе появится таблица со значениями кластеров, к которым были отнесены каждый из объектов.

И наконец используйте полученные результаты для дальнейшего анализа данных и оптимизации управления поездами.

В заключении следует сказать, что использование MS Excel для кластеризации данных может быть полезным для студентов железнодорожной отрасли при анализе различных характеристик поездов и оптимизации управления перевозками. Однако, необходимо помнить, что результаты кластеризации зависят от качества данных и необходимо проводить анализ с учетом особенностей конкретной железнодорожной системы.

АНАЛИЗ ВРЕМЕННЫХ РЯДОВ

Анализ временных рядов — это метод, который используется для изучения изменений величины по времени. В железнодорожной отрасли анализ временных рядов может быть полезен для прогнозирования пассажиропотока, грузопотока, скорости поездов и других параметров, которые изменяются со временем.

MS Excel представляет собой удобный инструмент для проведения анализа временных рядов и прогнозирования будущих значений [13]. Для этого необходимо иметь набор данных, содержащий значения переменной в разные моменты времени. Анализ временных рядов может помочь произвести более точный прогноз пассажиропотока на железнодорожных станциях или оптимизировать график движения поездов. Кроме того, с помощью анализа временных рядов можно выявить тренды и цикличность в изменениях параметров, что может помочь лучше понять динамику процессов в железнодорожной отрасли.

Для анализа временных рядов в MS Excel создайте новую книгу и введите исходные данные в таблицу. Первая колонка должна содержать даты или временные метки, а вторая — значения переменной, которую вы хотите проанализировать.

Выделите ячейки с данными и выберите вкладку «Вставка» в меню. Затем нажмите на кнопку «Диаграмма рассеяния» и выберите тип диаграммы рассеяния для временных рядов.

Снова выделите ячейки с данными и выберите вкладку «Данные» в меню. Затем нажмите на кнопку «Анализ данных» и выберите «Прогнозирование» из списка доступных инструментов анализа.

В открывшемся диалоговом окне, укажите диапазон ячеек с данными, которые вы хотите анализировать, и выберите опцию «Линейный тренд», чтобы MS Excel построил прогноз на основе линейной регрессии.

Укажите количество будущих значений, которые вы хотите прогнозировать и выберите отображение результатов на новом листе и нажмите кнопку «ОК» в результате новый лист будет содержать график временного ряда и прогнозируемые значения переменной на будущее.

Применение анализа временных рядов может быть полезным для прогнозирования различных параметров, которые изменяются со временем. Однако следует помнить, что результаты анализа зависят от качества данных, а сам анализ необходимо проводить с учетом особенностей конкретной железнодорожной системы.

Анализ временных рядов может помочь лучше понять динамику изменения параметров на железнодорожной системе и предсказать их будущее значение, что особенно важно для принятия решений в области планирования и управления. Однако при этом необходимо учитывать, что качество предсказаний зависит от качества данных, которые используются для анализа и прогнозирования. Кроме того, анализ временных рядов необходимо проводить с учетом особенностей конкретной железнодорожной системы и ее характеристик, таких как объем перевозок, пассажиропоток, скорость и другие.

ОБНАРУЖЕНИЕ АНОМАЛИЙ СРЕДИ ЗНАЧЕНИЙ ИСХОДНЫХ ДАННЫХ

Обнаружение аномалий — это метод, который используется для выявления необычных значений в данных, которые не соответствуют ожидаемому поведению переменной. В железнодорожной отрасли обнаружение аномалий может быть полезно для выявления нештатных ситуаций, таких как проблемы с техническим оборудованием, задержки поездов и другие.

MS Excel является удобным инструментом для обнаружения аномалий. Для этого необходимо иметь набор данных, содержащий значения переменной в разные моменты времени.

Для решения задачи обнаружения аномалий в MS Excel создайте новую книгу и введите исходные данные задачи в таблицу. Характеристики соответствующих объектов располагают по столбцам, а каждая строка — отдельный объект.

Выделите ячейки с данными и выберите вкладку «Вставка» в меню. Затем нажмите на кнопку «Диаграмма рассеяния» и выберите тип диаграммы рассеяния для каждой пары переменных.

Выделите ячейки с данными и выберите вкладку «Данные» в меню. Затем нажмите на кнопку «Анализ данных» и выберите «Обнаружение выбросов» из списка доступных инструментов анализа.

В открывшемся диалоговом окне, укажите диапазон ячеек с данными, которые вы хотите анализировать, и выберите опцию «Расчет верхнего и нижнего пределов», чтобы Excel определил границы нормального поведения переменной.

Нажмите на кнопку «ОК», и Excel выполнит анализ данных. В результате, на новом листе появится таблица со значениями переменных, которые выходят за пределы верхнего или нижнего уровня.

Используйте полученные результаты для дальнейшего анализа данных и выявления нештатных ситуаций в железнодорожной системе.

В качестве конкретного примера можно рассмотреть задачу о выявлении выбросов в данных о скорости движения поездов на определенном участке железной дороги в течение определенного периода времени. Для этого можно использовать метод расчета статистических границ: рассчитать среднее значение и стандартное отклонение скорости движения поездов на данном участке железной дороги. Определить границы, за которыми скорость движения считается аномальной, например, на 3 стандартных отклонения от среднего значения. Выберите вкладку «Данные» и с меню выберите «Анализ данных» и «Обнаружение выбросов». В открывшемся диалоговом окне выберите «Расчет верхнего и нижнего пределов» и укажите диапазон ячеек с данными. Затем можно выбрать опции для расчета статистических границ, например, использовать 3 стандартных отклонения от среднего значения. После нажатия на кнопку «ОК» MS Excel выполнит анализ данных и выделит ячейки, которые считаются выбросами, в соответствующем столбце. Выделенные ячейки могут быть использованы для дальнейшего анализа, например, для определения причин нештатных ситуаций и принятия мер по их предотвращению. Обнаружение аномалий в MS Excel может быть полезным инструментом для улучшения безопасности и эффективности железнодорожной системы.

Для обнаружения аномалий Excel может стать очень полезным инструментом при анализе различных параметров и выявлении нештатных ситуаций на железнодорожной системе. Однако необходимо помнить, что результаты анализа зависят от качества данных и учета особенностей конкретной железнодорожной системы. Имея широкие возможности для обнаружения аномалий Excel дает инструменты для быстрого анализа выбросов, ошибок в данных и другие нештатные ситуации, которые могут оказать влияние на работу железнодорожной системы. Для получения точных результатов необходимо учитывать качество самих исходных данных, используемых для анализа, и особенности конкретной железнодорожной системы. Например, при анализе грузопотока необходимо учитывать особенности перевозимых грузов, а при анализе пассажиропотока — особенности маршрутов и графиков движения поездов. Кроме того, обнаружение аномалий является только одним из инструментов, которые могут быть использованы для обеспечения безопасности и эффективности железнодорожной системы.

ЗАДАЧА УМЕНЬШЕНИЯ РАЗМЕРНОСТИ ДАННЫХ

Количество переменных, которые используются для описания объекта или ситуации определяет размерность данных. В железнодорожной отрасли данные могут содержать множество параметров, таких как время отправления поезда, время прибытия, длина маршрута, количество пассажиров и другие. Однако, при анализе данных может быть полезно уменьшить размерность, чтобы упростить визуализацию данных и выявление закономерностей.

MS Excel предоставляет возможность уменьшить размерность данных и визуализировать многомерные данные в двумерном пространстве. Один из наиболее распространенных методов уменьшения размерности — это метод главных компонент (МГК), который позволяет преобразовать многомерные данные в более низкоразмерное пространство, сохраняя при этом максимальную дисперсию данных.

Метод главных компонент может быть полезен для анализа больших объемов данных в железнодорожной отрасли. Например, применение МГК может помочь выделить наиболее значимые параметры, которые оказывают наибольшее влияние на железнодорожные процессы, и упростить визуализацию и интерпретацию данных. Однако следует учитывать, что уменьшение размерности может привести к потере некоторой информации, поэтому необходимо внимательно подходить к выбору параметров и методов уменьшения размерности.

Использование МГК для визуализации данных железнодорожной отрасли можно связать с анализом задержек поездов на определенных участках железной дороги. Данные могут содержать информацию о времени отправления и прибытия поездов, длине маршрута, количестве пассажиров и других параметрах.

Для использования Excel для визуализации многомерных данных в двумерном пространстве с помощью МГК необходимо создать новую книгу MS Excel и ввести таблицу исходных данных. Каждый столбец должен содержать характеристики соответствующих объектов, а каждая строка — отдельный объект.

Выделите ячейки с исходными данными, выберите вкладку «Данные» в меню, затем выберите «Анализ данных» и выберите «МГК» из списка доступных инструментов анализа.

В открывшемся диалоговом окне выберите столбцы с данными, которые вы хотите использовать для анализа, и укажите количество компонент, которые вы хотите использовать для преобразования данных. Нажмите на кнопку «ОК».

MS Excel выполнит анализ данных и создаст новый лист с преобразованными данными. Вы можете использовать этот лист для создания диаграммы рассеяния и визуализации данных в двумерном пространстве.

Выделите ячейки с данными на новом листе и выберите вкладку «Вставка» в меню. Затем выберите тип диаграммы рассеяния для визуализации данных в двумерном пространстве.

Изучите полученную диаграмму рассеяния для выявления закономерностей и аномалий в данных.

Предположим, что, у нас есть данные о поездах, которые ежедневно отправляются из разных городов в главный железнодорожный узел. Данные содержат информацию о времени отправления поезда, времени прибытия, длительности поездки, количестве станций, которые поезд посещает на своем маршруте и другие параметры. Метод главных компонент может быть использован для уменьшения размерности данных и создания новых переменных (главных компонент), которые содержат наибольшую дисперсию в данных. Эти главные компоненты могут быть использованы для анализа и визуализации данных в двумерном пространстве.

Пример использования МГК для визуализации данных можно связать с анализом пассажирских потоков на разных участках железной дороги. Данные могут содержать информацию о количестве пассажиров, отправляющихся из разных городов, длине маршрута, времени отправления и прибытия поездов, количестве станций, которые поезд посещает на своем маршруте и других параметрах.

ЗАДАЧА АНАЛИЗА ТЕКСТОВЫХ ДАННЫХ И ИСПОЛЬЗОВАНИЕ EXCEL ДЛЯ КЛАССИФИКАЦИИ ТЕКСТА НА ОСНОВЕ ЕГО СОДЕРЖАНИЯ

Работа с текстом — это область анализа данных, которая занимается обработкой и анализом текстовых данных. В железнодорожной отрасли текстовые данные могут включать в себя описания ремонтных работ, отчеты о происшествиях, отзывы пассажиров и другие.