Бесплатный фрагмент - Искусственный интеллект

Chapter 1. What is Artificial Intelligence?

When people hear the expression «artificial intelligence» for the first time, everyone has their own picture. Someone imagines a robot that talks to a person. Someone recalls movies where machines become smarter than people and begin to rule the world on their own. Others think of chatbots, voice assistants, or programs that can create images.

In fact, artificial intelligence is much closer to our daily lives than it might seem.

We encounter it when we search the Internet, watch movie recommendations, unlock our phone by face, receive a suspicious message about a scam, or ask a voice assistant about the weather. Sometimes we don’t even realize that a complex artificial intelligence system works behind the familiar application.

But what is AI?

To put it simply, artificial intelligence is a technology that allows a computer to perform tasks that previously required human abilities. This can be speech recognition, text understanding, image analysis, finding patterns in data, predicting events, or making certain decisions.

At the same time, it is important not to confuse artificial intelligence with human intelligence.

A modern computer does not think like a human. He has no human memories, emotions, personal experiences, or the usual human understanding of the world. It works with information using mathematical models, algorithms, and huge amounts of data.

This is what makes the topic of artificial intelligence so interesting.

From simple rules to learning systems

To better understand AI, it’s helpful to imagine how old computer programs worked.

Let’s say we want to create a program that detects whether an email is spam. You can write a few rules.

If the message contains a specific word, mark it as spam.

If there are too many links in the email, increase the likelihood that it is spam.

If the sender is unknown, pay attention to him.

This approach may work, but it has an obvious problem. Spam is constantly changing.

Scammers can use new words, change the structure of messages, and create emails that look completely normal.

A person can quickly notice a suspicious meaning, especially if they have experience. For a simple program, this is much more difficult.

This is where machine learning comes in.

Instead of manually writing each rule, the developer can give the system a large number of examples. Among them will be regular letters and spam.

The system analyzes these examples and tries to find patterns.

After training, she receives a new letter and evaluates which category it most likely belongs to.

This is an important transition from traditional programming to machine learning.

The computer no longer needs to explain every detail. In some tasks, he can be given data and a way to evaluate the result, and he will find patterns on his own.

Why Data Matters

When people talk about artificial intelligence, they often talk about algorithms. This is really important, but there is one more thing without which modern AI will not be able to work properly: data.

Two systems can be imagined.

The first one is trained on a million qualitative examples.

The second is trained on a small collection, where there are many errors, omissions, and incorrect data.

Even if both use similar technology, the results can be very different.

This is like teaching a person. If a student is constantly given incorrect information, he will remember mistakes. Then these mistakes will affect his answers.

Something similar happens with AI.

If the system receives bad data, it can learn the wrong patterns.

Therefore, the development of artificial intelligence begins not only with the choice of an algorithm. You need to understand what data is used, where it comes from, how accurate it is, and whether it is diverse enough.

This is especially important in sensitive areas.

For example, if AI is used to analyze medical images, the data should not be treated carelessly. A mistake can lead to the wrong result and ultimately affect a person’s health.

AI is already around us

Sometimes people say that artificial intelligence will appear in the future. In fact, it has been used for a long time.

When an online store offers you a product that you might like, a recommendation algorithm can work there.

When a streaming service offers a movie or series, the system analyzes your previous viewing and compares them with the behavior of other users.

When an email automatically sends a suspicious message to the spam folder, it could also be the result of machine learning.

When the phone recognizes your face, computer vision technology is used to open the screen.

When an application translates a sentence from one language to another, natural language processing and machine learning can be used in the process.

Even maps and navigation apps can use intelligent algorithms to analyze traffic and choose a route.

It turns out to be an interesting situation. We already use AI every day, but we often think of it as just a regular app feature.

A machine that learns

One of the most important properties of modern AI is the ability to find patterns.

Let’s imagine that we want to teach a computer to recognize cats.

One could try to describe a cat with strict rules.

It has four legs.

She has two eyes.

It has a tail.

She has ears.

But problems immediately arise.

And if the cat sits sideways?

And if its tail is not visible?

What if the photo was taken in the dark?

What if the animal is partially closed?

And if it’s a small kitten?

The world is too diverse to be described by a few simple rules.

Therefore, modern computer vision systems are usually trained on a large number of images.

The system sees many examples and gradually changes the internal parameters of the model in such a way as to reduce the number of errors.

It does not receive the human concept of «cat» in the sense in which we understand it. She learns to mathematically distinguish certain features of images.

The result may look impressive, although there are complex calculations going on inside.

AI isn’t always right

This is one of the most important points to remember.

Artificial intelligence can make mistakes.

And sometimes he can make mistakes very confidently.

A human can also be sure of the wrong answer, but AI has an additional problem. A system can give the impression of accuracy simply because its answer looks convincing.

This is especially noticeable in generative AI.

A language model can write beautiful text that sounds absolutely confident. But some of the facts inside it may be wrong.

Therefore, every AI response cannot be automatically considered true.

If the information concerns important decisions, it must be verified.

This is especially important in medicine, law, finance, security, and other areas where a mistake can be costly.

Artificial Intelligence and Human Intelligence

Comparing AI to humans often leads to confusion.

A person is able to learn from a small number of examples. A small child does not need to see a million pictures of dogs to understand that it is a dog.

A person is also able to use life experiences, emotions, social knowledge, and common sense.

A modern machine works differently.

It can surpass a human in some tasks. For example, a computer is able to process a huge number of numbers very quickly.

But this does not mean that he has general human intelligence.

A program that perfectly recognizes images may not know anything about car repairs.

A system that translates texts well may not understand real life the way a person understands it.

Therefore, it is more useful to think of AI not as a copy of the human brain, but as a special type of technology with its own advantages and limitations.

Where AI is especially useful

Artificial intelligence can be useful where large amounts of information need to be analyzed quickly.

In medicine, it can help analyze images and look for signs of disease.

In cybersecurity, it can detect suspicious activities on computer networks.

In industry, it can help control product quality.

In transport, he can analyze the traffic situation.

In education, it can help students get explanations and practice.

In business, it can analyze customer data and predict demand.

In scientific research, it can help find patterns that are difficult for a person to detect manually.

But in all of these cases, it’s important to understand the limits of the technology.

AI can be a good helper, but the helper doesn’t have to make the final decision.

Why People Should Stay Focused

It’s tempting to say: if a computer works faster than a human, let it do everything on its own.

But speed does not equal wisdom.

A computer can quickly analyze data, but a person has to decide what exactly needs to be analyzed and why.

Suppose the system predicts that a certain event has a high probability. A person should ask how reliable this model is, what data it was trained on, and what the consequences would be if the prediction turned out to be wrong.

Therefore, human control remains important.

This is especially true for decisions that can affect people’s lives.

Technology should help a person, not turn a person into a passive observer.

AI and the Future of Society

Artificial intelligence is slowly changing the way people work, learn, and communicate.

Some tasks become automatic.

Some professions are changing.

New tools are emerging.

The labor market is changing.

But technological change does not necessarily mean only a threat.

There have already been moments in history when new technologies have completely changed the usual way of life.

Electricity changed industry.

Computers have changed office work.

The Internet has changed communication.

Smartphones have made a huge amount of information available almost anywhere.

Now, a similar process is happening with AI.

The main question is not just how smart machines will become.

We also need to decide exactly how we will use them.

Will we use AI to improve medicine?

Will we use it for education?

Will it be able to help scientists solve complex problems?

Will we use it to protect computer systems?

Or will we allow technology to be used for mass deception, discrimination, and invasion of privacy?

These questions cannot be answered by code alone.

Здесь нужны законы, образование, ответственность и здравый смысл.

Человек и машина

Возможно, самое полезное отношение к искусственному интеллекту заключается не в том, чтобы постоянно спрашивать, заменит ли он человека.

Лучше спросить: что человек сможет сделать вместе с ИИ?

Врач с хорошей системой анализа медицинских изображений может работать быстрее.

Учитель может получить дополнительный инструмент для подготовки учебных материалов.

Программист может быстрее находить ошибки в коде.

Исследователь может анализировать больше данных.

Писатель может использовать ИИ для поиска идей.

Предприниматель может быстрее анализировать информацию о рынке.

Но окончательная ценность возникает благодаря человеку, который понимает цель и отвечает за результат.

ИИ может предложить десять вариантов. Человек выбирает подходящий.

ИИ может обнаружить закономерность. Человек решает, что она означает.

ИИ может создать текст. Человек решает, стоит ли ему доверять.

ИИ может дать прогноз. Человек оценивает последствия.

Именно поэтому разговор об искусственном интеллекте не должен превращаться в разговор только о машинах.

Это также разговор о нас.

Что нам действительно нужно знать об ИИ

Чтобы понимать искусственный интеллект, необязательно быть программистом.

Конечно, технические знания полезны, особенно если человек хочет создавать ИИ-системы. Но обычному пользователю гораздо важнее понимать основные принципы.

Нужно знать, что ИИ работает с данными.

Нужно понимать, что обучение модели не гарантирует правильность каждого результата.

Нужно помнить о возможной предвзятости.

Нужно знать, что генеративные модели могут создавать убедительные ошибки.

Нужно понимать значение конфиденциальности.

И, пожалуй, самое главное, нужно сохранять способность самостоятельно думать.

ИИ может стать очень мощным инструментом. Но мощный инструмент требует осторожного обращения.

Молоток может построить дом, но им можно и повредить что-нибудь.

Точно так же искусственный интеллект может помочь человеку решить сложную проблему, но его можно использовать и во вред.

Начало новой эпохи

Мы только начинаем понимать, насколько сильно искусственный интеллект изменит нашу жизнь.

Сегодня мы обсуждаем чат-боты, генерацию изображений, автономные автомобили и интеллектуальные системы безопасности. Завтра могут появиться технологии, которые сейчас трудно представить.

Но одно уже ясно.

Искусственный интеллект перестал быть исключительно темой научной фантастики. Он стал частью современной жизни.

Его развитие будет зависеть не только от инженеров и исследователей. Оно будет зависеть от правительств, компаний, учителей, студентов, работников и обычных пользователей.

Каждый человек, который использует ИИ, становится частью этой новой технологической эпохи.

Поэтому нам не нужно бояться каждого нового алгоритма. Но и слепо доверять машинам тоже не стоит.

Лучший подход, это интересоваться технологией, понимать её возможности и ограничения и использовать её разумно.

ИИ может стать одним из самых полезных инструментов нашего времени.

Но каким именно он станет, зависит от того, какие решения мы принимаем сегодня.

Глава 2. Как машины учатся

Когда мы говорим, что машина «учится», легко представить что-то похожее на человека. Ребёнок учится ходить, разговаривать, читать и понимать окружающий мир. Он пробует, ошибается, получает подсказки и постепенно становится лучше.

Компьютер учится совсем иначе.

У него нет детства, воспоминаний или личного опыта. Он не сидит вечером и не думает о том, что произошло днём. Машина работает с данными, математическими моделями и вычислениями. Но результат иногда действительно напоминает обучение человека. Система получает примеры, находит закономерности и постепенно становится лучше в выполнении определённой задачи.

Именно этот принцип лежит в основе многих современных технологий искусственного интеллекта.

Откуда машина получает знания

Первое, что необходимо любой обучающейся системе, это данные.

Данные могут быть практически любыми. Это могут быть фотографии, документы, сообщения, записи телефонных разговоров, медицинские изображения, финансовые операции, дорожные знаки, видеозаписи или результаты измерений.

Представим, что мы хотим создать программу, которая определяет, является ли фотография изображением автомобиля.

Мы можем собрать тысячи фотографий разных машин. На одних автомобилях будут легковые машины, на других грузовики, автобусы и мотоциклы. Некоторые фотографии будут сделаны днём, другие ночью. Одни машины будут стоять, другие двигаться.

Чем разнообразнее примеры, тем больше разных ситуаций сможет увидеть система во время обучения.

Однако просто собрать данные недостаточно.

Нужно решить, что именно система должна из них узнать.

Если фотографии будут неправильно классифицированы, алгоритм может научиться неправильным закономерностям.

Например, если на большинстве фотографий автомобилей будет изображена только одна марка машины, система может случайно решить, что именно эта марка является главным признаком автомобиля.

Это будет ошибка.

Поэтому подготовка данных является одной из самых важных частей разработки ИИ.

Обучение на примерах

Представим школьника, который изучает математику.

Учитель показывает ему несколько примеров. Затем ученик пытается решить похожие задачи самостоятельно. Если ответ неправильный, он получает объяснение и пробует снова.

Машинное обучение устроено по похожему принципу, хотя внутри всё происходит с помощью математики.

Система получает входные данные и выдаёт результат.

После этого результат сравнивается с правильным ответом.

Если система ошиблась, её внутренние параметры изменяются.

Процесс повторяется много раз.

Постепенно ошибка может уменьшаться.

Это и есть обучение модели.

Например, представим систему, которая должна определить, является ли изображение кошкой.

Она получает фотографию и говорит: «Кошка».

Если правильный ответ действительно «Кошка», всё хорошо.

Если на фотографии собака, а система сказала «Кошка», возникает ошибка.

Алгоритм корректирует свои параметры и продолжает обучение.

После тысяч или миллионов таких примеров модель может научиться достаточно хорошо различать изображения.

Конечно, реальный процесс намного сложнее. Но общая идея именно такая.

Что такое модель

В мире искусственного интеллекта часто используется слово «модель».

Модель, это математическая система, которая учится находить закономерности в данных.

Можно представить её как сложный механизм.

На вход поступают данные.

Внутри выполняются вычисления.

На выходе появляется результат.

Во время обучения модель постепенно изменяет свои параметры.

Параметры можно представить как настройки, которые влияют на поведение системы.

В больших моделях таких параметров может быть очень много.

Но большое количество параметров само по себе не гарантирует хорошего результата.

Важно, насколько хорошо модель обучена, какие данные использовались и насколько правильно поставлена задача.

Обучение с учителем

Один из самых распространённых способов обучения называется обучением с учителем.

Здесь система получает данные и правильные ответы.

Например, мы хотим научить программу определять электронные письма.

У нас есть тысячи сообщений.

Каждое сообщение имеет метку.

«Спам».

«Не спам».

Модель анализирует сообщения и пытается понять, какие признаки связаны с каждой категорией.

После обучения мы можем дать ей новое письмо.

Она анализирует его и делает прогноз.

Допустим, система считает, что вероятность спама составляет 95 процентов.

Это не означает, что она абсолютно уверена в правильности ответа. Это оценка, основанная на закономерностях, которые модель обнаружила во время обучения.

Обучение с учителем используется во множестве задач.

Распознавание изображений.

Распознавание речи.

Медицинская диагностика.

Прогнозирование спроса.

Обнаружение мошенничества.

Фильтрация спама.

Классификация документов.

Во всех этих случаях модель учится на примерах, для которых известны ответы.

Обучение без учителя

Но что делать, если правильных ответов нет?

Тогда можно использовать обучение без учителя.

Представим, что интернет-магазин имеет информацию о миллионах покупателей. Компания знает, какие товары покупали люди, но заранее не определила группы клиентов.

Алгоритм может самостоятельно найти похожие модели поведения.

Он может обнаружить группу людей, которые часто покупают электронику.

Другую группу, которая покупает товары для дома.

Ещё одну группу, которая совершает небольшие покупки очень часто.

Никто заранее не сказал алгоритму, что такие группы должны существовать.

Он обнаружил структуру самостоятельно.

Это одна из интересных возможностей машинного обучения.

Система может обнаруживать закономерности, которые человек не заметил.

Обучение с подкреплением

Есть ещё один интересный подход, обучение с подкреплением.

Здесь система учится через действия и последствия.

Представим компьютерную игру.

Система начинает играть. Она делает действие и получает результат.

Если действие оказалось полезным, система получает положительную награду.

Если действие привело к плохому результату, награда может быть небольшой или отрицательной.

Постепенно алгоритм учится выбирать действия, которые увеличивают общий результат.

Такой подход можно использовать не только в играх.

Он применяется в робототехнике, управлении системами и некоторых других задачах.

Например, робот может учиться двигаться по определённой поверхности. Сначала его движения могут быть неуклюжими. После большого количества попыток он может научиться выполнять задачу лучше.

Это напоминает обучение через опыт.

Почему машина иногда учится неправильно

Здесь возникает важная проблема.

Машина может найти закономерность, которая выглядит полезной во время обучения, но оказывается бесполезной в реальном мире.

Представим модель, которая должна определять фотографии коров.

Большинство фотографий коров в обучающей коллекции сделаны на зелёном поле.

Модель может случайно научиться связывать зелёный цвет с коровой.

Тогда она может ошибиться, если увидит фотографию коровы в помещении.

Получается, что модель запомнила не тот признак.

Это называется переобучением, когда система слишком сильно подстраивается под обучающие данные и плохо работает на новых примерах.

Поэтому модель необходимо проверять на данных, которые она раньше не видела.

Обучение и проверка

Обычно данные разделяют на несколько частей.

Одна часть используется для обучения.

Другая нужна для проверки.

Иногда используют ещё одну отдельную часть для окончательного тестирования.

Зачем это нужно?

Если проверять модель только на тех данных, которые она уже видела, результат может выглядеть намного лучше, чем есть на самом деле.

Это примерно как дать студенту тот же самый экзамен, который он уже выучил наизусть.

Он может получить отличный результат, но это ещё не доказывает, что он действительно понимает предмет.

С ИИ происходит похожая ситуация.

Модель должна хорошо работать не только на знакомых примерах, но и на новых.

Чем больше данных, тем лучше?

Не всегда.

Большое количество данных может быть полезным, но качество тоже имеет огромное значение.

Представим две коллекции.

В первой миллион фотографий, но половина из них неправильно подписана.

Во второй сто тысяч фотографий, зато они качественные и разнообразные.

В некоторых задачах вторая коллекция может оказаться полезнее первой.

Поэтому разработчики уделяют много внимания очистке данных.

Они ищут дубликаты, ошибки, пропуски и неправильные метки.

Иногда данные нужно дополнительно обрабатывать перед обучением.

Это может быть скучной частью проекта, но без неё хороший ИИ создать трудно.

Машина ищет закономерности

Самое интересное в машинном обучении заключается в способности находить связи.

Допустим, модель анализирует данные о покупках.

Она может обнаружить, что люди, которые покупают определённый товар, часто покупают и другой.

Человек мог не обратить на это внимания.

Машина способна обнаружить связь благодаря анализу большого количества записей.

Но здесь важно быть осторожным.

Связь между двумя событиями не всегда означает, что одно вызывает другое.

Например, продажи мороженого могут увеличиваться одновременно с продажами прохладительных напитков.

Это не означает, что одно вызывает другое. Возможно, обе категории растут из-за жаркой погоды.

ИИ может обнаружить связь, но человек должен правильно её интерпретировать.

Как система понимает изображения

Для человека изображение является целостной картиной.

Для компьютера фотография представляет собой набор числовых значений.

Каждый пиксель содержит информацию о цвете и яркости.

Нейронная сеть анализирует эти значения и постепенно обнаруживает более сложные особенности.

На ранних этапах могут обнаруживаться линии и границы.

Дальше система может находить формы.

После этого она может распознавать части объектов.

Наконец, комбинация этих особенностей помогает определить объект целиком.

Например, при распознавании лица система может анализировать различные особенности изображения, а затем объединять их в более сложную структуру.

Это не человеческое зрение, но результат иногда выглядит удивительно похожим.

Как система работает с речью

Речь тоже можно преобразовать в данные.

Когда человек говорит в микрофон, звук записывается и преобразуется в цифровой сигнал.

Система анализирует его и пытается определить, какие слова были произнесены.

Современные технологии распознавания речи могут работать довольно хорошо, но проблемы всё ещё существуют.

Шум на заднем фоне может мешать.

Акцент может усложнить распознавание.

Быстрая речь тоже может создавать трудности.

Кроме того, люди используют сленг, сокращения и местные выражения.

Поэтому распознавание речи является гораздо более сложной задачей, чем простое превращение звука в текст.

Как обучаются языковые модели

Современные языковые модели работают с огромными объёмами текста.

Во время обучения модель анализирует последовательности слов и учится предсказывать, какие элементы языка могут появиться дальше.

Со временем она начинает обнаруживать множество закономерностей.

Она учится тому, как слова связаны друг с другом.

Она обнаруживает грамматические структуры.

Она видит различные стили письма.

Она может находить связи между понятиями.

В результате модель способна создавать связный текст.

Но это не означает, что она понимает мир точно так же, как человек.

Она работает с математическими представлениями языка.

Поэтому даже очень продвинутая модель может иногда создавать неправильную информацию.

Почему ИИ может быть уверенным и ошибаться

Это одна из наиболее важных особенностей современных систем.

Если человек задаёт вопрос и получает красивый, подробный ответ, ему легко поверить в него.

Но внешний вид ответа не является доказательством его правильности.

ИИ может построить убедительное объяснение, даже если исходная информация была неверной или модель неправильно поняла вопрос.

Поэтому хороший пользователь ИИ должен задавать дополнительные вопросы и проверять важные сведения.

Особенно это касается научных, медицинских, юридических и финансовых вопросов.

ИИ может быть полезным помощником.

Но помощника тоже нужно контролировать.

Роль человека в обучении машины

Хотя машинное обучение кажется автоматическим, люди участвуют в нём на каждом этапе.

Человек выбирает задачу.

Человек собирает или организует данные.

Человек решает, какие результаты считать хорошими.

Человек проверяет модель.

Человек оценивает ошибки.

Человек решает, можно ли использовать систему в реальной жизни.

Это особенно важно потому, что алгоритм не понимает человеческих ценностей сам по себе.

Если мы хотим создать справедливую систему, нужно заранее подумать о справедливости.

Если нам нужна безопасная система, безопасность должна быть частью разработки.

Если система работает с личными данными, необходимо защищать конфиденциальность.

ИИ не может самостоятельно решить все эти вопросы.

Ошибки могут быть полезными

Интересно, что ошибки модели не всегда означают провал проекта.

Ошибки помогают разработчикам понять, где система работает плохо.

Представим модель распознавания изображений, которая правильно определяет автомобили в девяноста пяти процентах случаев.

Оставшиеся пять процентов могут рассказать много полезного.

Возможно, модель плохо работает ночью.

Возможно, она путает грузовики и автобусы.

Возможно, она плохо распознаёт машины под необычным углом.

Разработчики могут изучить эти ошибки и улучшить систему.

Таким образом, создание ИИ часто является циклическим процессом.

Обучение.

Проверка.

Поиск ошибок.

Исправление.

Новое обучение.

Новая проверка.

И снова улучшение.

Машинное обучение в повседневной жизни

Мы уже пользуемся результатами машинного обучения, даже если не замечаем этого.

Когда приложение предлагает музыку, оно может учитывать ваши предыдущие действия.

Когда социальная сеть показывает определённые публикации, алгоритмы могут оценивать вероятность того, что они вам интересны.

Когда банк обнаруживает подозрительную операцию, система может сравнить её с обычным поведением клиента.

Когда поисковая система предлагает варианты запроса, она использует закономерности, полученные из огромного количества данных.

Таким образом, машинное обучение стало частью цифровой инфраструктуры современного мира.

Будущее обучения машин

Системы машинного обучения продолжают становиться мощнее.

Модели могут работать с текстом, изображениями, звуком и видео.

Некоторые системы способны объединять несколько типов информации.

Например, модель может получить фотографию и текстовое описание и использовать их вместе.

Это открывает новые возможности для образования, медицины, науки и бизнеса.

Но развитие технологий не отменяет старых вопросов.

Как защитить данные?

Как уменьшить предвзятость?

Как сделать решения понятнее?

Как предотвратить злоупотребление?

Как сохранить человеческий контроль?

Чем мощнее становится ИИ, тем важнее эти вопросы.

Машина учится, но человек задаёт направление

Машинное обучение является удивительной технологией. Компьютер может анализировать огромное количество примеров и находить закономерности, которые трудно заметить человеку.

Но машина не выбирает самостоятельно, каким должен быть мир.

Люди определяют задачи.

Люди создают данные.

Люди выбирают цели.

Люди решают, где использовать технологию.

Поэтому искусственный интеллект нельзя рассматривать отдельно от общества.

Машина может научиться распознавать изображения, переводить языки, анализировать финансовые операции или обнаруживать угрозы в компьютерной сети.

Но вопрос «что именно следует делать?» остаётся человеческим вопросом.

Именно поэтому понимание того, как машины учатся, так важно.

Когда мы понимаем основы технологии, нам проще пользоваться ею разумно.

Мы начинаем видеть не только впечатляющие результаты, но и ограничения.

Мы понимаем, почему система может ошибаться.

И главное, мы понимаем, что искусственный интеллект не появляется из ниоткуда.

За каждой моделью стоят данные, алгоритмы, инженеры, исследователи и решения людей.

Машина может учиться на данных.

Но направление этого обучения всё равно задаём мы.

Глава 3. Машинное обучение

Машинное обучение, пожалуй, одна из самых важных частей современного искусственного интеллекта. Именно благодаря ему компьютеры научились выполнять множество задач, которые раньше казались возможными только для человека.

Когда мы говорим о машинном обучении, речь идёт не о том, что компьютер внезапно становится умным. Всё происходит намного спокойнее. Компьютеру дают данные, определённую задачу и способ оценивать результат. Затем система постепенно находит закономерности, которые помогают ей выполнять эту задачу лучше.

На первый взгляд всё просто. Но за этой простой идеей стоит огромный мир математики, статистики, программирования и анализа данных.

Что такое машинное обучение

Представим, что нам нужно научить компьютер определять, является ли сообщение нежелательной рекламой.

Можно написать программу с большим количеством правил.

Если сообщение содержит определённое слово, увеличить вероятность спама.

Если в нём слишком много ссылок, отметить его как подозрительное.

Если отправитель неизвестен, обратить внимание на сообщение.

Проблема в том, что люди, которые создают спам, тоже меняют свои методы. Они могут использовать другие слова, новые адреса и необычные формулировки.

Программа, основанная только на заранее написанных правилах, может быстро устареть.

Машинное обучение предлагает другой подход.

Вместо того чтобы объяснять компьютеру каждое правило, мы показываем ему большое количество примеров.

Вот обычное письмо.

Вот спам.

Вот ещё обычное письмо.

Вот ещё один спам.

После большого количества примеров алгоритм начинает находить закономерности.

Когда появляется новое сообщение, система использует полученные знания, чтобы сделать прогноз.

Это и есть основная идея машинного обучения.

Почему это отличается от обычного программирования

При обычном программировании человек создаёт правила.

Данные поступают в программу, программа выполняет правила и выдаёт результат.

В машинном обучении подход немного другой.

Человек предоставляет данные и желаемые результаты, а алгоритм пытается найти правила самостоятельно.

Можно представить это так.

В традиционном программировании:

Правила + данные = результат

В машинном обучении:

Данные + правильные результаты = модель

После этого:

Модель + новые данные = прогноз

Это упрощённое объяснение, но оно хорошо показывает разницу.

Главное преимущество заключается в том, что человеку не нужно заранее знать все возможные правила.

Это особенно полезно там, где правила слишком сложны.

Например, очень трудно написать вручную набор правил, который позволит компьютеру распознавать человеческое лицо на любой фотографии.

Гораздо эффективнее обучить систему на большом количестве изображений.

Три основных подхода

Когда говорят о машинном обучении, обычно выделяют три основных подхода.

Это обучение с учителем, обучение без учителя и обучение с подкреплением.

Каждый из них решает свои задачи.

Обучение с учителем

При обучении с учителем система получает примеры, где правильный ответ уже известен.

Представим, что мы хотим научить программу определять настроение текста.

У нас есть тысячи сообщений.

Некоторые отмечены как положительные.

Другие как отрицательные.

Третьи как нейтральные.

Модель анализирует эти примеры и учится связывать определённые особенности текста с соответствующими категориями.

После обучения ей можно дать новый текст.

Например:

«Сегодня прекрасный день, я очень рад».

Модель может определить его как положительный.

Другой текст:

«Я очень разочарован этим сервисом».

Модель, скорее всего, определит его как отрицательный.

Обучение с учителем используется очень широко.

Оно применяется для классификации изображений, прогнозирования цен, обнаружения мошенничества, распознавания речи и многих других задач.

Классификация

Одной из распространённых задач обучения с учителем является классификация.

Система должна выбрать категорию.

Например:

Спам или не спам.

Болезнь или отсутствие заболевания.

Кошка или собака.

Мошенническая операция или обычная операция.

Положительный отзыв или отрицательный отзыв.

Можно представить классификацию как сортировку.

У нас есть множество объектов, и компьютер должен правильно разложить их по категориям.

Иногда категорий всего две. Это называется бинарной классификацией.

Иногда категорий намного больше.

Например, система распознавания изображений может отличать автомобили, автобусы, велосипеды, мотоциклы, грузовики и пешеходов.

Прогнозирование

Другая важная задача машинного обучения, прогнозирование.

Здесь система пытается предсказать числовое значение.

Например, сколько товаров будет продано завтра.

Какая будет стоимость недвижимости.

Сколько клиентов может обратиться в службу поддержки.

Какой объём электроэнергии потребуется.

Прогнозирование используется в бизнесе, финансах, энергетике, сельском хозяйстве и многих других областях.

Но прогноз никогда не следует воспринимать как абсолютную гарантию.

Модель работает на основе данных прошлого и существующих закономерностей.

Если ситуация резко меняется, прогноз может оказаться неточным.

Обучение без учителя

Теперь представим другую ситуацию.

У нас есть миллион записей о клиентах, но никто заранее не разделил людей на группы.

Мы просто хотим понять, какие группы существуют.

В этом случае может использоваться обучение без учителя.

Алгоритм анализирует данные и ищет похожие объекты.

Например, он может обнаружить одну группу клиентов, которые часто покупают электронику.

Другую группу, которая регулярно покупает товары для дома.

Третью группу, которая совершает небольшие покупки очень часто.

Человек заранее не указал эти группы.

Алгоритм обнаружил структуру самостоятельно.

Кластеризация

Один из наиболее известных методов обучения без учителя, кластеризация.

Слово может звучать сложно, но идея довольно простая.

Алгоритм пытается собрать похожие объекты вместе.

Представим большую коробку с разноцветными шариками.

Мы не знаем, какие группы существуют.

Но если некоторые шарики похожи по размеру, форме или цвету, мы можем постепенно разделить их.

Компьютер делает нечто похожее с данными.

Кластеризация используется для анализа клиентов, документов, изображений, биологических данных и многих других объектов.

Поиск необычного поведения

Обучение без учителя также может помогать обнаруживать аномалии.

Аномалия, это что-то необычное по сравнению с нормальным поведением.

Например, банковская система видит, что клиент обычно совершает небольшие покупки в своём городе.

Вдруг появляется несколько крупных операций из другой страны.

Это может быть обычной ситуацией, если человек путешествует.

Но это также может быть признаком мошенничества.

Система может заметить необычное поведение и отправить сигнал для дополнительной проверки.

В кибербезопасности такой подход особенно полезен.

Компьютерные сети создают огромное количество событий. Человеку трудно проверить каждое из них вручную.

Алгоритмы могут искать отклонения и помогать специалистам сосредоточиться на наиболее подозрительных событиях.

Обучение с подкреплением

Третий подход, обучение с подкреплением.

Здесь система учится через действия и последствия.

Представим робота, который должен научиться двигаться.

В начале он не знает, какие движения являются правильными.

Он пробует.

Иногда действие помогает.

Иногда приводит к плохому результату.

За полезное действие система получает награду.

За плохое действие она получает меньшую награду или штраф.

Со временем алгоритм старается выбирать действия, которые дают лучший общий результат.

Такой подход особенно интересен для задач, где система должна принимать последовательность решений.

Пример с игрой

Представим компьютер, который учится играть в шахматы.

Сначала его решения могут быть очень плохими.

Он может потерять фигуры и проигрывать партии.

Но если система получает информацию о результате игры и анализирует свои действия, она может постепенно улучшать стратегию.

Если определённое решение часто приводит к победе, его значение увеличивается.

Если действие обычно приводит к проигрышу, система старается использовать его реже.

Современные системы могут учиться гораздо сложнее, чем этот простой пример, но основная идея остаётся похожей.

Данные являются основой

Нельзя говорить о машинном обучении, не говоря о данных.

Данные являются материалом, из которого система получает знания.

Если данные плохие, модель может стать плохой.

Это правило кажется очевидным, но на практике его часто недооценивают.

Представим, что мы хотим создать систему для распознавания автомобилей.

Если почти все фотографии в обучающем наборе сделаны летом, модель может хуже работать зимой.

Если фотографии сделаны только днём, система может испытывать проблемы ночью.

Если в данных представлены только определённые модели автомобилей, система может плохо распознавать другие.

Поэтому хорошие данные должны быть не только многочисленными, но и разнообразными.

Качество данных

Количество данных не решает всё.

Представим две базы.

В первой десять миллионов записей, но много ошибок.

Во второй миллион записей, зато они тщательно проверены.

В зависимости от задачи вторая база может оказаться намного полезнее.

Данные могут содержать пропуски.

Некоторые записи могут повторяться.

Информация может быть устаревшей.

Метки могут быть неправильными.

Всё это влияет на результат.

Поэтому специалисты по данным тратят много времени на подготовку информации.

Иногда эта работа занимает больше времени, чем само обучение модели.

Что такое признаки

В машинном обучении часто используется понятие «признак».

Признак, это характеристика объекта, которую можно использовать для анализа.

Допустим, мы хотим предсказать цену квартиры.

Признаками могут быть площадь, количество комнат, этаж, район, возраст здания и другие характеристики.

Модель анализирует связь между этими признаками и ценой.

В более сложных системах признаки могут быть не такими очевидными.

При анализе изображения признаками могут быть различные элементы изображения.

В обработке текста признаки могут быть связаны со словами и их контекстом.

Современные нейронные сети способны самостоятельно формировать сложные представления признаков, что является одной из причин их высокой эффективности.

Обучение модели

После подготовки данных начинается обучение.

Модель получает пример.

Она делает прогноз.

Прогноз сравнивается с правильным ответом.

Вычисляется ошибка.

Затем параметры модели немного изменяются.

После этого процесс повторяется.

И снова.

И снова.

И снова.

Если обучение проводится на большом количестве примеров, количество вычислений может быть огромным.

Современные модели могут обучаться на мощных графических процессорах и специализированном оборудовании.

Почему нужны мощные компьютеры

Машинное обучение связано с большим количеством математических операций.

Особенно это касается глубоких нейронных сетей.

Одна модель может иметь огромное количество параметров. Во время обучения необходимо многократно выполнять вычисления над большими объёмами данных.

Поэтому современные центры обработки данных используют мощные процессоры и графические ускорители.

Это одна из причин, почему развитие ИИ связано не только с программным обеспечением.

Нужны также вычислительные мощности, память, системы хранения данных и большое количество электроэнергии.

Переобучение

Одна из распространённых проблем машинного обучения, переобучение.

Представим ученика, который выучил ответы на конкретный тест наизусть.

Если ему дать точно тот же тест, он получит отличный результат.

Но если вопросы немного изменить, он может не знать, что делать.

С моделью может произойти похожая вещь.

Она слишком хорошо запоминает обучающие примеры, но плохо работает с новыми данными.

Поэтому модель нужно проверять на информации, которую она раньше не видела.

Недообучение

Есть и противоположная проблема, недообучение.

В этом случае модель слишком простая и не может уловить важные закономерности.

Она плохо работает даже на обучающих данных.

Это может произойти, если модель недостаточно сложная, обучение слишком короткое или признаки выбраны неправильно.

Хорошая модель должна находить баланс.

Она должна достаточно хорошо изучить закономерности, но не просто запомнить примеры.

Проверка модели

После обучения необходимо проверить, насколько хорошо система работает.

Для этого используются тестовые данные.

Например, если модель обучалась на фотографиях животных, ей показывают новые фотографии.

Если она правильно определяет большинство изображений, это хороший знак.

Но одной общей цифры недостаточно.

Допустим, точность системы составляет 95 процентов.

На первый взгляд это прекрасно.

Но если остальные пять процентов ошибок приходятся на очень важную категорию, ситуация может быть серьёзной.

Поэтому специалисты используют разные показатели качества и анализируют конкретные типы ошибок.

Ошибки особенно важны

Ошибки модели дают разработчикам полезную информацию.

Если система неправильно распознаёт изображения ночью, нужно разобраться почему.

Если она хуже работает с определённой группой данных, нужно выяснить причину.

Если прогнозы становятся неточными после изменения рынка, возможно, модель необходимо переобучить.

Создание хорошей системы машинного обучения редко происходит с первой попытки.

Обычно это процесс постоянного улучшения.

Создали модель.

Проверили.

Нашли ошибки.

Исправили данные.

Изменили параметры.

Обучили снова.

Проверили ещё раз.

Такой цикл может повторяться много раз.

Машинное обучение в медицине

Медицина является одной из сфер, где машинное обучение может быть особенно полезным.

Медицинские специалисты работают с огромным количеством информации.

Это изображения, анализы, истории болезни и другие данные.

Алгоритм может помочь найти закономерности, которые трудно заметить вручную.

Например, система может анализировать медицинские изображения и обращать внимание врача на подозрительные области.

Но важно помнить, что медицинские решения требуют особой осторожности.

ИИ может быть помощником, но ошибка системы не должна автоматически становиться диагнозом.

Человек должен учитывать контекст, историю пациента и другие обстоятельства.

Машинное обучение в финансовой сфере

Финансовые организации также активно используют машинное обучение.

Системы могут обнаруживать подозрительные транзакции.

Они могут анализировать поведение клиентов.

Они могут помогать прогнозировать спрос и оценивать риски.

Например, если обычное поведение клиента резко меняется, система может отправить предупреждение.

Это помогает специалистам быстрее реагировать.

Но здесь тоже существует риск ошибок.

Неправильная модель может несправедливо классифицировать нормальную операцию как подозрительную.

Поэтому финансовые системы требуют тщательного тестирования и контроля.

Машинное обучение и кибербезопасность

Количество кибератак растёт, а методы злоумышленников постоянно меняются.

Машинное обучение может помочь специалистам анализировать сетевой трафик, журналы событий и поведение пользователей.

Система может искать необычные закономерности.

Например, внезапное увеличение количества запросов с одного устройства может быть сигналом атаки.

ИИ может работать постоянно и анализировать события быстрее человека.

Но кибербезопасность остаётся соревнованием.

Злоумышленники тоже используют автоматизацию и ИИ.

Поэтому защитные системы должны постоянно совершенствоваться.

Машинное обучение и рекомендации

Почему интернет-магазин знает, что вам может понравиться определённый товар?

Почему музыкальное приложение предлагает именно эту песню?

Почему видеосервис показывает определённый фильм?

Во многих случаях ответ связан с рекомендательными системами.

Они анализируют поведение пользователей.

Какие товары покупались?

Какие фильмы смотрелись?

Какие песни были пропущены?

Какие материалы получили положительную реакцию?

Затем система ищет похожие модели поведения и делает рекомендации.

Это может быть удобно, но здесь появляется вопрос конфиденциальности.

Чтобы сделать хорошую рекомендацию, системе часто нужно знать много о поведении пользователя.

Поэтому важно понимать, какие данные собираются и как они используются.

Машинное обучение и человеческий контроль

Чем больше решений передаётся алгоритмам, тем важнее человеческий контроль.

Представим систему, которая помогает выбирать кандидатов на работу.

Если модель обучалась на исторических данных, в которых существовала определённая предвзятость, она может случайно воспроизвести эту проблему.

Получается, что алгоритм может выглядеть нейтральным, но результат окажется несправедливым.

Поэтому машинное обучение нельзя считать полностью объективным.

Модель отражает данные и решения, которые были использованы при её создании.

Может ли модель действительно понимать?

Это философский и технический вопрос.

Когда языковая модель создаёт текст, кажется, что она понимает содержание.

Когда система распознаёт фотографию, кажется, что она видит.

Но внутренний механизм работы отличается от человеческого восприятия.

Машина анализирует математические представления и закономерности.

Она может делать удивительно точные прогнозы, но это не означает, что у неё есть человеческое сознание.

Разница между обработкой информации и человеческим пониманием остаётся важной темой для исследований.

Машинное обучение меняет работу

Машинное обучение уже изменяет множество профессий.

Некоторые задачи автоматизируются.

Сотрудники получают инструменты для анализа данных.

Программисты используют интеллектуальные системы.

Врачи получают дополнительные средства диагностики.

Специалисты по безопасности используют алгоритмы для поиска угроз.

Это не обязательно означает, что профессии исчезнут.

Чаще меняется содержание работы.

Человек может меньше времени тратить на рутинные операции и больше заниматься задачами, где нужны опыт, ответственность и человеческое решение.

Что нужно изучать человеку

По мере развития машинного обучения людям становятся полезны новые навыки.

Не каждый должен становиться специалистом по нейронным сетям.

Но полезно понимать основы работы данных и алгоритмов.

Нужно уметь задавать правильные вопросы.

Нужно проверять результаты.

Нужно понимать ограничения модели.

Нужно знать, когда нельзя полностью доверять автоматическому решению.

И особенно важно сохранять критическое мышление.

Будущее машинного обучения

Машинное обучение продолжит развиваться.

Модели станут быстрее.

Они будут работать с большим количеством типов данных.

Они будут лучше понимать контекст.

Они будут использоваться в новых сферах.

Но вместе с этим будут расти требования к безопасности, справедливости и прозрачности.

Само по себе машинное обучение не является ни хорошим, ни плохим.

Это инструмент.

Как любой инструмент, он зависит от того, кто его использует и с какой целью.

Мы можем применять его для обнаружения заболеваний, защиты компьютерных систем, улучшения транспорта и научных исследований.

Но можем использовать его и для манипуляции, массового наблюдения или создания убедительной дезинформации.

Поэтому будущее машинного обучения зависит не только от инженеров.

Оно зависит от общества.

Машина учится, человек отвечает

Машинное обучение показывает нам интересную вещь.

Компьютер может находить закономерности, которые человеку трудно увидеть.

Он может анализировать огромные объёмы информации и выполнять определённые задачи с невероятной скоростью.

Но человек всё ещё задаёт цель.

Человек выбирает данные.

Человек оценивает результат.

Человек принимает решение о том, можно ли доверять модели.

Именно поэтому машинное обучение не стоит воспринимать как замену человеческому мышлению.

Гораздо полезнее видеть в нём инструмент, который расширяет наши возможности.

Машина может обработать миллионы примеров.

Человек может задать вопрос, который действительно имеет значение.

Машина может найти закономерность.

Человек может понять её последствия.

Машина может предложить прогноз.

Человек может решить, что делать дальше.

В этом сотрудничестве и заключается настоящая сила машинного обучения.

Глава 4. Глубокое обучение и нейронные сети

Если машинное обучение является одним из главных двигателей современного искусственного интеллекта, то глубокое обучение можно назвать его особенно мощным направлением.

Именно глубокое обучение помогло компьютерам добиться больших успехов в распознавании изображений, речи, текста и других сложных данных.

Сегодня нейронные сети используются во многих знакомых нам технологиях. Они помогают телефонам распознавать лица, приложениям понимать речь, системам анализировать медицинские изображения, автомобилям замечать объекты на дороге, а языковым моделям работать с текстом.

Но за всем этим стоит довольно простая идея.

Компьютер получает информацию, обрабатывает её через множество взаимосвязанных вычислительных элементов и постепенно учится давать более точный результат.

Что такое нейронная сеть

Название «нейронная сеть» связано с человеческим мозгом.

Наш мозг состоит из огромного количества нервных клеток, которые называют нейронами. Они получают сигналы, обрабатывают их и передают информацию другим клеткам.

Искусственная нейронная сеть была частично вдохновлена этой идеей.

Конечно, компьютерная нейронная сеть совсем не похожа на настоящий человеческий мозг по сложности. Это математическая модель, созданная для обработки информации.

Внутри неё находятся искусственные нейроны, соединённые между собой.

Каждое соединение имеет определённый вес. Во время обучения эти веса изменяются.

Можно представить нейронную сеть как большую систему переключателей. Каждый переключатель влияет на результат, а обучение постепенно помогает системе подобрать подходящие настройки.

Слои нейронной сети

Нейронная сеть обычно состоит из нескольких типов слоёв.

Есть входной слой.

Есть один или несколько скрытых слоёв.

Есть выходной слой.

Входной слой получает информацию.

Скрытые слои обрабатывают её.

Выходной слой выдаёт результат.

Например, если сеть должна распознать фотографию, изображение поступает на вход.

Дальше сеть начинает обрабатывать информацию.

На первых уровнях она может находить простые особенности изображения.

Затем эти особенности объединяются в более сложные структуры.

В конце сеть делает вывод.

Например, она может определить, что на фотографии находится автомобиль.

Чем больше таких уровней обработки используется, тем глубже может быть сеть.

Отсюда и происходит название «глубокое обучение».

Почему глубокое обучение стало таким важным

Искусственные нейронные сети существуют уже много десятилетий.

Но долгое время их возможности были ограничены.

Не хватало вычислительной мощности.

Не было достаточно больших наборов данных.

Не существовало такого количества цифровой информации, которое доступно сегодня.

С развитием интернета, облачных вычислений, графических процессоров и больших наборов данных ситуация изменилась.

Компьютеры стали намного мощнее.

Люди начали создавать огромные коллекции изображений, текстов, видео и других данных.

Это создало условия для обучения гораздо более крупных нейронных сетей.

В результате глубокое обучение стало одним из центральных направлений развития ИИ.

Как сеть учится

Представим нейронную сеть, которая должна определить, есть ли на фотографии автомобиль.

Мы показываем ей изображение.

Сеть делает прогноз.

Допустим, правильный ответ, автомобиль.

Но сеть говорит, что это автобус.

Значит, есть ошибка.

Во время обучения алгоритм вычисляет, насколько неправильным оказался результат.

Затем параметры сети немного изменяются.

После этого показывается следующий пример.

Процесс повторяется снова и снова.

Со временем сеть начинает делать меньше ошибок.

Это может происходить миллионы раз.

Каждый отдельный шаг кажется небольшим, но вместе они позволяют модели значительно улучшить свои результаты.

Что такое веса

Чтобы понять нейронную сеть чуть лучше, нужно разобраться с весами.

Вес показывает, насколько сильно один элемент влияет на другой.

Представим, что система анализирует изображение.

Некоторые особенности могут быть важными.

Другие могут иметь небольшое значение.

Во время обучения модель постепенно регулирует веса.

Если определённая связь помогает получать правильный ответ, её влияние может увеличиваться.

Если она приводит к ошибкам, влияние может уменьшаться.

Таким образом, обучение можно представить как настройку огромного количества математических параметров.

В современной нейронной сети таких параметров может быть очень много.

Пример с распознаванием лица

Распознавание лиц является хорошим примером компьютерного зрения.

Человек смотрит на лицо и сразу замечает глаза, нос, рот, форму лица и другие особенности.

Нейронная сеть анализирует изображение совсем иначе.

Она работает с числовым представлением фотографии.

На ранних уровнях могут обнаруживаться простые элементы, например линии и границы.

На следующих уровнях система может объединять их в формы.

Дальше она может формировать более сложные представления.

В конце получается оценка того, насколько изображение соответствует определённому лицу.

Именно благодаря многоуровневой обработке нейронные сети стали такими эффективными в задачах компьютерного зрения.

Распознавание объектов

Нейронная сеть может быть обучена не только распознавать лица.

Она может находить автомобили, людей, животных, дорожные знаки, здания и другие объекты.

Это используется в системах безопасности, промышленности, медицине и транспорте.

Представим камеру на дороге.

Она постоянно получает изображения.

Система анализирует каждый кадр.

Она может обнаружить автомобиль впереди.

Может заметить пешехода.

Может определить дорожный знак.

Может оценить расстояние до объекта.

Для автономного транспорта такая информация имеет огромное значение.

Глубокое обучение и речь

Нейронные сети также изменили технологии распознавания речи.

Когда человек говорит, звук превращается в цифровой сигнал.

Система анализирует этот сигнал и пытается определить слова.

Раньше такие системы сильно зависели от заранее созданных правил.

Современные модели могут обучаться на огромном количестве записей речи.

Они учатся учитывать произношение, темп речи, особенности голоса и контекст.

Это помогает голосовым помощникам и другим системам работать естественнее.

Но даже современные системы иногда ошибаются.

Сильный шум, необычный акцент или плохое качество записи могут усложнить распознавание.

Глубокое обучение и язык

Одним из самых заметных достижений глубокого обучения стало развитие языковых моделей.

Современные модели могут работать с огромным количеством текста.

Они анализируют последовательности слов и учатся находить сложные закономерности языка.

В результате система может создавать текст, отвечать на вопросы, переводить предложения, объяснять темы и помогать с программированием.

Но здесь важно не забывать об ограничениях.

Языковая модель может создавать текст, который звучит очень убедительно, но содержит ошибку.

Поэтому способность красиво формулировать ответ не является гарантией его истинности.

Почему контекст важен

Одно слово может иметь разные значения.

Например, слово «ключ» может обозначать предмет для замка, источник воды или способ решения проблемы.

Человек понимает значение по контексту.

Для компьютера это сложная задача.

Современные нейронные сети научились гораздо лучше учитывать контекст.

Они анализируют не только отдельное слово, но и слова вокруг него.

Это позволяет моделям лучше работать с естественным языком.

Именно способность учитывать контекст стала одной из важных причин развития современных языковых систем.

Большие модели

Современные системы глубокого обучения могут быть очень большими.

Они могут содержать огромное количество параметров и обучаться на колоссальных объёмах данных.

Большая модель способна обнаруживать сложные закономерности, которые маленькой модели могут быть недоступны.

Но увеличение размера не решает все проблемы.

Большой модели нужны большие вычислительные ресурсы.

Обучение может быть дорогим.

Необходимо хранить огромное количество данных.

Кроме того, большая модель всё равно может ошибаться.

Поэтому вопрос заключается не только в размере модели.

Важно также, насколько качественно она обучена и насколько хорошо подходит для конкретной задачи.

Почему нужны графические процессоры

Глубокое обучение требует огромного количества математических операций.

Графические процессоры, или GPU, хорошо подходят для выполнения многих таких вычислений параллельно.

Именно поэтому они стали важнейшей частью современной инфраструктуры ИИ.

Когда модель обучается, тысячи или миллионы математических операций могут выполняться одновременно.

Это значительно ускоряет процесс.

Без мощного оборудования обучение крупных моделей было бы намного сложнее.

Цена глубокого обучения

У глубокого обучения есть и обратная сторона.

Мощные компьютеры стоят дорого.

Обучение больших моделей требует электроэнергии.

Необходимо хранить большие объёмы данных.

Нужны специалисты, которые умеют создавать и проверять такие системы.

Поэтому перед организациями стоит вопрос эффективности.

Нужно ли создавать огромную модель для каждой задачи?

Не всегда.

Иногда небольшая специализированная система может работать лучше и дешевле.

Переобучение нейронной сети

Как и другие модели машинного обучения, нейронные сети могут переобучаться.

Это происходит, когда сеть слишком хорошо запоминает обучающие примеры.

Она может показывать отличные результаты на знакомых данных, но плохо работать с новыми.

Представим студента, который запомнил ответы на сто конкретных вопросов.

Если на экзамене попадутся те же вопросы, он может получить высокий балл.

Но если вопросы будут немного изменены, его знания могут оказаться недостаточными.

Нейронной сети нужно не просто запомнить примеры.

Она должна научиться обнаруживать общие закономерности.

Как избежать переобучения

Разработчики используют разные методы.

Один из них, разделение данных на обучающие и тестовые.

Другие методы помогают ограничивать слишком сильную адаптацию модели к конкретным примерам.

Также важно иметь разнообразные данные.

Если модель видит только один тип ситуации, она может плохо работать в реальном мире.

Поэтому тестирование должно быть максимально близким к реальным условиям использования.

Нейронные сети и медицина

Глубокое обучение может быть очень полезным в медицине.

Например, нейронная сеть может анализировать рентгеновские снимки или другие медицинские изображения.

Она может искать подозрительные области и помогать врачу обратить на них внимание.

Это не означает, что машина обязательно заменяет специалиста.

Наоборот, наиболее полезным подходом часто является сотрудничество.

Система быстро анализирует изображение.

Врач учитывает результаты анализов, симптомы, историю пациента и другие обстоятельства.

Вместе они могут дать более качественный результат, чем один инструмент.

Нейронные сети в промышленности

На производстве камеры могут постоянно проверять продукцию.

Если появляется дефект, система может его обнаружить.

Это может быть трещина, неправильная форма, царапина или другая проблема.

Человек тоже способен выполнять такую работу, но постоянный визуальный контроль может быть утомительным.

Компьютерная система может анализировать изображения без перерыва.

Однако систему необходимо правильно настроить и регулярно проверять.

Если условия производства меняются, модель может потребовать дополнительного обучения.

Нейронные сети и кибербезопасность

Кибербезопасность также использует глубокое обучение.

Системы могут анализировать сетевой трафик, поведение пользователей и другие события.

Если поведение отличается от обычного, алгоритм может обратить на него внимание.

Например, учётная запись, которая обычно используется днём из одного региона, внезапно начинает совершать большое количество действий ночью из другой страны.

Это не обязательно атака.

Но такая активность может заслуживать проверки.

Глубокое обучение позволяет анализировать сложные закономерности, которые трудно описать обычными правилами.

Нейронные сети и автономные автомобили

Автономный автомобиль должен понимать окружающую среду.

Камеры получают изображения.

Другие датчики предоставляют дополнительную информацию.

Нейронные сети помогают интерпретировать данные.

Система может определить дорогу, другие автомобили, пешеходов и дорожные знаки.

Затем другие алгоритмы используют эту информацию для принятия решений.

Здесь особенно важна надёжность.

Ошибка в социальной сети может быть неприятной.

Ошибка в автомобиле может быть опасной.

Поэтому автономные системы требуют гораздо более строгого тестирования.

Проблема объяснимости

Есть интересный вопрос.

Если нейронная сеть приняла решение, можем ли мы объяснить почему?

Иногда это сложно.

Модель может содержать огромное количество параметров и сложные связи между ними.

Если система говорит, что изображение содержит определённый объект, человеку может быть трудно точно определить, какие внутренние вычисления привели к этому выводу.

Это называется проблемой объяснимости.

В некоторых областях она не является критичной.

Если система рекомендует музыку, небольшая ошибка обычно не представляет большой опасности.

Но если ИИ участвует в медицинском или финансовом решении, объяснимость становится намного важнее.

Нейронные сети не являются мозгом

Из-за названия иногда возникает неправильное представление.

Искусственная нейронная сеть не является искусственным человеческим мозгом.

Она не обладает человеческим опытом.

Она не имеет настоящих эмоций.

Она не воспринимает окружающий мир так, как человек.

Её «нейроны» являются математическими элементами.

Сходство с биологическим мозгом заключается главным образом в общей идее взаимосвязанных элементов, которые обрабатывают информацию.

Поэтому не стоит представлять нейронную сеть как маленький мозг внутри компьютера.

Это совсем другая система.

Сильные стороны глубокого обучения

Глубокое обучение особенно хорошо работает с большими объёмами сложных данных.

Оно может анализировать изображения.

Оно может обрабатывать речь.

Оно может работать с текстом.

Оно может находить сложные закономерности.

Оно может выполнять задачи, для которых трудно написать набор обычных правил.

Именно поэтому глубокое обучение стало основой многих современных ИИ-систем.

Слабые стороны глубокого обучения

Но есть и недостатки.

Модели могут требовать много данных.

Обучение может быть дорогим.

Системы могут быть сложными для объяснения.

Модели могут ошибаться.

Они могут воспроизводить предвзятость, содержащуюся в данных.

Они могут плохо работать в ситуациях, которые сильно отличаются от обучающих примеров.

Поэтому глубокое обучение не является универсальным решением всех проблем.

Человек всё ещё необходим

Даже самая сложная нейронная сеть не появляется самостоятельно.

Люди выбирают задачу.

Люди собирают данные.

Люди создают инфраструктуру.

Люди оценивают результаты.

Люди решают, можно ли применять систему в реальной жизни.

Именно поэтому качество ИИ зависит не только от математической модели.

Оно зависит от всего процесса разработки.

Что ждёт нас дальше

Глубокое обучение продолжит развиваться.

Модели будут становиться более эффективными.

Они будут работать с текстом, изображениями, аудио и видео одновременно.

Системы смогут лучше понимать контекст.

Они будут использоваться на устройствах, в автомобилях, больницах, школах, компаниях и научных лабораториях.

Но развитие технологии должно сопровождаться ответственностью.

Чем больше возможностей получает система, тем важнее понимать её ограничения.

Нам не нужно считать каждую нейронную сеть чудом.

Не нужно также считать её угрозой только потому, что она сложная.

Лучше понимать, как она работает и где её применение действительно имеет смысл.

Человек, который учит машину

В конце концов, глубокое обучение возвращает нас к простой мысли.

Машина не появляется умной сама по себе.

Её обучают.

Ей дают данные.

Ей задают цель.

Её проверяют.

Её исправляют.

И только после этого она становится полезным инструментом.

Нейронная сеть может обработать огромное количество информации и найти закономерности, которые человек не заметит.

Но человеку всё равно нужно задавать правильные вопросы.

Нужно понимать, что система умеет.

Нужно знать, где она может ошибиться.