— Развитие ИИ происходит неравномерно — некоторые нейросети деградируют, пока другие вырываются вперёд. Получается, что работоспособность ИИ необходимо постоянно поддерживать? Насколько это сложно?
— Это очень серьёзная, тяжёлая работа и дорогостоящее удовольствие. На рынке жёсткая конкуренция. Все компании — Open AI, Antropic, Google, Alibaba — прикладывают массу усилий для того, чтобы удержаться в топе. Они предлагают примерно один и тот же сервис, и у них нет постоянной аудитории: пользователи перемещаются между продуктами.
— Можно ли считать, что конкуренция стимулирует развитие всей отрасли?
— Безусловно: она значительно ускорила прогресс. К тому же такая динамичная среда ещё и привлекает внимание, что тоже идёт на пользу. Всё больше людей узнают о возможностях нейросетей.
— Верно ли, что сегодня разработчики уже не могут обучать ИИ на данных из интернета, потому что он заполнился сгенерированным контентом?
— Примерно два года назад появился термин «стена данных»: основные игроки поняли, что данные в интернете закончились и обучать ИИ уже не на чем.
К этому моменту, обучаясь на текстах и на других данных, сделанных человеком, ИИ достиг определённого качества. Дальше в интернете стало появляться всё больше нейрослопа, или ИИ-слопа, — некачественного сгенерированного контента. ИИ продолжает учиться на нём, и это приводит к деградации моделей.
ИИ опирается на статистику. Он стремится свести данные к нормальному распределению. Больше всего данных в центре, по краям — мало. Эти крайние области отвечают за творческое разнообразие. Усредняя данные, мы снижаем его. Когда модель обучается на нейрослопе, разнообразие ответов падает. Особенно это заметно на узкоспециальных областях, где в принципе сравнительно немного данных.
— В каких областях применения ИИ быстрее всего деградирует?
— Ситуация постоянно меняется. Сейчас сильнее всего страдают две отрасли. Первая — медицина, особенно диагностика редких заболеваний, поскольку здесь и так мало данных. Нейросеть выбирает из них самые частотные и начинает галлюцинировать. Она всегда найдёт или достроит взаимосвязи с помощью математических методов, при этом не сможет понять, что они не работают в реальном мире.
Вторая область — маркетинг. С одной стороны, ИИ становится всё лучше и даже оставил многих копирайтеров без работы. С другой — исчезает языковое разнообразие, язык становится беднее, метафоры — плоскими. Модели по кругу цитируют галлюцинации. Также стираются различия культурных кодов, которые мы прекрасно знаем, но не можем выразить формально.
Есть, наоборот, динамичные области: например, антифрод-системы против мошенников. Тут модель не может деградировать, потому что постоянно появляется что-то новое и её надо дообучать с учётом всего разнообразия подходов.
Программирование пока тоже не страдает. В открытых репозиториях количество сгенерированных кодов пока невелико. Повторно к ИИ для дообучения попадают только качественные. Порога насыщения ещё не достигли.
Здесь есть другая проблема: нейросетям сложно воспринимать бизнес-постановку задачи, переводить её на язык архитектуры, а затем — в код.
— Можно ли обучать модели, исключая нейрослоп? И как дальше будет происходить обучение нейросетей, на каких материалах?
— Gemini, ChatGPT и другие модели в своей базовой настройке умеют искать в интернете, если они чего-то не знают, поэтому они так или иначе выходят на нейрослоп.
Самый актуальный вопрос — это не как бы скачать весь интернет, а как отфильтровать информацию, оставить качественную и уменьшить галлюцинации. Это попытка наделить искусственный интеллект критическим анализом с помощью математических средств.
Большие языковые модели оттого так и называются, что они действительно большие и «тяжёлые». Для качественных ответов на запросы пользователя такая ёмкость не нужна. Но мы ещё не научились правильно представлять знания внутри нейросети.
— Не обсуждается ли возможность ограничить использование ИИ или маркировать сгенерированный контент, чтобы нейросети продолжали работать, не деградируя?
— Маркировка ИИ-контента — самая полезная практика. В Европе, США и Китае на законодательном уровне уже приняты такие нормативные акты. В нашей стране обсуждается проект федерального закона.
Ограничивать ИИ бесполезно и даже вредно. Распространение нейрослопа ведёт к тому, что ручной качественный труд станет цениться гораздо больше — по аналогии с конвейерным производством и ручной сборкой.
— Сохраняется ли проблема искажений ответов из-за «эмпатичности» ИИ, когда нейросети сглаживают углы, берегут самооценку пользователей?
— Да, это масштабное явление. Оно берёт начало в западном культурном коде. Играет роль и конкуренция: если модель назовёт дураком среднестатистического пользователя, он обидится и уйдёт к конкурентам.
Есть этические и культурные ограничения. Они влияют на достоверность ответов. Поддакиваний стало меньше, но нейросети всё ещё пропускают даже тяжёлые случаи.
Я регулярно общаюсь с несколькими моделями на темы из области математики, провоцирую их, предлагая бредовые гипотезы, и они далеко не всегда говорят, что это не работает.
— А есть ли пути решения этой проблемы?
— Не в моделях для широкого пользователя. Но если говорить о специализированных моделях, которые работают в закрытом контуре компании, института или госучреждения, то это делается с помощью контекстной инженерии, более тонкого составления промптов, применения специализированных архитектурных подходов к проектированию таких систем. Здесь достоверность гораздо важнее, чем комплиментарность.
Я, например, не стану просить нейросеть оценить преступление на предмет этичности. Боюсь, что ИИ может решить, что я жду позитивной оценки, и не понять, что это эксперимент.
— У большинства ИИ-моделей есть тематические «заглушки», которые блокируют поиск нежелательной информации. Как это влияет на общую эффективность моделей?
— Нейросети становятся «глупее», когда их искусственно ограничивают по этическим или религиозным соображениям. Это ещё сильнее снижает разнообразие их ответов. Мы же не ограничиваем, например, использование реакции ядерного синтеза. Результаты — на совести человека.
Представим ситуацию: писатель работает над историческим детективом и хочет достоверно описать злодеяния преступников. Он может ходить в библиотеки и поднимать литературу той эпохи, от биохимической до криминалистической, или же спросить модель, которая быстро даст историческую справку. С этическими ограничениями модель в такой ситуации откажется отвечать на вопросы про рецепт изготовления яда, которым преступник отравит старого графа.
Модель не учитывает контекст. Классическую живопись с обнажённой натурой ИИ может воспринимать как запрещённый контент, хотя это другое культурное явление.
Это касается и мифологических, и религиозных текстов. ИИ либо категорически отказывается рассуждать на неоднозначные темы, либо пытается вести разговор совсем в примитивную сторону, на уровне школьного сочинения, без глубокого анализа.
— Есть ли у нейросетей подобие человеческой пассивной и активной памяти, структура хранения данных?
— Механизм очень похожий, но работает иначе. Сегодня большие языковые модели устроены по принципу смеси экспертов. Когда приходит запрос, определяется контекст — и подключается нужный эксперт из когорты.
У ИИ есть постоянная память — то, что было заложено при создании и обучении, — и есть рабочая, кратковременная память — история переписки, или окно контекста.
— Есть ли у ИИ пределы обучаемости, по достижении которых данные путаются или стираются?
— Да, это называется проблемой катастрофического забывания. Она чисто математическая. Учёные ищут, как управлять этим процессом.
Сейчас мы не можем удалить данные из нейросети, а иногда их надо отозвать — например, персональные данные, для которых есть соответствующий закон.
До пользователя модели с проблемой катастрофического забывания не доходят: обычно её обнаруживают и решают на этапе проектирования.
— Как правильно составлять промпты, задания для ИИ, чтобы повысить качество ответов? Есть ли универсальные принципы?
— Безусловно, есть. За это отвечает целая область — промпт-инженерия. Но даже она уже считается не самой передовой.
Самое передовое в массовом применении больших языковых моделей — управление контекстом. Нужно дать нейросети дополнительную информацию в запросе и ограничить область поиска, чтобы она не уходила за пределы предметной сферы.
Принципы составления качественных промптов различаются в зависимости от задач и моделей, даже от конкретных версий. В каждой новой версии старые промпты работают не так эффективно.
Раньше считалось, что модели надо задать роль. Сейчас это уже неэффективно. Остаётся максимально чётко и строго формулировать запрос. Поставить задачу: например, порассуждать или дать максимально точный ответ.
— Какие проблемы деградации ИИ решаемы и лишь требуют вложения ресурсов и усилий, а какие фундаментально неразрешимы?
— ИИ — довольно молодая область, поэтому пока неясно, какие проблемы решаемы, а какие — нет. Непонятно, как будет решаться проблема религиозных, этических и прочих ограничений. Но это в большей степени зависит от общества, чем от программистов.
Кстати, в интернете публикуются и нелегальные модели без цензуры. Теоретически они могут работать иначе в социально-гуманитарной сфере. Но их применение — на совести пользователя, вплоть до уголовной ответственности.
— Что в целом ждёт ИИ в ближайшее время?
— Дальнейшее развитие. Пока неясно, будет оно линейным или экспоненциальным. Основные лидеры уже определились. Часть проектов стала нишевой, как языковая модель Mistral.
Есть другая интересная проблема: люди настолько привыкают к уровню «интеллекта» этих моделей, что, если одна вырывается вперёд, им ошибочно кажется, что остальные деградировали.
Несмотря на то что ИИ вытесняет некоторые профессии и продолжит это делать, я смотрю на его развитие и перспективы с оптимизмом.