«Лучшая модель — та, которая решает проблему, а не удивляет метриками»
До недавнего времени искусственный интеллект считался абстракцией, далекой от повседневных потребительских кейсов, лицом к лицу с ИИ мы по сути не сталкивались – пока не случилась «революция чат-ботов». Тем более интересен взгляд на феномен отражения ИИ в массовом сознании с токи зрения профессионала.
В интервью «IT-News+» – Катерина ЯНЧЕНКО, ведущий специалист по искусственному интеллекту и корпоративным решениям. Эксперт обладает уникальным опытом разработки масштабных систем в Amazon и создания ряда AI-решений для крупного бизнеса, специализируется на внедрении технологий ИИ в корпоративные процессы с учетом высоких требований к безопасности и надежности.
IT: У большинства, далекого от темы ИИ, сегодня укрепляется мнение, что искусственный интеллект – это картинки от SD и Midjourney и «прикольные диалоги» с чат-ботами. Насколько это мнение соответствует реальности? Что остается вне фокуса внимания, когда обсуждают ИИ?
— Разумеется, искусственный интеллект — не только генерация картинок или диалоги. Это высоконагруженные системы, которые, например, управляют всей логистикой Amazon, предсказывают компаниям спрос, оптимизируют энергопотребление data-центров. Вне фокуса массового восприятия ИИ остаются различные промышленные кейсы: в частности, сложные системы прогнозирования сбоев в реальном времени или алгоритмы динамического ценообразования... ИИ сегодня — это мощная инфраструктура, которую не видит конечный пользователь, но которая в огромной степени определяет эффективность бизнеса.
IT: Только что вышла LLM ChatGPT. Аналитики оценивают ее перспективы высоко, а госструктуры не скрывают своего недоверия к ней. Чего опасаются, замораживая доступ к LLM (как происходит в школах США, к примеру)?
— Новое, что способно повлиять на привычные алгоритмы жизни, всегда вызывает в обществе защитную реакцию. И это естественно. ChatGPT и аналогичные модели вполне могут генерировать убедительную дезинформацию, усиливать предвзятость данных или нарушать академическую честность. Школы блокируют доступ по нескольким причинам, например, чтобы предотвратить генерацию плагиата и сохранить у учащихся критическое мышление. Однако проблема восприятия ИИ общественными институтами значительно глубже. Большие языковые модели, обученные на общедоступных данных, часто воспроизводят социальные стереотипы, причем в «сконцентрированном» виде, что требует строгой модерации и прозрачности в обучении моделей.
IT: Как удается решать проблему ошибок в датасетах? Какие метрики используются для повышения точности нейросетей?
— Используем комплекс методов, помогающих избежать флуктуаций и потери точности вычислений. Среди методов – аугментация данных, активное обучение (уточнение разметки «на лету»), синтетические данные для заполнения пробелов. Если говорить о метриках, то помимо accuracy, используем F1-score для дисбалансированных классов, AUC-ROC для оценки качества ранжирования, BLEU или ROUGE в NLP.
В Amazon, например, мы внедряем автоматические пайплайны валидации данных, чтобы отсеивать шум и аномалии до обучения моделей.
IT: Способен ли ИИ вести самомодерацию, направленную на поиск ошибок в собственных рассуждениях?
— Современные нейросети могут использовать техники вроде chain-of-thought (пошаговое объяснение решений) или RLHF (обучение с подкреплением на основе человеческой обратной связи) для самопроверки. Однако полная автономия ИИ иллюзорна: без человеческого контроля модель легко может «зациклиться» на собственных ошибках. Например, в AWS мы комбинируем несколько моделей для кросс-валидации выводов, но финальное решение все равно остается за экспертом.
IT: В недавней истории есть пример катастрофы, которую вызвала уверенность, что концепции из математики могут применяться для создания финансовых моделей рынков: в итоге бесконтрольное субстандартное кредитование обрушило ипотечный рынок США и спровоцировало мировой кризис 2007-2009 гг. Какова гарантия, что в дальнейшем «экспертные» оценки от ИИ не нанесут компаниям урон, предлагая им ложные стратегии?
– Действительно, глобальное фиаско 2008 года показало: слепая вера в матмодели без понимания границ их действия опасна. Чтобы избежать повторения, в машинном обучении сейчас используется комплекс инструментов ИИ:
– Интерпретируемость моделей: SHAP, LIME для анализа решений.
– Строгий A/B тестинг: пилотные запуски стратегий – всегда на ограниченной аудитории.
– Этические комитеты: оценка рисков до внедрения.
И хотя 100% гарантий нет, тем не менее, многоуровневый контроль снижает риски до приемлемых величин.
IT: Философский вопрос:) Когда, через сколько лет, наступит момент понимания – нейросети стали совершеннее нас – во всех видах мыслительной деятельности?
– Мы видим, что в узких задачах (перевод, анализ данных) ИИ уже сильнее человеческого мышления. Но общий интеллект (творчество, абстрактное мышление) потребует прорывов в архитектуре нейросетей. Мой оптимистичный прогноз — 20-30 лет, но это будет последовательная эволюция, а не внезапный «скачок». Главным барьером остается неспособность ИИ осознавать контекст за пределами тренировочных данных.
IT: Что можете посоветовать ученикам школ, планирующих связать жизнь с IT-индустрией: на каких направлениях ИИ сегодня логичнее сосредоточить внимание?
— Для успешного старта в IT, независимо от специализации, необходима базовая подготовка, где фундаментом выступает математика (статистика, линейная алгебра), алгоритмы.
Если говорить об ИИ, то перспективны следующие направления:
– ML Engineering: проектирование масштабируемых пайплайнов (например, с помощью AWS CDK). AI Ethics: аудит моделей на справедливость и прозрачность. Data-Centric AI: фокус на качестве данных, а не только на архитектуре моделей.
И крайне желательна практика: будьте активны – участвуйте в Kaggle, изучайте opensource (например, библиотеки PyTorch или TensorFlow), пишите чистый код на Python.
P.S. В Amazon мы говорим: «Лучшая модель — та, которая решает проблему, а не удивляет метриками». Давайте не забывать, что ИИ — инструмент, и его ценность определяется тем, насколько он делает жизнь людей проще, а системы — надежнее.
IT: Спасибо за интересную беседу!
Беседовал Евгений АФАНАСЬЕВ
Written by IT-News+
20.10.2022

