«Лучшая модель — та, которая решает проблему, а не удивляет метриками»

User Rating: 5 / 5

Star ActiveStar ActiveStar ActiveStar ActiveStar Active
 

До недавнего времени искусственный интеллект считался абстракцией, далекой от повседневных потребительских кейсов, лицом к лицу с ИИ  мы по сути не сталкивались – пока не случилась «революция чат-ботов». Тем более интересен взгляд на феномен отражения ИИ в массовом сознании с токи зрения профессионала.

В интервью «IT-News+» –  Катерина ЯНЧЕНКО, ведущий специалист по искусственному интеллекту и корпоративным решениям. Эксперт обладает уникальным опытом разработки масштабных систем в Amazon и создания ряда AI-решений для крупного бизнеса, специализируется на внедрении технологий ИИ в корпоративные процессы с учетом высоких требований к безопасности и надежности.

IT: У большинства, далекого от темы ИИ, сегодня укрепляется мнение, что искусственный интеллект – это картинки от SD и Midjourney и «прикольные диалоги» с чат-ботами. Насколько это мнение соответствует реальности? Что остается вне фокуса внимания, когда обсуждают ИИ?

 

 — Разумеется, искусственный интеллект — не только генерация картинок или диалоги. Это высоконагруженные системы, которые, например, управляют всей логистикой Amazon, предсказывают компаниям спрос, оптимизируют энергопотребление data-центров. Вне фокуса массового восприятия ИИ остаются различные промышленные кейсы: в частности, сложные системы прогнозирования сбоев в реальном времени или алгоритмы динамического ценообразования... ИИ сегодня — это мощная инфраструктура, которую не видит конечный пользователь, но которая в огромной степени определяет эффективность бизнеса.

 

IT: Только что вышла LLM ChatGPT. Аналитики оценивают ее перспективы высоко, а госструктуры не скрывают своего недоверия к ней. Чего опасаются, замораживая доступ к LLM (как происходит в школах США, к примеру)?

— Новое, что способно повлиять на привычные алгоритмы жизни, всегда вызывает в обществе защитную реакцию. И это естественно. ChatGPT и аналогичные модели вполне могут генерировать убедительную дезинформацию, усиливать предвзятость данных или нарушать академическую честность. Школы блокируют доступ по нескольким причинам, например, чтобы предотвратить генерацию плагиата и сохранить у учащихся  критическое мышление. Однако проблема восприятия ИИ общественными институтами значительно глубже. Большие языковые модели, обученные на общедоступных данных, часто воспроизводят социальные стереотипы, причем в «сконцентрированном» виде, что требует строгой модерации и прозрачности в обучении моделей.

 

IT: Как удается решать проблему ошибок в датасетах? Какие метрики используются для повышения точности нейросетей?

 — Используем комплекс методов, помогающих избежать флуктуаций  и потери точности вычислений. Среди методов – аугментация данных, активное обучение (уточнение разметки «на лету»), синтетические данные для заполнения пробелов.  Если говорить о метриках, то помимо accuracy, используем F1-score для дисбалансированных классов, AUC-ROC для оценки качества ранжирования, BLEU или ROUGE в NLP. 

В Amazon, например, мы внедряем автоматические пайплайны валидации данных, чтобы отсеивать шум и аномалии до обучения моделей.

 

IT:  Способен ли ИИ вести самомодерацию, направленную на поиск ошибок в собственных рассуждениях?

 — Современные нейросети могут использовать техники вроде chain-of-thought (пошаговое объяснение решений) или RLHF (обучение с подкреплением на основе человеческой обратной связи) для самопроверки. Однако полная автономия ИИ иллюзорна: без человеческого контроля модель легко может «зациклиться» на собственных ошибках. Например, в AWS мы комбинируем несколько моделей для кросс-валидации выводов, но финальное решение все равно остается за экспертом.

 

IT: В недавней истории есть пример катастрофы, которую вызвала уверенность, что концепции из математики могут применяться для создания финансовых моделей рынков: в итоге бесконтрольное субстандартное кредитование обрушило ипотечный рынок США и спровоцировало мировой кризис 2007-2009 гг. Какова гарантия, что в дальнейшем «экспертные» оценки от ИИ не нанесут компаниям урон, предлагая им ложные стратегии?

– Действительно, глобальное фиаско 2008 года показало: слепая вера в матмодели без понимания границ их действия  опасна. Чтобы избежать повторения, в машинном обучении сейчас используется комплекс инструментов ИИ: 

– Интерпретируемость моделей: SHAP, LIME для анализа решений. 

–  Строгий A/B тестинг: пилотные запуски стратегий – всегда на ограниченной аудитории. 

Этические комитеты: оценка рисков до внедрения. 

И хотя 100% гарантий нет, тем не менее, многоуровневый контроль снижает риски до приемлемых величин.

 

IT:  Философский вопрос:) Когда, через сколько лет, наступит момент понимания – нейросети стали совершеннее нас – во всех видах мыслительной деятельности?

– Мы видим, что в узких задачах (перевод, анализ данных) ИИ уже сильнее человеческого мышления. Но общий интеллект (творчество, абстрактное мышление) потребует прорывов в архитектуре нейросетей. Мой оптимистичный прогноз — 20-30 лет, но это будет последовательная эволюция, а не внезапный «скачок». Главным барьером остается неспособность ИИ осознавать контекст за пределами тренировочных данных.

 

IT:  Что можете посоветовать ученикам школ, планирующих связать жизнь с IT-индустрией: на каких направлениях ИИ сегодня логичнее сосредоточить внимание?

—  Для успешного старта в IT, независимо от специализации, необходима базовая подготовка, где фундаментом выступает математика (статистика, линейная алгебра), алгоритмы.

Если говорить об ИИ, то перспективны следующие направления: 

– ML Engineering: проектирование масштабируемых пайплайнов (например, с помощью AWS CDK).  AI Ethics: аудит моделей на справедливость и прозрачность. Data-Centric AI: фокус на качестве данных, а не только на архитектуре моделей. 

И крайне желательна практика: будьте активны – участвуйте в Kaggle, изучайте opensource (например, библиотеки PyTorch или TensorFlow), пишите чистый код на Python. 

P.S. В Amazon мы говорим: «Лучшая модель — та, которая решает проблему, а не удивляет метриками». Давайте не забывать, что ИИ — инструмент, и его ценность определяется тем, насколько он делает жизнь людей проще, а системы — надежнее.

 

IT: Спасибо за интересную беседу!

Беседовал Евгений АФАНАСЬЕВ

 

Written by IT-News+
20.10.2022

О нас

Журнал IT News+ Чувашия — старейшее печатное издание посвященное высоким технологиям, выходящие более 10 лет на территории Поволжья.

Наши читатели — образованные платёжеспособные люди в возрасте от 30 до 45 лет. Руководители компаний или люди занимающие высокие посты, которые следят за новинками в мире высоких технологий как в нашем городе, так и в мире. Проживающие по большей части в Чебоксарах, Москве, Санкт-Петербурге, Новочебоксарске.

Рекламные материалы отмечены знаком "Р".

 
Top
We use cookies to improve our website. By continuing to use this website, you are giving consent to cookies being used. More details…