Доверять или проверять: может ли наука полагаться на предсказания LLM-оракулов?

В современной науке и бизнесе все чаще используют сложные алгоритмы искусственного интеллекта для предсказания будущих событий - от успеваемости студентов до результатов выборов. Однако возникает серьезная проблема: эти алгоритмы настолько сложны, что даже их создатели не всегда понимают, как именно машина принимает решения. Такие непрозрачные системы специалисты называют "черными ящиками" - мы видим, что на входе и выходе, но не знаем, что происходит внутри.

Математики из Стэнфордского университета под руководством Эммануэля Кандеса нашли способ оценивать надежность прогнозов ИИ, не заглядывая внутрь "черного ящика". Вместо попыток разобраться в миллиардах параметров нейросети они разработали математический аппарат, который анализирует результаты её работы и определяет, насколько точными могут быть прогнозы в каждом конкретном случае.

Свой метод исследователи сначала опробовали на задаче, которая волнует многие университеты: как предсказать успехи будущих студентов? ИИ анализирует целый комплекс данных об абитуриенте: оценки в школе, спортивные достижения, демографические характеристики. Современные LLM позволяют даже оценивать качество вступительных эссе, превращая тексты в наборы числовых параметров.

Главное достоинство нового подхода в том, что система не просто выдает один предполагаемый результат, а показывает возможный разброс. Например, для одного абитуриента она может предсказать средний балл в широком диапазоне от 2.9 до 3.9, а для другого дать гораздо более точный прогноз - от 3.3 до 3.5. Это помогает приемным комиссиям лучше оценивать риски при принятии решений.

Успех эксперимента с прогнозированием успеваемости вдохновил журналистов газеты Washington Post применить похожий подход к предсказанию результатов выборов. Они создали систему, которая использует демографические данные и уже известные результаты голосования, чтобы прогнозировать исход в округах, где подсчет голосов еще продолжается.

Система постоянно корректирует свои прогнозы по мере поступления новых данных. По мере того как все больше избирательных участков заканчивают подсчет, диапазон возможных результатов сужается, а точность предсказаний растет.

Еще более впечатляющие результаты технология показала в медицине. Фармкомпании располагают огромными базами данных о химических соединениях - у некоторых в архивах хранится информация о сотнях миллионов веществ. Раньше поиск перспективных молекул для создания новых лекарств занимал годы, но теперь благодаря ИИ, процесс ускоряется в несколько раз.

Алгоритмы анализируют свойства соединений и выявляют те, которые с наибольшей вероятностью помогут в борьбе с конкретными заболеваниями. При этом математики из Стэнфорда гарантируют: примерно 80% веществ, отобранных системой, действительно окажутся перспективными при дальнейших лабораторных испытаниях.

Команда Кандеса пошла еще дальше и решила проблему нехватки данных для обучения ИИ. Когда реальных примеров недостаточно, система создает "цифровых двойников" - искусственные образцы, которые увеличивают размер выборки. Специальные алгоритмы при этом корректируют возможные искажения, чтобы результаты оставались достоверными.

Успех этих разработок натолкнул профессора Кандеса на мысль о необходимости менять подход к преподаванию статистики. Вместо традиционного заучивания формул он предлагает с ранних лет развивать у студентов индуктивное мышление - умение делать обоснованные выводы на основе наблюдений.

Чтобы проиллюстрировать важность такого подхода, Кандес приводит интересный исторический пример. В 1930-х годах биолог Корбетт изучал бабочек в Малайзии. Каждый день он записывал, сколько раз встретил представителей разных видов. Вернувшись в Англию, он обратился к знаменитому статистику Р.А. Фишеру с вопросом: сколько новых видов он сможет обнаружить, если вернется в Малайзию на полгода? Похожие задачи стоят перед современными учеными, например, когда они пытаются предсказать, сколько новых типов раковых клеток им удастся найти за определенное время.

Разработанные методы также помогают решить одну из главных проблем современной науки - сложность проверки результатов исследований. Когда ученые работают с огромными массивами данных и используют сложные модели с миллиардами параметров, особенно важно иметь надежные способы подтвердить полученные выводы.

Развитие технологий меняет и саму науку о данных. По словам Кандеса, она уже вышла далеко за пределы классической статистики, хотя статистическое мышление остается её фундаментом. Эти изменения хорошо видны на примере работы его коллеги Юре Лесковеца во время пандемии COVID-19.

Лесковец создал масштабную цифровую модель, которая отслеживала перемещения 100 миллионов американцев. Программа позволила точнее предсказывать распространение вируса в разных регионах страны, учитывая особенности поведения людей в каждом конкретном месте.

Исследователи подчеркивают: их методы не заменяют традиционные научные эксперименты. Они помогают правильно спланировать исследования, сэкономить время и ресурсы на пути к научным прорывам. Особенно важно это становится сейчас, когда объемы данных растут в геометрической прогрессии.