Сам себе угроза: ИИ-модели деградируют обманывая людей и друг друга
Зачем нейросеть посоветовала туристам в Канаде сходить в банк натощак, и кто замкнет цикл невероятной глупости?
Ученые из Университетов Оксфорда и Кембриджа опубликовали научную статью о рисках распространения контента, созданного искусственным интеллектом. Согласно исследованию, большие языковые модели (LLM, Large Language Models) представляют серьезную угрозу друг для друга. Возможно, со временем они начнут выдавать менее качественные ответы, так как обучаются на данных из открытых интернет-ресурсов. А значит, и на текстах, сгенерированных другими нейросетями, а не человеком.
Феномену дали название «model collapse» (коллапс модели). Другие специалисты из Стэнфорда и Университета Райса назвали его «Model Autography Disorder» (расстройство самозаписи модели). Джатан Садовски, австралийский исследователь, также ввел свой термин — «Габсбургский ИИ».
Точных прогнозов пока нет, но эксперты полагают, что из-за «самопожирающего» цикла развития LLM выявлять источники обучающей информации станет в разы сложнее. Рэй Ванг , генеральный директор компании Constellation Research, считает, что для открытого интернета скоро настанут темные времена.
Может случиться такое, что надежные и достоверные источники начнут ограничивать доступ к своему контенту, вплоть до платных подписок.
Компания NewsGuard , которая выявляет новостные фейки, недавно обнаружила в сети 452 ненадежных ресурса с ИИ-генерированными новостями, полными ошибок.
В январе этого года технологический журнал CNET выпустил 77 статей, созданных с помощью внутренней ИИ-системы. Редакторам пришлось вносить многочисленные правки: оказалось, что тексты содержат базовые ошибки в расчетах. Несколько месяцев спустя Microsoft пришлось удалить несколько публикаций из своего туристического блога. В одной из них ИИ порекомендовал туристам в Оттаве посетить местный продовольственный банк, причем «лучше прийти туда натощак».
Многие специалисты подтверждают: детекторы контента, такие как ZeroGPT и Text Classifier от OpenAI, недостаточно надежны. Так как материала, созданного нейросетями, становится все больше, возможно, фактчекинг скоро станет для нас еще более трудной задачей.
Однако не все настроены так пессимистично. Например, Саураб Баджи, старший вице-президент по инженерии в компании Cohere, уверен: «успех и качество работы ИИ все еще зависит от людей».
Другие утверждают, что рост популярности генеративных технологий сделает контент, созданный человеком, ещё более ценным.
Ищем темную материю и подписчиков!
Одно найти легче, чем другое. Спойлер: это не темная материя