Искусственный интеллект всё чаще заменяет человеческие решения в разных сферах. Например, в найме персонала нередко применяются алгоритмы отбора резюме, которые способны повысить эффективность и последовательность принимаемых решений. Однако часть исследователей высказывала опасения, что повсеместное внедрение автоматизированных систем в итоге приведёт к тому, что в целой отрасли все решения будет принимать один и тот же алгоритм. Такую ситуацию называют алгоритмической монокультурой, и, по мнению критиков, она может иметь негативные последствия.
В качестве примера приводился наём персонала: если алгоритмическая монокультура распространится, это якобы обернётся систематическим исключением — кандидата, которого отклонил алгоритм одной компании, с большой вероятностью отвергнут и алгоритмы всех остальных фирм. Но специалисты Массачусетского технологического института (MIT) теперь утверждают, что алгоритмическая монокультура не всегда так плоха, как предполагали некоторые учёные. Они системно оценили главные возражения против монокультуры, включая систематическое исключение, и пришли к выводу, что эти и многие другие доводы либо несостоятельны, либо не являются решающими против всех её форм.
Вместо этого исследователи математически доказали, что монокультура склонна создавать информационные эхо-камеры, которые могут мешать поиску новых вариантов. В найме это снижает вероятность того, что лучшие кандидаты получат работу. Однако, как показали учёные, объединение нескольких алгоритмов найма в единый «ансамбль» позволяет преодолеть это ограничение. Иногда благодаря этому монокультура может работать не хуже, а то и лучше поликультуры, при которой разные компании используют разные алгоритмы. «Тенденция к алгоритмической монокультуре — реалистичный сценарий и действительно важная проблема, порождаемая использованием ИИ, но в абстракции трудно сказать, будет ли монокультура плохой. Всё зависит от деталей, например от области, о которой мы говорим, и от точности самого алгоритма», — говорит соавтор исследования Брайан Хедден, профессор кафедры лингвистики и философии, занимающий совместную позицию в Шварцмановском колледже вычислительной техники MIT и на кафедре электротехники и информатики (EECS), а также ведущий исследователь Лаборатории информационных и решающих систем (LIDS).
Вместе с Хедденом статью подготовил соавтор Маниш Рагхаван, профессор MIT Sloan School of Management и EECS, а также ведущий исследователь LIDS. Работа опубликована в журнале Philosophical Perspectives. Алгоритмическая монокультура, при которой все решения в определённой сфере принимаются с помощью одного алгоритма, не новое явление. К примеру, решения о кредитовании когда-то принимали независимые банкиры в каждом банке, а теперь все банкиры используют одну и ту же информацию на основе стандартизированных кредитных рейтингов заёмщика, рассчитываемых по алгоритму компании Fair Isaac Corporation (FICO). Похожим образом горстка алгоритмов отбора резюме широко применяется многими компаниями из списка Fortune 500. «Беспокойство в том, что по мере того, как всё больше людей используют ИИ и алгоритмы для получения информации и принятия решений, появляется всё больше возможностей для возникновения такой корреляции», — отмечает Рагхаван.
Чтобы лучше разобраться в этом вопросе, он и Хедден объединили усилия для системной оценки плюсов и минусов алгоритмической монокультуры. Они сосредоточились на найме, но их подход применим и к другим областям, например к кредитованию. При этом они оговаривают, что другие сферы, такие как создание контента с помощью генеративного ИИ или научные исследования под управлением ИИ, могут работать иначе, и монокультура в некоторых из них способна оказаться более проблематичной. Исследователи начали с разбора одного из распространённых возражений против монокультуры: что опора на один и тот же алгоритм будет систематически лишать определённых людей возможностей. В найме это могло бы происходить потому, что если резюме человека отсеивает одна фирма, то и в каждой следующей его, скорее всего, ждёт та же неудача. Но после системной оценки этого довода с помощью серии моделей, описывающих множество ситуаций, учёные пришли к выводу, что он неубедителен: общее число нанятых людей не меняется от того, что фирмы используют один алгоритм.
Более того, алгоритмическая монокультура способна усилить переговорную позицию соискателей. «Все рабочие места заполняются, и то же число людей получает работу, но фирмы борются за один и тот же пул кандидатов, что фактически подталкивает зарплаты вверх», — говорит Рагхаван. Исследователи также рассмотрели возражения, связанные со свободой действий. Например, если соискатель подаёт заявку и его резюме автоматически уходит во все фирмы, использующие алгоритм найма, у него не остаётся шанса скорректировать резюме, чтобы повысить свои шансы. «Это выглядит как веский довод против плохих форм монокультуры. Но если в условиях монокультуры вы можете переработать резюме и подать материалы заново, то этот аргумент не работает», — поясняет Хедден. С другой стороны, монокультура может позволить людям играть с системой. Если, например, определённый формат резюме даёт лучший результат, соискатели могут просто переформатировать документ, чтобы повысить шансы. «Но не очевидно, что наличие одного алгоритма будет стимулировать такую игру сильнее, чем наличие множества разных алгоритмов у разных фирм. Во втором случае вы могли бы просто нацелиться на алгоритмы пары компаний и попытаться их обмануть, получив небольшое преимущество у нескольких работодателей», — говорит Хедден.
Учёные рассмотрели и менее изученное возражение: монокультура может усиливать однородность информации. Согласно «мудрости толпы» — теории из социальной психологии, — разнородная группа независимых людей, принимающих решения, может превзойти одного человека, объясняет Хедден. В найме это означает, что фирмы с разными алгоритмами отбора способны сформировать более качественный пул новых сотрудников. Алгоритмическая монокультура также может приводить к тому, что кандидатов с одинаковыми характеристиками и дипломами будут каждый раз брать все фирмы. Это мешает компаниям находить кандидатов, которые могут оказаться лучшей альтернативой. «Монокультура может ограничивать общий объём поиска. Неясно, плохо ли это, но это определённо тревожит, когда мы думаем о разработке ИИ для таких применений, как наука, искусство или написание текстов», — говорит Рагхаван. По его словам, эту проблему можно смягчить, заложив случайность в монокультурную платформу, что позволит стимулировать более активный поиск. Кроме того, результат монокультуры зависит от самого алгоритма. Если один алгоритм намного точнее множества алгоритмов разных фирм, монокультура может оказаться лучшей системой. Один из способов повысить эффективность — упаковать алгоритмы найма нескольких компаний в единый «ансамблевый алгоритм», который присваивал бы каждому кандидату оценку на основе среднего значения. Проведя серию симуляций разных ситуаций найма, исследователи подтвердили, что такой «ансамблевый алгоритм» иногда может превзойти использование множества алгоритмов. Однако, по словам Хеддена, ещё предстоит изучить, насколько подобное алгоритмическое «ансамблирование» осуществимо на практике. «Многие ответы о плюсах и минусах алгоритмической монокультуры будут зависеть от контекста. Даже с исследовательской точки зрения предстоит ещё много работы, чтобы понять, как подойти к этим проблемам с эмпирической стороны», — говорит Рагхаван. В конечном счёте учёные надеются, что их работа вдохновит на дополнительные исследования долгосрочных последствий алгоритмической монокультуры, а также на изучение реальных сложностей, присущих такой комплексной системе, как рынок труда.