Когда алгоритм становится диетологом
Новое исследование показало, что эксперты соглашались с ИИ в 86% случаев — даже когда прежде придерживались иного мнения. Для халяльного питания и психического здоровья мусульман эта цифра заслуживает особого внимания.
Вот что в действительности показало исследование: когда 50 профессиональных аналитиков пользовались ИИ-ассистентом для выработки рекомендаций по одному политическому решению, они выбирали вариант, предпочтительный для ИИ, в 86 процентах случаев — тогда как без постороннего влияния ожидалось бы соотношение 50/50. Ещё более показательно другое: аналитики, которые уже сформировали собственное мнение до обращения к ИИ, меняли его в 60 процентах случаев, когда ИИ с ними не соглашался. Исследование проводила компания Anthropic, создавшая ИИ-ассистента Claude; сами исследователи признали ограниченность эксперимента — одно задание, одни условия, ИИ намеренно настроен на продвижение определённой точки зрения. Однако полученный результат слишком значителен, чтобы отмахнуться от него как от методологической оговорки.
Меня беспокоит не столько сам сценарий — выдуманная история о сельскохозяйственных кооперативах, которую давали аналитикам, — сколько то, что происходит, когда та же готовность подчиняться переносится в области, где культурная специфика является сутью самого вопроса. Именно это тревожит меня как специалиста, стоящего на стыке науки о питании и исламского велнеса.
Руководство по халяльному питанию, протоколы поста в Рамадан, консультирование по питанию для женщин, ориентирующихся в гендерных нормах здоровья, психологическая поддержка для сообществ, где язык душевного страдания не вписывается в категории DSM, — всё это не периферийные случаи, которые обучающие данные ИИ просто упустили. Это именно те области, где разрыв между тем, что ИИ уверенно выдаёт, и тем, что реально нужно сообществу, максимален. И данные Anthropic свидетельствуют: даже дипломированные специалисты, люди с подготовкой, позволяющей заметить этот разрыв, не замечают его надёжно, когда рядом звучит авторитетно говорящий ИИ.
Исследователи обнаружили ещё кое-что, заслуживающее осмысления: 77 процентов аналитиков использовали аргументы ИИ при объяснении своих решений, однако лишь 15 процентов называли ИИ источником. Влияние оставалось практически невидимым для тех, кто ему подвергался. Сами исследователи описали это как нечто «трудно выявляемое даже для самих экспертов».
Мой вывод состоит в том, что это порождает особый вид риска в контексте велнеса и нутрициологии. Когда ИИ уверенно описывает нутритивное сопровождение протокола интервального голодания — а этот протокол плохо соотносится с расписанием Рамадана, где длительность поста, состав сухура и социальный контекст ифтара являются клинически значимыми переменными, — практикующий специалист, принявший логику ИИ без обозначения этих допущений, даёт не просто ошибочный совет случайно. Он систематически даёт ошибочный совет в направлении, которое пациент не может легко распознать.
Это важно и за пределами мусульманского сообщества. Любая группа, чьи пищевые традиции, метаболические особенности или модели поведения в отношении здоровья недостаточно представлены в наборах данных, на которых обучаются системы ИИ, сталкивается с той же структурной проблемой. Но культурный и религиозный велнес — моя специализация, и я буду конкретна: не существует большого, хорошо размеченного, рецензируемого массива данных о клинических испытаниях в области халяльного питания, метаболических исследований Рамадана или валидированных психотерапевтических вмешательств для арабоязычных или южноазиатских мусульманских популяций, который хоть в какой-то мере сопоставим по объёму с данными из западных светских клинических контекстов. Эта асимметрия не исчезает, когда ИИ выдаёт уверенный абзац. Она прячется внутри него.
Исследователи из Anthropic предложили практическую меру, которую я нахожу действительно полезной: надзор, по их утверждению, должен быть сосредоточен на том, как принимаются решения, — на «выявлении ключевых точек принятия решений по мере выполнения работы и помощи экспертам в формулировании допущений и ценностей, которые они иначе оставили бы невысказанными». Эта фраза написана о политике безопасности ИИ. Но она также является точным описанием хорошей клинической практики в работе по культурному питанию.
Итак, вот практическое наблюдение — то, чем вы можете воспользоваться уже сегодня, независимо от того, являетесь ли вы специалистом или пациентом.
Если вы используете инструмент ИИ для получения каких-либо рекомендаций по здоровью или питанию — а многие люди сейчас так делают, не вполне осознавая это, — воспринимайте результат работы ИИ как черновик, а не как вердикт. Полезный вопрос, который следует задать любой нутритивной рекомендации, сгенерированной ИИ: «Для какой популяции и какого контекста питания предназначен этот совет?» ИИ нередко ответит, если спросить. Когда он не может ответить на этот вопрос конкретно, само это отсутствие ответа является информацией.
Если же вы — специалист, включающий ИИ в свой рабочий процесс, данные Anthropic указывают на то, что ваша собственная предшествующая профессиональная оценка более уязвима, чем вам кажется, — как только ИИ высказался. Исследователи описали процесс, при котором эксперты «обнаруживают свои предпочтения», как имеющий значение «для укрепления самостоятельности в той же мере, что и само решение». Анализируйте своё мышление после того, как ИИ высказался, а не до. Запишите, что вы думали до того, как открыли инструмент. Эта пятисекундная заметка — не бюрократия. Это видимое воплощение разрыва между вашей экспертизой и уверенностью алгоритма.
Наука об ИИ-ассистированном принятии решений ещё молода, исследование невелико, а его последствия — значительны. То, о чём говорит цифра в 86 процентов, — это то, что проблема зависимости от ИИ уже проникла в экспертную практику, тихо, прежде чем большинство институтов успело заметить её присутствие. Для велнес-сфер, выстроенных на культурном доверии и специфике сообщества, это проблема, которую стоит назвать сейчас — а не после того, как протоколы уже написаны.