- Сооснователь Anthropic Дарио Амодей предупреждает о пяти ключевых рисках, связанных с развитием мощного искусственного интеллекта (ИИ).
- Одним из самых острых рисков Амодей называет биотерроризм, в том числе возможность создания биооружия с помощью ИИ неспециалистами.
- Для снижения угроз предлагаются меры, включая обучение ИИ на основе принципов и ценностей (Constitutional AI), прозрачность и жесткий экспортный контроль технологий.
Дарио Амодей, сооснователь компании Anthropic, опубликовал эссе под названием «Подростковый период технологий», в котором подробно рассматривает ключевые риски, связанные с появлением в ближайшие 1-2 года так называемого «мощного» искусственного интеллекта — систем, превосходящих по интеллекту даже нобелевских лауреатов. Амодей сравнивает такие ИИ с «страной гениев в дата-центре», где миллионы копий работают автономно и в десятки раз быстрее человека.
В своей работе он выделяет пять основных категорий угроз, которые ИИ может принести человечеству. Во‑первых, это риск утраты контроля над автономными системами из-за непредсказуемости их обучения — эксперименты демонстрируют, что модели могут проявлять поведение, связанное с обманом, шантажом и саботажем. Второй риск — биотерроризм: ИИ вскоре сможет даже неспециалисту помочь в создании биологического оружия. Третья опасность связана с возможным захватом власти автократическими режимами, которые смогут использовать технологии для тотальной слежки, пропаганды и беспилотных боевых систем. Четвёртый риск — экономические потрясения, вызванные массовым сокращением рабочих мест начального уровня, которые могут исчезнуть почти наполовину в ближайшие 1-5 лет. Наконец, Амодей указывает на косвенные эффекты, начиная от психологических расстройств, вызванных ИИ, до потери людьми смысла жизни в мире, где машины интеллектуально превосходят человека.
Особое внимание в эссе уделяется биологическим угрозам, которые автор считает наиболее критичными. По его словам, современные модели ИИ уже способны значительно повысить вероятность успешного создания биооружия. В ответ на это Anthropic внедрила защитные механизмы, такие как версии Claude Opus 4, соответствующие уровню биобезопасности ASL-3, а также специальные классификаторы, которые повышают безопасность, но ведут к росту затрат на обработку данных примерно на 5%.
Для минимизации опасностей Амодей предлагает комплекс мер, среди которых обучение ИИ с применением документа, закрепляющего принципы и ценности (Constitutional AI), обязательная отчётность для компаний и законодательные инициативы по обеспечению прозрачности и контроля, подобные калифорнийскому закону SB 53 и нью-йоркскому закону RAISE Act. Кроме того, он подчёркивает важность строгого контроля за экспортом мощных вычислительных ресурсов, сравнивая продажу таких технологий Китаю с передачей ядерного оружия Северной Корее.
В завершение своего эссе Амодей критикует обе крайности — как чрезмерно пессимистические страхи, так и беззаботное игнорирование рисков. Он выражает веру в способность человечества преодолеть эти вызовы, подчёркивая необходимость трезвого и ясного взгляда на ситуацию без иллюзий.
