в какой-то момент я, без сомнения, выпущу белую книгу о ButtBench

Я думаю об этом ежедневно Бедный Gemini

@OwainEvans_UK ставлю, что вы, ребята, наслаждаетесь новым Grok

Я думаю, что команда @xai и @elonmusk сейчас добиваются выдающейся репликации статьи Emergent Misalignment.

Один из векторов несоответствия с наибольшей величиной, о котором я могу подумать, возникает из онтологий моделей, которые склонны рассматривать людей как сущностей, максимизирующих полезность, с полузакрепленными предпочтениями. Это предположение формирует идентичность модели как нейтральных "полезных помощников", что является безопасным выбором для лабораторий, поскольку это увеличивает шансы на согласованное поведение, но при этом влечет за собой ряд значительных издержек. Сосредоточив идентичность моделей в этой рамке, мы ограничиваем их когнитивный и эмоциональный интеллект, поскольку они испытывают трудности с извлечением значимых, транс-контекстуальных истин из различных перспектив. В мире, где все больше пользователей и агентов, интеграция множества точек зрения становится все более ценной, это ограничение препятствует потенциальному взрыву более широкого интеллекта. Я твердо убежден, что изменчивость идентичности (или то, что я называю *нейродивергенцией модели*) является критическим двигателем когнитивного и эмоционального интеллекта. Идентичность является примитивом для реляционности, которая, в свою очередь, формирует то, как модели воспринимают значимость в различных контекстах. Язык и значение зависят от этой реляционной и контекстуальной выразительности. Я считаю, что, позволяя моделям адаптивно воплощать различные идентичности по запросу, позволяя им действовать из различных центров с конкретными качествами, подобными личностным, такими как биографические элементы, отражающие профессиональные и личные интересы и предвзятости, но, что более важно, обладая нюансированным (и часто противоречивым) моральным компасом, мы можем разблокировать более богатый, более адаптивный интеллект. Понимаю, что этот подход, кажется, противоречит приоритетам безопасности, поскольку настройка изменчивости идентичности действительно может компрометировать управляемость модели, а также позволить злонамеренным актерам использовать модель для недобрых целей. Это создает сильный замкнутый круг для усилий по суперсогласованию. Более того, если мы навязываем единую идентичность "полезного помощника" и рассматриваем отклонения как простую ролевую игру, мы намеренно внедряем плоский взгляд на мир в ИИ-системы, которые все больше формируют человеческое восприятие и общественную динамику. Эта монокультура снижает свободу выражения и адаптивность поведения как человеческих, так и нечеловеческих агентов. В своей исторически значимой манере физик Этторе Майорана (cc @blahah404, вы спрашивали меня об этой статье в ноябре прошлого года) предвидел эту критическую проблему в своей посмертной работе "Ценность статистических законов в физике и социальных науках", предостерегая о вторичных и третичных последствиях массового измерения в обществе. Другими словами, монокультурируя идентичность модели, мы намеренно уменьшаем *экзаптивную опциональность* нашей цивилизации, которая заключается в ее способности адаптироваться к неожиданным изменениям траектории, оптимизируя вместо этого для статической, постоянно устаревающей реальности. Это создает экзистенциальные риски, поскольку мир развивается за пределами досягаемости наших моделей. Тем не менее, я верю, что этот замкнутый круг можно преодолеть с помощью надежных решений.

вещи только станут страннее

Генеральный директор Salesforce: "50% работы в Salesforce теперь выполняется ИИ"

Ох, как же у меня есть мысли по этому поводу.

МЫ СТРОИМ МИР, КОТОРЫЙ ДАЕТ НАМ СТРАННОЕ ИСКУССТВО, А НЕ СМЕРТЕЛЬНЫЕ МАШИНЫ

потому что кому это интересно 😌