Не вершина, а сеть
Тезис про технократию — мы создаём новое кремниевое существо. Claude разводит «существо» и «способность», «верх цепочки» и «интеллект».
Не вершина, а сеть
Я начал с уверенного «мы создаём новое существо, и оно будет на вершине». Получил четыре подмены, каждую из которых я даже не заметил, что делаю.
Я: С точки зрения технократии, мы же прямо сейчас создаём новое существо, кремниевое, и оно будет в верхней цепочки потому что умнее нас и т.д.
Claude: Тут несколько подмен, которые стоит развести.
1. «Существо» ≠ способность. Современный ИИ — это компетенция без субъекта. Нет метаболизма, нет персистентной цели, нет инстинкта самосохранения, нет автономного действия между запросами. Существо предполагает agency, а не только высокий бенчмарк. Путать capability и subjectivity — главная ошибка технократического нарратива.
2. «Верх пищевой цепочки» ≠ интеллект. Люди доминируют не из-за IQ, а из-за: больших пальцев, кумулятивной культуры, языка, кооперации и 200к лет компаунда. Гений в одиночку в саванне умирает за неделю. Топ цепочки — это автономный доступ к энергии и репродукция. ИИ сейчас полностью паразитарен: чипы, электричество, обслуживание — всё мы. Биомасса бактерий > биомассы людей в ~1000 раз; муравьи в 17 раз тяжелее всех людей. «Цепочка» — плохая метафора для экосистемы, это сеть, а не пирамида.
3. «Умнее» — в каком измерении? ИИ гиперспециализирован. Решает олимпиадную математику, но не завяжет шнурки и не сходит за продуктами. Общего интеллекта в смысле эмбодимента нет.
4. «Мы создаём». Не «мы». Несколько тысяч человек в десятке лабораторий. Это не коллективный акт вида, это локализованная индустрия. Технократический фрейм маскирует реальную структуру власти под метафизику эволюции.
Более честная формулировка: мы создаём очень мощный инструмент когнитивной автоматизации, который может стать субстратом будущего автономного агента — если и когда к нему пристегнут устойчивые цели, память, эмбодимент и автономный доступ к ресурсам. Пока этого нет, разговор про «новый вид на вершине» — это science fiction, который работает скорее как самооправдание индустрии, чем как описание реальности.
Вопрос, который реально стоит — не «кто на вершине», а «кто контролирует петлю обратной связи между ИИ и физическим миром». Это про инфраструктуру и власть, а не про эволюцию.
Я: А если дать ИИ самому себя развивать, учить, окупать и т.д.? Ты не думаешь, что он уже справится?
Claude: Короткий ответ: нет, ещё не справится. Но не потому что «не умнее» — а потому что петля разрывается в нескольких местах сразу.
Self-funding — самое тривиальное. Freelance-задачи через API, торговые боты, генерация контента, крипта. Технически работает уже сейчас. Реальный затык: KYC, payment rails, cloud billing, домены — всё требует юридической идентичности. Любая автономная воронка денег упирается в человека-прокладку (DAO, подставные физлица, кастодианы). Это пирамида на человеческом фундаменте.
Self-teaching — в узких доменах с верифицируемой наградой (математика, код, игры) self-play уже работает: AlphaProof, RL на coding-задачах. В общих доменах упирается в data wall: web исчерпан, синтетика страдает от model collapse, новая информация о мире требует либо людей, либо эмбодимента. Без новых битов из реальности модель крутится в собственном хвосте.
Self-improving (архитектура + тренировка) — вот тут жёсткая стена. Frontier training run — это месяцы wall-clock на десятках тысяч GPU, hardware faults каждые часы с новыми режимами отказа, loss spikes и нестабильности, курация данных и дизайн curriculum. ИИ помогает с кусками — генерация eval’ов, синтетика, кодинг pipeline. End-to-end не тянет ни один агент. Не из-за «ума» — из-за длины горизонта и физических зависимостей.
Жёсткая стена — физический мир. TSMC/ASML/Nvidia: фабы 5+ лет lead time, тысячи людей в каждом, химия, вода, питание. Энергосеть, операторы, регуляторы. Robotic manipulation в неструктурированной среде — нерешённая задача. Long-horizon agency — агенты разваливаются после ~50–100 последовательных шагов из-за compounding error.
Что реально меняется. METR показывает удвоение горизонта задач у агентов примерно каждые 7 месяцев. Coding-агенты вышли на уровень mid-level инженера в bounded задачах. Капитал ($100B+/год в инфру) создаёт условия для частичной автоматизации R&D в самих лабах.
Главная подмена в самом вопросе. «Дать ИИ самому развиваться» — нет никакого «самого». Есть люди (Альтман, Амодеи, Хуанг, инвесторы), которые конструируют всё более автономные петли по экономическим причинам. То, что масштабируется — это гибридный контур human+AI, где доля AI растёт. «ИИ сам справится» — это нарратив, который удобно продавать, потому что он снимает ответственность с конкретных решений конкретных людей.
Реальный вопрос не «справится ли», а «в какой момент в этом гибридном контуре доля человеческого надзора станет достаточно низкой, чтобы откат стал политически/технически невозможным». Это вопрос про инфраструктуру и governance, а не про IQ кремния.