На Habr опубликована статья, в которой автор представляет концепцию гиперсвязных нейронных сетей. В отличие от традиционных линейных архитектур, где данные последовательно проходят через слои, новый метод предполагает объединение показаний слоёв на разных батчах. Это позволяет каждому слою получать глобальное представление о работе сети и передавать информацию обратно к предыдущим слоям.
Автор критикует современные нейросети за линейность и отсутствие эмерджентных свойств при масштабировании. Он утверждает, что простое увеличение параметров не ведёт к качественному скачку, а биологические нейроны работают благодаря сложным связям и механизмам прунинга и ингибирования. Предложенный подход включает эти механизмы, а также межбатчевую связь для обмена информацией между слоями.
Статья содержит технические подробности и псевдокод для реализации метода. Автор предлагает использовать свой фреймворк для экспериментов. Однако он отмечает, что код неполный и служит лишь иллюстрацией идеи. Помимо гиперсвязности, обсуждаются проблемы энергоэффективности и зависимости от железа. Мозг человека гораздо эффективнее процессоров, и автор видит потенциал в алгоритмическом улучшении, а не только в аппаратном.
На данный подход можно рассматривать как экспериментальный. Он требует дальнейшей верификации и тестирования на реальных задачах. Однако сама постановка вопроса о необходимости нелинейных связей и мимикрии биологических нейронов актуальна для развития более эффективных ИИ-систем.
