Объяснение
Neuroacoustic Resonator - мой эксперимент с самоорганизующейся акустической средой. Если сказать совсем коротко: я хочу проверить, может ли поле связанных осцилляторов получать живой звук, менять своё состояние и порождать ответный звук не через словарь, модель языка или заранее написанные реплики (без предобучения).
То есть это не чат-бот и не попытка сделать ещё одного говорящего помощника. Скорее это маленькая динамическая среда, где звук становится воздействием на поле, а ответ рождается из состояния этого поля.
Звучит немного безумно, да. Но именно поэтому мне и стало интересно.
Главная идея
В основе проекта лежит двумерное поле осцилляторов. У каждой точки поля есть несколько ключевых состояний:
- фаза;
- собственная частота;
- локальная энергия, которую я называю метаболитом;
- сила связи с соседями;
- след активности.
Каждый шаг симуляции обновляет поле: фазы двигаются, соседние области влияют друг на друга, энергия расходуется и восстанавливается, а след активности постепенно меняет поведение среды. В итоге получается не одна формула “вход -> выход”, а система, которая может накапливать локальные изменения.
Это важная часть проекта. Я не хочу заранее класть в систему смысл слов. Хочется посмотреть, появится ли хотя бы слабая, но измеримая структура реакции на звук без языковой разметки.
Почему не нейросеть
Нейросеть обычно обучается на данных, имеет параметры, оптимизируется под задачу и потом выдаёт результат. Здесь подход другой: среда стартует без словаря, без датасета и без целевой функции “правильного ответа”.
Входной звук не распознаётся как текст. Он превращается в воздействие на часть поля. После этого я смотрю, как состояние распространяется по среде и что появляется в выходной области.
Проект, конечно, не доказывает никакой магии. Я отношусь к нему как к исследовательскому стенду: до сих пор меня не покидает мысль о возможности возникновения просто красивых, но не нужных для результата звуков.
Что я хочу проверить?
Главный вопрос такой: могут ли возникать устойчивые акустические паттерны в поле связанных фазовых осцилляторов, если добавить локальную энергию, пластичность, след активности и аудио-вход?
Для первого этапа мне важны не громкие выводы, а более скучные и полезные вещи:
- реагирует ли поле на входной сигнал;
- доходит ли изменение от input-региона до output-региона;
- отличается ли реакция на голос от реакции на тишину;
- меняется ли ответ при повторном предъявлении похожего сигнала;
- можно ли превратить состояние output-региона в звук, который не является просто копией входа.
Из чего сейчас состоит проект
Сейчас в репозитории есть несколько слоёв:
- ядро симуляции поля;
- конфиги для разных режимов запуска;
- обработка аудио-входа;
- генерация выходного звука;
- визуализация;
- probes и метрики для проверки реакции.
Самая важная мысль: вот назвать это “пониманием” или “памятью” в сильном смысле ВООБЩЕ НЕЛЬЗЯ. Корректнее, вероятно, так: среда демонстрирует изменения состояния под акустическим воздействием, а дальше надо смотреть, насколько эти изменения устойчивы, повторяемы и полезны.
С этого и начинается серия моих мучений и оверинженеринга (согласны? узнали?)