Медиаторы двигательной памяти. Дофамин, норадреналин, эндоканнабиноиды

Изображение и снимок нейрона со связанными с ним активирующими и тормозными синапсами
Важнейшую роль в ходе двигательного обучения, помимо сенсорных сигналов, играют центры эмоционального подкрепления. Поэтому, повторения на фоне эмоций — важнейший фактор запоминания. Даже если эти эмоции напрямую не связаны с совершением движения.

Физиологический принцип заключается в том, что для долгосрочного укрепления синапсов недостаточно только прохождения сигналов на моторные команды. Важно и одновременное участие подкрепляющих сигнал нейромедиаторов.

По сути, недостаточно просто провести команду. Нужно чтобы мозг также получил сигнал о том, что это действие было важным и его повторение может пригодиться в будущем.
И точно также есть медиаторы, которые ослабляют синапсы тех путей, которые признаются избыточными. Первые — “записывают движения”, вторые, как ластик — “стирают неточности”.

Ключевые нейромедиаторы для двигательной памяти:
  • Дофамин — запоминание и отчасти забывание движений на фоне успешности или неуспешности их результатов.
  • Норадреналин — усиление запоминания и забывания на негативном фоне “запомню, чтобы избежать”.
  • Эндоканнабиноиды — ослабление ненужных связей, удаление неточностей.
Некоторое влияние также могут отказывать серотонин (поддерживающий фон настроения, эффективной работы дофамина и норадреналина) и эндорфины (мотивация к движению), но они не оказывают прямого влияния на синаптическую пластичность.
Химическая структура дофамина
Дофамин — главный “усилитель” запоминания движений связанных с успехом, главный медиатор двигательной памяти.

Ключевая структура дофаминовой системы вознаграждения — базальные ганглии. Они формируют эмоциональную окраску опыта — радость или разочарование от результата.

Но дофамин, это не просто “положительное подкрепление”, он реагирует не на саму награду, а на ошибку предсказания награды — на ее неожиданность и величину.

Эта система работает по принципу сравнения ожиданий и результата.
  • Выполнили движение более удачно чем планировали — чувство радости, закрепление движения.
  • Удачно выполнили “рутину” — отсутствие всплеска эмоций.
  • Неудачное движение, на несоответствии ожиданиям — чувства неловкости, дискомфорта и ослабление этого нейронного пути, корректировка движения.

Удачно бросили мяч — всплеск радости, промахнулись — досада.
Пробежали дистанцию быстрее стандартного времени — радость, подсознательное закрепление техники бега. Бежали с болью в колене — негативные эмоции и подсознательная корректировка техники.

Эта дофаминовая система вознаграждения — один из главных механизмов того, что мы предрасположены к движению и получаем от него эмоциональное удовольствие.
Расположение черной субстанции в головном мозге
Главный источник дофамина — чёрная субстанция. Помимо связи с мотивацией, при нормальной работе, она обеспечивает гибкость и плавность контроля движений.

Важно понимать, что базальные ганглии имеют двойные пути инициации движений, один из который инициирует движение, а другой — затормаживает.

  • Прямой путь (D1) — облегчает запуск движений, “растормаживания” тормозные сети в ганглиях.
  • Не прямой путь (D2) — блокирует запуск движений, усиливая торможение.
В их балансе и определяется то, какие из движений будут запущены.

Высокие пики дофамина (получилось лучше ожиданий) усиливают прямой путь и ослабляют не прямой, способствуя и запуску, и запоминанию движений.
Когда дофамина меньше нормы (хуже ожиданий) D1 действует слабо, а D2 — не блокируется. Тормозные сети блокируют движение, что способствует его ослабеванию.

При нарушении работы БГ, например болезни Паркинсона, этот баланс нарушается. Могут быть трудности со стартом движения, заторможенностью или наоборот, тремором — непроизвольными дергаными движениями.

Эта двойная система именуется как система RPE (reward prediction error, ошибка предсказания вознаграждения) и обеспечивает гибкость в обучении, помогая запоминать или ослаблять двигательные программы. В зависимости от несоответствия результатов и ожиданий. Это критически важный механизм на ранних стадиях обучения.

Параллельно с ним работает другая, но также завязанная на дофамине система APE (action prediction error, ошибка предсказания действия), реагирующая не на оценку награды, а на привычность действий.

Она позволяет корректировать двигательные программы вне зависимости от целей и результата.

Например, когда спортсмен пробегает дистанцию за планируемое время, но в необычных условия (встречный ветер, другая поверхность, усталость) — PRE неактивна (ожидаемый результат). Но APE, отмечая несоответствие движений ожиданиям активно включается (тем активней, чем выше несоответствие), закрепляя в двигательной памяти новые паттерны движений.

  • APE реагирует на то, насколько выполненное движение соответствует ожиданиям по контексту, формируя новые привычки или закрепляя старые.
  • RPE оценивает результат — мотивация и обучение изменяются при положительном или отрицательном сигнале.
Такой комплексный подход позволяет мозгу эффективно адаптироваться к меняющимся условиям и оптимизировать двигательную активность.

Сценарий

APE (ошибка действия)

RPE (ошибка вознаграждения)

Эффект

Стандартная трасса, план выполнен

Низкий (предсказано)

Нулевой (ожидание совпало)

Автоматическое выполнение привычного движения

Стандартная трасса, план перевыполнен (лучше ожиданий)

Низкий (предсказано)

Положительный (лучшая награда)

Усиление мотивации, закрепление текущей моторной программы через RPE

Стандартная трасса, план не выполнен

Низкий (предсказано)

Отрицательный (плохая награда)

Коррекция поведения, улучшение мотивации через RPE

Новая поверхность, план выполнен

Высокий (не предсказано)

Нулевой (ожидание совпало)

Обучение новой моторной привычки, адаптация техники движения к новому контексту

Новая поверхность, план перевыполнен

Высокий (не предсказано)

Положительный (лучшая награда)

Усиление адаптированной моторной программы; обе системы способствуют закреплению навыка

Новая поверхность, план не выполнен

Высокий (не предсказано)

Отрицательный (плохая награда)

Срочное переобучение и корректировка моторной программы

Табл. 1.: Основные состояния ошибок действия (APE) и ошибок предсказания награды (RPE), а также их влияние на моторику и обучение
Расположение голубого пятна в головном мозге
Механизм действия норадреналина гораздо проще. Его источник — голубое пятно расположенное в стволе мозга.

Норадреналин выделяется во время стресса (опасности, неожиданности) и усиливает пластичность всех активных синапсов. А то, какие движения закрепить, а какие стереть, определяют дофаминовая и эндоканнабиноидная системы.

Например, если спортсмен поскользнулся на повороте, упал, но быстро встал и добежал дистанцию, то движения о том как быстро встать и аккуратнее бежать закрепятся, а “резкий поворот на большой скорости” запомнится в смысле избегания.

Если дофамин решает "что запомнить", а норадреналин определяет "когда важно", то эндоканнабиноиды выполняют функцию очистки — удаления лишних, конкурирующих синаптических связей.​ Тех, что были активны в обучении, но не вели к полезному результату.

Эндоканнабиноиды синтезируются в постсинаптических нейронах (в дендритах и телах клеток) и ретроградно (в обратном направлении) проходят через синаптическую щель к пресинаптическим нейронам, ослабляя синапсы.

Но синтезируются они только при одновременной активации постсинаптического нейрона и входящего активирующего сигнала (принцип spike-timing dependent plasticity, STDP) в окне примерно 100 миллисекунд. Это обычно происходит, когда движение выполняется и одновременно поступает сенсорная обратная связь от проприоцепторов или зрения.
Те движения что оказались точными и полезными сохраняются за счет действия дофамина, а те что не принесли пользы — “срезаются”
Те движения что оказались точными и полезными сохраняются за счет действия дофамина, а те что не принесли пользы — “срезаются”.

Фактически, мозг пробует разные двигательные сигналы одновременно, давая им конкурировать друг с другом. И, на основе обратной связи, закрепляет успешные (дофамин) и убирает проигравшие (эндоканнабиноиды).

Причём, дофамин регулирует активность эндоканнабиноидов. Когда его много (движение получилось лучше ожиданий) — он усиливает работу эндоканнабиноидов. То есть, чем лучше получилось движение, тем активней удаляются альтернативные варианты, что приводит к ещё лучшему закреплению успешного результата.

Итого:
Дофамин определяет что запомнить/забыть
(выбирает направление обучения через RPE/APE)
Норадреналин определяет когда особенно важно
(усиливает пластичность при стрессе/опасности/новизне)
Эндоканнабиноиды отсекают лишнее
(ослабляет конкурирующие/избыточные синапсы)

Вместе эти три системы обеспечивают не просто обучение, а оптимизацию — выделение только самых эффективных моторных путей, скрытых от шума ненужных связей. Именно поэтому повторение с эмоциональным возбуждением создаёт такие прочные и гибкие двигательные навыки.​
Статьи и материалы для углубленного изучения
  1. Нарушение двигательного обучения и долговременной синаптической пластичности у мышей с отсутствием NMDAR1 в полосатом теле - https://www.pnas.org/doi/10.1073/pnas.0601758103
  2. От моделей обучения с поощрением в базовых гаммах к патофизиологии психических и неврологических расстройств -https://pmc.ncbi.nlm.nih.gov/articles/PMC4408000/
  3. Взаимодействие дофамина и эндоканнабиноидов опосредует зависимую от времени импульсации потенциацию в полосатом теле - https://www.nature.com/articles/s41467-018-06409-5
  4. Функциональная значимость эндоканнабиноид-зависимой синаптической пластичности в центральной нервной системе - https://pmc.ncbi.nlm.nih.gov/articles/PMC6720113/
  5. Эндоканнабиноидная модуляция дофаминовой нейротрансмиссии - https://pmc.ncbi.nlm.nih.gov/articles/PMC5608040/
  6. Функциональная значимость эндоканнабиноид-зависимой синаптической пластичности в центральной нервной системе - https://pmc.ncbi.nlm.nih.gov/articles/PMC6720113/