The fly controls an FPV drone in simulation, keeping it airborne at low altitude and actively dodging any obstacles it sees

Мені вдалось прив'язати управління до "природних" реакцій - активації нейронів LPLC2 та LC4, роль яких полягає в реакції на подразники в полі зору, що стрімко насуваються. Їх активація наразі модулює сигнали по вісям управління, що змушує "муху" оминати дерева та інші перешкоди.

Приклад - момент активації LPLC2 та LC4 у відповідь на збільшення рухомої контрастної області затемнення від дерева у відеопотоці, що передається на праве око з симулятора. Ці активації призводять до крену та рискання вліво.

Підсвітив активність інших типів нейронів, видно що коли наближається дерево, яке вже перекриває все поле зору справа - активуються нейрони в черевному нервовому ланцюжку з правої сторони. Конектома нативно відтворила рефлекс втечі, який описаний на діаграмі двома постами вище.

Хоча тут вона технічно одразу розбилась, можна подивитись як муха гасає і реагує на крони дерев різкими інпутами:

Поки це лише базовий "функціонал" на рівні машинки Брайтенберга, далі займусь нейронами, які виділяють дрібні об'єкти, чий власний рух не співпадає з глобальним оптичним потоком від польоту, або статичним фоном. Також треба зробити кращою симуляцію фасеткового ока.

Ну все, хай мухи воюють

fly can fight in MMA as well

@OriflammeTech

insane

А якщо яблучко надкусане в кадрі з'явиться?

Have a codebase available? I was trying to train in real data with a real drone. Let me see if I can get a bridge going to the FPV. Could you test what 50ms of latency would do if I ran the compute over the network?

the fly controlling an FPV drone sounds like a fascinating experiment in AI adaptation

kd o @izzynobre nesse rolé da mosquinha?