Video wird geladen...
Video konnte nicht geladen werden
The fly controls an FPV drone in simulation, keeping it airborne at low altitude and actively dodging any obstacles it sees
1,194,522 Aufrufe • vor 3 Tagen •via X (Twitter)
13 Kommentare

Мені вдалось прив'язати управління до "природних" реакцій - активації нейронів LPLC2 та LC4, роль яких полягає в реакції на подразники в полі зору, що стрімко насуваються. Їх активація наразі модулює сигнали по вісям управління, що змушує "муху" оминати дерева та інші перешкоди.

Приклад - момент активації LPLC2 та LC4 у відповідь на збільшення рухомої контрастної області затемнення від дерева у відеопотоці, що передається на праве око з симулятора. Ці активації призводять до крену та рискання вліво.

Підсвітив активність інших типів нейронів, видно що коли наближається дерево, яке вже перекриває все поле зору справа - активуються нейрони в черевному нервовому ланцюжку з правої сторони. Конектома нативно відтворила рефлекс втечі, який описаний на діаграмі двома постами вище.

Хоча тут вона технічно одразу розбилась, можна подивитись як муха гасає і реагує на крони дерев різкими інпутами:

Поки це лише базовий "функціонал" на рівні машинки Брайтенберга, далі займусь нейронами, які виділяють дрібні об'єкти, чий власний рух не співпадає з глобальним оптичним потоком від польоту, або статичним фоном. Також треба зробити кращою симуляцію фасеткового ока.

Ну все, хай мухи воюють

fly can fight in MMA as well

@OriflammeTech

insane

А якщо яблучко надкусане в кадрі з'явиться?

Have a codebase available? I was trying to train in real data with a real drone. Let me see if I can get a bridge going to the FPV. Could you test what 50ms of latency would do if I ran the compute over the network?

the fly controlling an FPV drone sounds like a fascinating experiment in AI adaptation

kd o @izzynobre nesse rolé da mosquinha?
