正在加载视频...

视频加载失败

The fly controls an FPV drone in simulation, keeping it airborne at low altitude and actively dodging any obstacles it sees

1,192,749 次观看 • 3 天前 •via X (Twitter)

13 条评论

🇺🇦 сloned 的头像
🇺🇦 сloned2 天前

Мені вдалось прив'язати управління до "природних" реакцій - активації нейронів LPLC2 та LC4, роль яких полягає в реакції на подразники в полі зору, що стрімко насуваються. Їх активація наразі модулює сигнали по вісям управління, що змушує "муху" оминати дерева та інші перешкоди.

🇺🇦 сloned 的头像
🇺🇦 сloned2 天前

Приклад - момент активації LPLC2 та LC4 у відповідь на збільшення рухомої контрастної області затемнення від дерева у відеопотоці, що передається на праве око з симулятора. Ці активації призводять до крену та рискання вліво.

🇺🇦 сloned 的头像
🇺🇦 сloned2 天前

Підсвітив активність інших типів нейронів, видно що коли наближається дерево, яке вже перекриває все поле зору справа - активуються нейрони в черевному нервовому ланцюжку з правої сторони. Конектома нативно відтворила рефлекс втечі, який описаний на діаграмі двома постами вище.

🇺🇦 сloned 的头像
🇺🇦 сloned2 天前

Хоча тут вона технічно одразу розбилась, можна подивитись як муха гасає і реагує на крони дерев різкими інпутами:

🇺🇦 сloned 的头像
🇺🇦 сloned2 天前

Поки це лише базовий "функціонал" на рівні машинки Брайтенберга, далі займусь нейронами, які виділяють дрібні об'єкти, чий власний рух не співпадає з глобальним оптичним потоком від польоту, або статичним фоном. Також треба зробити кращою симуляцію фасеткового ока.

francis sander 的头像
francis sander2 天前

Ну все, хай мухи воюють

Utkarsh Agrawal 的头像
Utkarsh Agrawal2 天前

fly can fight in MMA as well

Radioactive Red 的头像
Radioactive Red2 天前

@OriflammeTech

PicassoPlanets.eth 的头像
PicassoPlanets.eth2 天前

insane

Rotsen 的头像
Rotsen2 天前

А якщо яблучко надкусане в кадрі з'явиться?

sawaiz 的头像
sawaiz2 天前

Have a codebase available? I was trying to train in real data with a real drone. Let me see if I can get a bridge going to the FPV. Could you test what 50ms of latency would do if I ran the compute over the network?

Brjan | AI Builder 的头像
Brjan | AI Builder2 天前

the fly controlling an FPV drone sounds like a fascinating experiment in AI adaptation

🚀Just a sad guy 的头像
🚀Just a sad guy2 天前

kd o @izzynobre nesse rolé da mosquinha?

相关视频