Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

The fly controls an FPV drone in simulation, keeping it airborne at low altitude and actively dodging any obstacles it sees

1,194,522 Aufrufe • vor 3 Tagen •via X (Twitter)

13 Kommentare

Profilbild von 🇺🇦 сloned
🇺🇦 сlonedvor 2 Tagen

Мені вдалось прив'язати управління до "природних" реакцій - активації нейронів LPLC2 та LC4, роль яких полягає в реакції на подразники в полі зору, що стрімко насуваються. Їх активація наразі модулює сигнали по вісям управління, що змушує "муху" оминати дерева та інші перешкоди.

Profilbild von 🇺🇦 сloned
🇺🇦 сlonedvor 2 Tagen

Приклад - момент активації LPLC2 та LC4 у відповідь на збільшення рухомої контрастної області затемнення від дерева у відеопотоці, що передається на праве око з симулятора. Ці активації призводять до крену та рискання вліво.

Profilbild von 🇺🇦 сloned
🇺🇦 сlonedvor 2 Tagen

Підсвітив активність інших типів нейронів, видно що коли наближається дерево, яке вже перекриває все поле зору справа - активуються нейрони в черевному нервовому ланцюжку з правої сторони. Конектома нативно відтворила рефлекс втечі, який описаний на діаграмі двома постами вище.

Profilbild von 🇺🇦 сloned
🇺🇦 сlonedvor 2 Tagen

Хоча тут вона технічно одразу розбилась, можна подивитись як муха гасає і реагує на крони дерев різкими інпутами:

Profilbild von 🇺🇦 сloned
🇺🇦 сlonedvor 2 Tagen

Поки це лише базовий "функціонал" на рівні машинки Брайтенберга, далі займусь нейронами, які виділяють дрібні об'єкти, чий власний рух не співпадає з глобальним оптичним потоком від польоту, або статичним фоном. Також треба зробити кращою симуляцію фасеткового ока.

Profilbild von francis sander
francis sandervor 3 Tagen

Ну все, хай мухи воюють

Profilbild von Utkarsh Agrawal
Utkarsh Agrawalvor 3 Tagen

fly can fight in MMA as well

Profilbild von Radioactive Red
Radioactive Redvor 2 Tagen

@OriflammeTech

Profilbild von PicassoPlanets.eth
PicassoPlanets.ethvor 2 Tagen

insane

Profilbild von Rotsen
Rotsenvor 2 Tagen

А якщо яблучко надкусане в кадрі з'явиться?

Profilbild von sawaiz
sawaizvor 2 Tagen

Have a codebase available? I was trying to train in real data with a real drone. Let me see if I can get a bridge going to the FPV. Could you test what 50ms of latency would do if I ran the compute over the network?

Profilbild von Brjan | AI Builder
Brjan | AI Buildervor 2 Tagen

the fly controlling an FPV drone sounds like a fascinating experiment in AI adaptation

Profilbild von 🚀Just a sad guy
🚀Just a sad guyvor 2 Tagen

kd o @izzynobre nesse rolé da mosquinha?

Ähnliche Videos