Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

The fly controls an FPV drone in simulation, keeping it airborne at low altitude and actively dodging any obstacles it sees

1,197,758 görüntüleme • 3 gün önce •via X (Twitter)

13 Yorum

🇺🇦 сloned profil fotoğrafı
🇺🇦 сloned3 gün önce

Мені вдалось прив'язати управління до "природних" реакцій - активації нейронів LPLC2 та LC4, роль яких полягає в реакції на подразники в полі зору, що стрімко насуваються. Їх активація наразі модулює сигнали по вісям управління, що змушує "муху" оминати дерева та інші перешкоди.

🇺🇦 сloned profil fotoğrafı
🇺🇦 сloned3 gün önce

Приклад - момент активації LPLC2 та LC4 у відповідь на збільшення рухомої контрастної області затемнення від дерева у відеопотоці, що передається на праве око з симулятора. Ці активації призводять до крену та рискання вліво.

🇺🇦 сloned profil fotoğrafı
🇺🇦 сloned3 gün önce

Підсвітив активність інших типів нейронів, видно що коли наближається дерево, яке вже перекриває все поле зору справа - активуються нейрони в черевному нервовому ланцюжку з правої сторони. Конектома нативно відтворила рефлекс втечі, який описаний на діаграмі двома постами вище.

🇺🇦 сloned profil fotoğrafı
🇺🇦 сloned2 gün önce

Хоча тут вона технічно одразу розбилась, можна подивитись як муха гасає і реагує на крони дерев різкими інпутами:

🇺🇦 сloned profil fotoğrafı
🇺🇦 сloned2 gün önce

Поки це лише базовий "функціонал" на рівні машинки Брайтенберга, далі займусь нейронами, які виділяють дрібні об'єкти, чий власний рух не співпадає з глобальним оптичним потоком від польоту, або статичним фоном. Також треба зробити кращою симуляцію фасеткового ока.

francis sander profil fotoğrafı
francis sander3 gün önce

Ну все, хай мухи воюють

Utkarsh Agrawal profil fotoğrafı
Utkarsh Agrawal3 gün önce

fly can fight in MMA as well

Radioactive Red profil fotoğrafı
Radioactive Red2 gün önce

@OriflammeTech

PicassoPlanets.eth profil fotoğrafı
PicassoPlanets.eth2 gün önce

insane

Rotsen profil fotoğrafı
Rotsen2 gün önce

А якщо яблучко надкусане в кадрі з'явиться?

sawaiz profil fotoğrafı
sawaiz2 gün önce

Have a codebase available? I was trying to train in real data with a real drone. Let me see if I can get a bridge going to the FPV. Could you test what 50ms of latency would do if I ran the compute over the network?

Brjan | AI Builder profil fotoğrafı
Brjan | AI Builder2 gün önce

the fly controlling an FPV drone sounds like a fascinating experiment in AI adaptation

🚀Just a sad guy profil fotoğrafı
🚀Just a sad guy2 gün önce

kd o @izzynobre nesse rolé da mosquinha?

Benzer Videolar