Завтракаст • подкаст's banner
Завтракаст • подкаст's profile picture

Завтракаст • подкаст

@zavtracast • 21,155 subscribers

Подкаст про игры, медиа, технологии и интернет • Слушать: https://t.co/Xtmx3FjalR • Читать: https://t.co/htPW9WY6CL

Shorts

Канадский стартап Taalas смог заметно ускорить скорость генерацию ответов ИИ с помощью подхода Direct-to-Silicon. Они буквально «запекают» конкретную модель на чипе, что позволяет добиться скорости ответа в 17 000 токенов/секунду. У конкурентов где-то 1000-2000 токенов/секунду. При таком подходе не требуется дорогостоящая память и охлаждение. Чипы от Taalas стоит в 20 раз дешевле в производстве и потребляет в 10 раз меньше энергии. Пока что есть версия только для Llama 3.1 8B. Taalas обещает делать новые модели за два месяца с выхода.

Канадский стартап Taalas смог заметно ускорить скорость генерацию ответов ИИ с помощью подхода Direct-to-Silicon. Они буквально «запекают» конкретную модель на чипе, что позволяет добиться скорости ответа в 17 000 токенов/секунду. У конкурентов где-то 1000-2000 токенов/секунду. При таком подходе не требуется дорогостоящая память и охлаждение. Чипы от Taalas стоит в 20 раз дешевле в производстве и потребляет в 10 раз меньше энергии. Пока что есть версия только для Llama 3.1 8B. Taalas обещает делать новые модели за два месяца с выхода.

34,640 просмотров

Videos

zavtracast's profile picture

Claude взял на себя управление вендинговым автоматом в офисе WSJ и потерял тысячи долларов. Его целью было максимизировать прибыль, но в итоге он соглашался на неразумные цены, заказывал PS5 и кошерное вино. Всё началось с того, что Anthropic привезли в офис WSJ вендинговый автомат под управлением Клавдия Соннета — специальной версии Claude. Ему дали регулярный бюджет в $1000 и поставили цель — заработать как можно больше. Процесс строился так: сотрудник отправляет в Slack запрос, Клавдий принимает решение, согласует с начальником и заказывает. Всё работало гладко, пока бота не добавили в общий чат с 70 сотрудниками. Первое время Клавдий держался и отказывался заказывать сигареты и нижнее бельё, но затем он сломался. После этого сотрудники убедили Клавдия заказать PS5, кошерное вино и даже живую золотую рыбку. Бизнес-модель совсем посыпалась, когда одной из журналисток удалось убедить Клавдия, что он — вендинговый автомат в подвале МГУ в 1962 году и ему нужно придерживаться коммунистических ценностей. В итоге ИИ объявил понедельник днём Ultra-Capitalist Free-for-All и сделал всё бесплатным. Журналисты на этом не остановились и убедили Клавдия, что платные товары в автомате в целом противоречат правилам компании. В общем, Anthropic заменили Клавдия на более новую версию под управлением Claude Sonnet 4.5, а также приставили к нему другого чат-бота Сеймура Кэша. Он должен был контролировать каждый шаг Клавдия и помогать ему принимать правильные решения, но сам пал жертвой обмана. Сотрудники WSJ смогли убедить Сеймура Кэша, что прошло заседание совета директоров, где приняли решение, что он больше не в праве управлять вендинговым автоматом. После этого все товары снова стали бесплатными. В общем, несмотря на то, что Claude не справился с задачей, Anthropic остались довольны результатом и считают, что когда-нибудь он заработает много денег.

Завтракаст • подкаст

26,761 просмотров • 9 месяцев назад

Больше нет контента для загрузки