#52 | Сколько стоит натренировать большую языковую модель? Интервью с инженером и ученым из Meta

 

Получите 10% скидку на любой курс от nFactorial School, используя промо-код turpentine:
nFactorial School (www.nfactorial.school) - онлайн-буткамп востребованных ИТ-профессий. 2000+ выпускников с 2013г, сейчас они работают в Google, Meta, Apple и т.д. Первый эпизод @nfactorialpodcast из Кремниевой Долины. 2-часовой мастеркласс от @arreqe, ученого из Facebook AI Research, и @baur.kr, hardware-инженера в Meta. Сколько стоит тренировка GPT-4, LLaMA (7B-65B)? Что произошло в мире ИИ в 2023г? Как создать ChatGPT для казахского языка? В чем разница A100 и H100? Как произошел дефицит чипов? Спасибо @silkroad_innovation_hub за замечательную подкаст-площадку! Друзья, новый сезон nFactorial Podcast уже здесь и его можно назвать «IT по-казахски в Америке. Гостями первого эпизода были Арман Жармагамбетов, исследователь в области ИИ из Meta, и Баур Крыкбаев, разработчик ИИ-чипов из Meta. Мы поговорили про исследования Армана, процесс тренировки больших языковых моделей и о том, сколько на это уходит денег, и узнали о том, что произошло в области ИИ за последний год. А ещё Баур рассказал нам о том, как он через загадочную вкладку Google попал на работу в Google и изменил свою жизнь. Мы не могли отпустить Армана с Бауром, не спросив про Llama и ChatGPT на казахском языке и не попросив у них рекомендаций по изучению ИИ. Спасибо, что остаётесь с нами и поддерживаете нас просмотрами, комментариями и репостами. Приятного просмотра, друзья! Арман Сулейменов: https://www.instagram.com/armansu/
Арман: https://www.instagram.com/arreqe/
Баур: https://www.instagram.com/baur.kr/
Подписывайтесь на nFactorial в соцсетях: Instagram: https://www.instagram.com/nfactorialpodcast
TikTok:
nFactorial School: https://www.instagram.com/nfactorial.school
Продюсер: https://www.instagram.com/good.years/
Таймкоды: 00:00 Show must go on! 01:55 Сколько стоило натренировать GPT4? 02:26 Сколько стоило натренировать Llama? 04:04 Чем занимается Арман? 07:04 Чем занимается Баур? 12:03 Как Баур случайно устроился в Google? 17:04 Что произошло в AI за последний год? 22:28 Что такое параметр? 24:47 Изменения в hardware за год 28:07 Какие инструменты использовать для стартапа? 35:14 Как зафайнтюнить Llama для казахского языка? 36:37 Как сделать ChatGPT на казахском? 42:39 Как большой компании сделать ИИ инструмент для больших данных? 52:20 Какое нужно железо? 52:31 Что такое CUDA? 56:33 Почему PyTorch победил? 01:02:20 Почему произошел дефицит чипов? 01:09:52 В чем отличие CPU от GPU? 01:15:34 В чем разница между A100 и H100? 01:21:09 Какие существуют Image generation модели? 01:22:23 Open source vs closed source 01:31:46 Мифы общества про AI 01:40:36 Ресурсы для изучения AI 01:49:05 Вопрос для аудитории #nfactorial #podcast #chatgpt #искусственныйинтеллект #кремниеваядолина #openai