Своя RTX 3090 vs облако: почему локальные нейросети НЕ всегда выгодны

Я уже несколько месяцев запускаю в боевом режиме нейросети. На своей видеокарте у нас есть две RTX390 и одна RTX 3060. 360 нас используется только для транскрибатора, просто потому что она оказалась в этом достаточно хороша. Она работает не сильно медленнее, чем 3090 при конвертации голоса в текст, используя модели Wperперper. И при этом довольно-таки дешёвая в покупке и в плане электричества. А во 3090 мы используем вообще кто во что горазд. как раз-таки используют для текстовых моделей, компьютерного зрения и для генерации изображений. Сегодня хочу поделиться с вами экономикой запуска своих нейросетей. Ну как не своих неросетей, а неросетей на своих видеокартах. Для начала, для того, чтобы это можно было сделать, нам надо собрать нейросетевое ПК. Для этого нужен корпус охлаждение, блок питания, материнская плата, оперативная память, видеокарта, процессор, жёсткий диск для моделей и всё это собрать воедино. Если мы идём по пути экономии, то мы идём на какой-нибудь AliExpress, покупаем разные комплектующие, и нам получалось собрать себе комп с Алика в пределах сотни тысяч руб, где как раз-таки видеокарта занимала больше половины. То есть видеокарта 3090 стоит как раз-таки 50-55. 000 руб., если мы покупаем это на Авито. Когда мы всё это собрали, настроили, расходы только из электричества и обслуживания. Давайте мы в этот раз опустим вопрос обслуживания. Ну, предположим, что видеокарта не умирает никогда. Хотя я, конечно, понимаю, что она умрёт при нашем таком активном использовании довольно-таки быстро. Для того, чтобы понимать, насколько это выгоднее арендных видеокарт, мы возьмём пример с сайта Runpot, где можно запускать какие-то решения на базе видеокарт, используя подход serverless Less, то есть платить вообще за 1 секунду использования видеокарты. Ну просто если мы берём полноценную аренду, то там уже математика совсем другая. Стоимость такой посекундной тарификации составит примерно 1,1 цента в минуту или чуть меньше 1 руб за минуту активной работы видеокарты. Возвращаемся в офис. В офисе видеокарта потребляет 350 Вт максимум, там при самой большой нагрузке. В нашем офисе интелектричество продаётся по стоимости 8 руб. за киловатт/ч. То есть за час прямо активной работы мы потратим всего лишь 3 руб. То есть уже казалось бы, да, у нас получается там 1 руб. в минуту, тут 3 руб. в целый час. То есть экономия исчезается сотнями раз, и надо срочно покупать видеокарту и экономить, запускать свои нейронки. Но есть одно маленькое, но с каждой минуты видеокарты, получается, мы экономим около 1 руб. И спустя всего 100. 000 минут мы купим затрат на этот сервер. Только 100. 000 минут - это получается 1. 00 часов активной работы видеокарты. Я использую видеокарту уже месяца два-три активно на нашем серваке. Ну и мне кажется, у нас набежало на часов 10-15, наверное, вот так вот, чтобы видеокарта активно что-то перемалывала. Если мы говорим про какой-нибудь ранпот, то мы потратили, получается, сколько там долларов 10 за это время. А тут мы уже потратили сотни тысяч рублей для того, чтобы сервак собрать и для того, что и будем это мы окупать ещё несколько лет вперёд, а за эти несколько лет выйдут ещё другие видеокарты. И в итоге получается не очень-то экономически и выгодно. То есть в итоге получается запускать на ранподе выгоднее, если нам конфиденциальность позволяет это делать. У нас есть просто некоторые проекты, некоторые клиенты, у которых есть требования, чтобы это впускалось всё локально. И тут уж как хочешь, но арендную видеокарту использовать нельзя. То есть примерно никогда в нашем случае не опустится тот факт, то