Нет дневного лимита. Нет квоты токенов. Нет пейволла посреди сцены.
Худший момент в размещённом ИИ-чате, тот, когда разговор идёт, а баннер говорит подождать до завтра или сделать апгрейд. Этот лимит не произволен, каждое твоё сообщение стоит хосту реального времени GPU. У privstory его нет, потому что время GPU, твоё.
Почему размещённые чаты считают тебя
Запуск языковой модели стоит денег за сообщение. Размещённый сервис платит эту цену за каждого человека, поэтому вынужден как-то ограничивать использование: дневное число сообщений, бюджет токенов, баланс кредитов, более медленная модель для бесплатных пользователей или уровень подписки, поднимающий потолок.
Эта механика, прямое следствие того, что модель живёт на их железе. Никакая добрая воля её не убирает, потому что предельная стоимость твоего разговора реальна, и кто-то должен её нести.
Что меняется, когда модель локальна
Модель чата работает в процессе на твоей машине, используя твою GPU или CPU и твоё электричество. Предельная стоимость сообщения для кого-либо ещё равна нулю, так что нечего считать и незачем тебя прерывать.
Нет счётчика, за которым надо следить, нет перезарядки, нет понятия разговора, «слишком длинного» для твоего уровня, и нет разницы в качестве между твоим первым сообщением за день и тысячным. Сцены могут длиться столько, сколько ты хочешь.
Единственный настоящий предел: твоё собственное железо
Честно о компромиссе: локальная генерация ограничена машиной, на которой ты её запускаешь. На недавнем Mac с Apple Silicon или с дискретной GPU ответы приходят в удобном темпе чтения. На встроенной графике они медленнее, а в режиме CPU медленной особенно оказывается генерация изображений.
Это ограничение скорости, а не использования, и оно не сбрасывается в полночь и не просит денег. Хочешь быстрее, ответ в меньшей модели или лучшем железе, и то и другое решаешь ты.
Чем отличается бесплатная версия
Бесплатная версия ограничивает, сколько персонажей и сцен у тебя может быть, по одному, а не сколько ты можешь в них сказать. Объём сообщений неограничен и в бесплатной, и в лицензированной версии.
Разовая лицензия снимает лимиты на персонажей и сцены. Она не добавляет ёмкости сообщений, потому что лимита сообщений, который надо было бы снимать, никогда не было.
Частые вопросы.
Сообщения в бесплатной версии правда неограничены?
Да. Бесплатная версия ограничивает тебя одним персонажем и одной сценой, но в этой сцене ты можешь отправлять сколько угодно сообщений. Нет дневного лимита, бюджета токенов и троттлинга.
Становится ли разговор хуже или короче по мере роста?
Очень длинные сцены в конце концов превышают то, что модель может держать в контексте разом, а это свойство модели в твоём модуле, а не лимит биллинга. Разные модули поставляют разные модели, так что практический потолок зависит от того, какой ты выберешь.
Есть ли вообще какая-то плата за сообщение?
Никакой для нас. Единственные затраты, это электричество и время, которое твоя машина тратит на генерацию ответа. Ничего не оплачивается, не считается и не сообщается.