NVIDIA выпустила демо-версию чатбота, работающего локально на ПК

NVIDIA представила бесплатную демо-версию чатбота Chat with RTX, который работает локально на вашем ПК. Это довольно интересно, поскольку даёт чатботу доступ к вашим файлам и документам. Вы можете "покормить" его персональными данными, а затем задавать вопросы и получать ответы на их основе.

Компания говорит, что пользователи могут быстро и легко подключить локальные файлы на ПК в качестве датасета для открытой языковой модели вроде Mistral или Llama 2.

NVIDIA приводит пример с пользователем, который спрашивает чатбот о ресторане, рекомендованном его партнёром в Лас-Вегасе. Бот сканирует локальные файлы в поисках ответа. Поддерживается множество форматов: .txt, .pdf, .doc/.docx, .xml и другие. Компания утверждает, что ИИ загрузит релевантные файлы в датасет "за секунды".

Chat with RTX также интегрирован с YouTube. Добавив ссылку на видео в датасет, он использует полученные знания для контекстных запросов. По словам NVIDIA, это поможет в поиске туристических рекомендаций на основе роликов любимых блогеров или при составлении краткого описания образовательного контента.

Издание The Verge уже протестировало бота и осталось довольно чатботом, написав, что видит его пользу в исследовании данных для журналистов и других профессий.

Это большой шаг к реальному цифровому помощнику, работающему в контексте персональных данных. В отличие от других чатботов, здесь данные не отправляются в облако, а обрабатываются локально. Таким образом, Chat with RTX безопаснее и контекстнее.

Есть и ограничения. Это демо-версия, так что стоит ожидать багов. Также есть жёсткие требования к железу: чатбот работает только на ПК с Windows, видеокартами RTX 30 и выше и как минимум 8 Гб видеопамяти.