Новый чат-бот Chat with RTX: Перспективы и Возможности

Новая программа для ПК с видеокартами RTX получила название "Chat with RTX".

Она является аналогом ChatGPT, включающим генеративный ИИ на основе большой языковой модели. Программа позволяет запускать одну из доступных языковых моделей — Mistral или Llama 2.

"Chat with RTX" не требует выхода в Интернет и запускается на компьютере локально, в отличие от ChatGPT и аналогов.

Чат-бот дает ответы на вопросы, анализируя локальные документы, сохраненные на ПК, в форматах: txt, pdf, doc, docx и xml. Также он способен анализировать данные из YouTube-роликов, для этого следует ввести URL-адрес, после чего будет отображено краткое содержание видео в текстовом формате.

Для работы чат-бота требуются тензорные ядра RTX, которые ускоряют обработку запросов.

Для использования "Chat with RTX" необходима операционная система Windows 11, не менее 16 ГБ ОЗУ и видеокарта RTX 30 или 40 с 8 ГБ видеопамяти.

В The Verge отметили, что программа пока кажется недоработанной, однако она может быть полезной для журналистов и тех, кто исследует пакеты документов. "Chat with RTX" удобен для поиска конкретных деталей в видео, но есть некоторые нюансы.

Например, для поиска видео на YouTube он не подходит. Пользователи отмечают, что при попытке найти содержание видео The Verge на YouTube, "Chat with RTX" загружал транскрипт совершенно другого ролика. Это явно ошибка в ранней версии программы.

В остальном программа работает достаточно шустро. Журналистам было легко получить релевантный и структурированный набор данных по судебным документам в деле FTC против Microsoft — вручную эта задача казалась непосильной.