Решил делать ИИ с RAG-хранилищем по электронике и ламповой технике. Буду наполнять RAG книжками и другими документами по этой тематике, а также документировать конфигурацию ИИ: какая LLM, на чем хранилище, какие-то отдельные настройки и т.п.
Основными задачами своего ИИ я ставлю:
- Генерацию идей для новых проектов
- Чат-бота по справочной информации, который бы помогал отвечать на вопросы и делать расчеты в том числе
- Сбор источников информации, т.н. датасета на будущее
А моя цель - изучение возможностей ИИ в этой области, и технологий в целом.
RAG - Retrieval Augmented Generation - это LLM, дополненная источниками информации, которых нет в самой LLM. Т.е. обращаясь к чат-боту мы получаем от него ответ на основании данных, которые сложили в хранилище.
Основные компоненты системы:
- Компьютер
- Система, на которой крутится LLM, и которая обеспечивает возможность чата
- Векторная БД
- ...
В качестве интерфейса для LLM/RAG я использую Anything LLM, это очень просто и удобно. К ней подключаю llama3.1 8b (в настоящий момент 23.08.24) через Ollama.
1) Качаем и запускаем Ollama. 2) Для загрузки llama пишем в командной строке Windows ollama run llama3.1 (напомню, это для 8b модели), она весит 4,7 Гб. 3) Качаем и запускаем Anything LLM. 4) Настройки LLM:
Источниками информации могут быть книги в формате текста (в т.ч. markdown) или в формате PDF, хотя в качестве распознавания PDF я совсем не уверен.
Всё это, конечно, получено очень разными способами, и имеет разное качество. Если кому-то нужно что-то из источников - попросите, пришлю.
| № | Название, автор, год | Формат | Комментарий |
|---|---|---|---|
| 1 | Никитин В.А. Как рассчитать и изготавить силовой трансформатор. ДОСААФ СССР, 1984. | MD, PDF | Перевел в MD сам, хорошее качество |
| 2 | Column 2 Item 2 | Column 3 Item 2 |