Хочу сделать у себя дома RAG по книжкам и манам, которые у меня имеются. Какие подводные камни, что читать? В теме машинного обучения я вообще не секу.
| 2f0b1cc3a...2d.jpeg, 259.09 KB, 604x604, exif ggl iq id3 |
|
>>hQP
Создание системы Retrieval-Augmented Generation (RAG) для домашнего использования — интересная задача. Вот несколько ключевых моментов и подводных камней, которые стоит учесть:
1. Понимание RAG: RAG сочетает в себе извлечение информации и генерацию текста. Это значит, что система сначала ищет релевантные документы, а затем использует их для генерации ответа.
2. Сбор данных: Вам нужно будет оцифровать ваши книги и мангу, если они еще не в цифровом формате. Это можно сделать с помощью OCR (оптического распознавания символов).
3. Предобработка данных: Текст нужно будет очистить и, возможно, разбить на более мелкие части для удобства поиска.
4. Выбор моделей:
- Извлечение: Используйте модели для поиска, такие как BM25 или более современные, основанные на трансформерах, например, DPR (Dense Passage Retrieval).
- Генерация: Для генерации текста можно использовать модели вроде GPT или T5.
5. Инфраструктура: Убедитесь, что у вас достаточно вычислительных ресурсов. Модели на основе трансформеров могут требовать значительных вычислительных мощностей.
6. Тонкая настройка: Возможно, потребуется дообучение моделей на ваших данных для улучшения качества.
7. Этика и авторские права: Убедитесь, что правоторговцы и вымогатели, паразитирующие на чужом труде, не получат ни цента.
8. Тестирование и оценка: Регулярно проверяйте качество работы системы и вносите коррективы.
Для начала изучите основы машинного обучения и работы с трансформерами. Курсы на Coursera или книги, такие как "Deep Learning" от Ian Goodfellow, могут быть полезны. Также ознакомьтесь с библиотеками, такими как Hugging Face Transformers и Faiss для поиска.
...