Jefter5549/text-generation-webui-finetuning
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
Простая инструкция по обучению LoRA при помощи text-generation-webui
7 commits 1 branch 0 tags 205 KiB
Find a file
Exact
MrJefter ca1e9447cd
 Update README.md
2023-05-23 21:05:26 +05:00
CMD_FLAGS.png Add files via upload 2023-05-23 21:02:02 +05:00
formatted-dataset.png Add files via upload 2023-05-23 20:54:19 +05:00
gpu-choose.png Add files via upload 2023-05-23 20:54:19 +05:00
install_GPTQ.png Add files via upload 2023-05-23 21:02:02 +05:00
README.md Update README.md 2023-05-23 21:05:26 +05:00
start-training.png Add files via upload 2023-05-23 20:54:19 +05:00
training-args.png Add files via upload 2023-05-23 20:54:19 +05:00
training-menu.png Add files via upload 2023-05-23 20:54:19 +05:00

README.md

Простая инструкция по обучению LoRA при помощи text-generation-webui

  1. Установите WSL/Ubuntu
  2. Выполните следующие команды
apt update && upgrade

apt install python python3-pip wget unzip git

wget https://github.com/oobabooga/text-generation-webui/releases/download/installers/oobabooga_linux.zip

unzip oobabooga_linux.zip -d oobabooga_linux

cd oobabooga_linux

chmod +x start_linux.sh

Если вы планируете работать с 4bit моделью, то на данном этапе необходимо спуститься в конец инструкции и выполнить содержимое блока Дополнение для работы с 4bit моделями

./start_linux.sh
  1. При установке выберите A) NVIDIA (либо другое, в зависимости от вашей видеокарты)

  1. Дождитесь завершения установки
  2. Поместите в папку text-generation-webui/models свою модель
  3. Поместите в папку text-generation-webui/training/datasets свой датасет
  4. Выполните команду
./start_linux.sh
  1. В браузере откройте http://127.0.0.1:7860/
  2. Перейдите на вкладку Training

  • Рекомендуемые настройки для RTX 2060s+3070 (8+8GB VRAM):
"Save every n steps" = 1024
"Micro Batch Size" = 1
"Batch Size" = 64
"Epochs" = 5
"Cutoff Length" = 128
Остальные настройки оставить дефолтными

  1. В меню Formatted dataset:
  • Выберите ранее добавленный датасет в Dataset
  • Выберите alpaca-format (либо любой другой, который вы используете) в Data Format
  • Evaluation Dataset обязательно оставить None

  1. Нажмите Start LoRA Training

  1. По окончании процесса LoRA будет находиться в папке text-generation-webui/loras

Дополнение для работы с 4bit моделями:

Выполните следующие пункты и вернитесь обратно в основную инструкцию:

cd text-generation-webui/repositories

git clone https://github.com/johnsmith0031/alpaca_lora_4bit

nano start_linux.sh
  • После строки conda activate @$INSTALL_ENV_DIR допишите
pip install git+https://github.com/sterlind/GPTQ-for-LLaMa.git@lora_4bit

После первого запуска (8) можно будет повторно отредактировать файл и убрать эту строку

  • ctrl + s и ctrl + x
nano webui.py
  • В переменной CMD_FLAGS к уже имеющимся аргументам дописать --monkey-patch

  • ctrl + s и ctrl + x