Grace Hopper

тренировал я на том же датасете и с теме же вариациями параметров, что и при использовании Dev модели. в целом, рендеры, конечно, несколько более простые получаются, но Schnell, и всё, что вы произвели с помощью нее, можно абсолютно свободно использовать в коммерческих целях. кроме того эта модель заметно менее требовательна к ресурсам компьютера.

перед воркшопом про ChatGPT надо бы закончить серию про Flux, давайте сегодня-завтра с этим разберемся. Поговорим про тренировку LORA на основе Schnell модели. вообще, такое как бы нельзя делать, так как сама модель не приспособлена для этой задачи, но разработчики из Ostris подготовили специальный адаптер, который позволяет решить проблему. в коде Google Colab надо дополнительно прописать ссылку на модель и адаптер, а также заменить параметры для тестового рендера. я уже это сделал, вот ссылка
#comfyui #lora #flux

На прошлой неделе Marina Smirnova провела замечательную серию вебинаров на тему Daylight Asessment (не подобрал емкого перевода, так что пусть будет на английском). Прямую ссылку на группу, где лежат записи, не дам, много ботов развилось тут, но вы легко найдете сообщение от Марины в чате, что прикреплен к этому каналу, где она всех приглашала присоединиться. Кто занимается темой энергоэффективности и устойчивого проектирования, это очень ценный материал для вас. #education

Информация по предстоящему воркшопу "интеграция ChatGPT и Revit":

0. Преподаватель: Анатолий Разинков, архитектор и BIM специалист в компании Strabag в Штутгарте.
Куратор: Альберт Сумин, администратор этого канала

1. Расписание: у нас будет 3 занятия + день консультаций по курсовым проектам + день финальной презентации.
Даты занятий: 23, 24 и 30 ноября.
Консультация: 1 декабря.
Защита проектов: 5 декабря.
Все эти встречи будут начинаться в 19:00 по центральноевропейскому времени (в Москве 21:00). Тут лежит таблица с расписанием.
Все встречи будут проходить в Zoom.
До начала занятий есть смысл посмотреть наш обзорный вебинар.

2. Курсовая работа. Воркшоп предполагает, что каждый участник сможет (если захочет) при поддержке преподавателей придумать собственный скрипт и реализовать его. В конце воркшопа состоится открытая презентация.

3. Каждое занятие будет длиться 1.5 часа (но, кто уже у меня был на курсах, знают, что в реальности может быть несколько дольше, в общем, как пойдёт), и обязательно будут записи, которые останутся у вас навсегда. На первом занятии мы рассмотрим, как интегрировать Chat GPT в Revit. На втором занятии напишем несколько скриптов, в которых участвует Chat GPT (примерно такие скрипты, как мы показывали на вебинаре). И третье занятие будет посвящено созданию простого пользовательского интерфейса для общения с Chat GPT внутри Revit, чтобы GPT помнил контекст (при запуске простых скриптов, он каждый раз с чистого листа работает, не запоминая предыдущие действия и проблемы)

4. Стоимость воркшопа составит 100 eu или 11 тыс. руб.. Для оплаты напишите мне ( @aliksumin ) личное сообщение. После оплаты мы добавим вас в специальный чат, где можно будет задавать вопросы по курсу и где будут размещаться материалы и записи.

5. Доступ к Chat GPT и Revit. В рамках воркшопа мы не предоставляем программное обеспечение. То есть, если вы хотите выполнить курсовую работу и повторить примеры, которые мы будем демонстрировать, вам нужно самостоятельно установить Revit 2023 или новее, а также зарегистрироваться на платформе Open AI для получения API key (это платно, но не очень дорого, во время курса вы вряд ли потратите больше пары евро). Вот здесь наша инструкция про то, как это сделать.

6. Если у вас нет вариантов, как получить доступ к ChatGPT, но записаться на воркшоп всё равно есть желание, то так тоже можно.

7. Воркшоп в ближайшее время повторяться не будет.

#ai #education #llm #revit

и вот еще пример с другим seed. напомню, что датасет представлял собой фотографии проектов Coop Himmelb(l)au. вывод можно сделать такой, что если использовался датасет с описаниями, элементы реальных зданий из портфолио компании заимствуются буквально. это конечно можно нивелировать, снижая вес lora при рендере или смешивая ее с другими моделями. если же описаний нет, то остается, скорее, общая стилистика, без прямого следования датасету. и то, и другое может быть нужно в разных ситуациях.

давайте сравним: это рендеры с абсолютно одинаковыми промптами, сидами и вообще всеми параметрами, разная только lora. обучались lora модели тоже на одинаковых сидах и одинаковых параметрах, но для первой картинки используется lora, где в датасете были описания, а для второй были только картинки (cами картинки ровно те же, что и в первом датасете).

интересная особенность тренировки моделей для Flux в том, что описания в датасете вообще не обязательны, достаточно папки только с картинками. виноват в этом t5 encoder, который в чем-то llm (large language model), и может сам такие описания делать. возможно вы замечали, что t5 и в comfyui в алгоритмах под flux используется наряду с привычным clip (привычным по sdxl и более ранним версиям sd) , там это нужно, чтобы более точно интерпретировать ваш prompt, ну а при обучении, чтобы интерпретировать описания или даже составлять их.

#comfyui #lora #flux

есть еще всякие нюансы, мы их в следующий раз рассмотрим, но, в целом, этой информации достаточно для начала работы по тренировки собственных моделей.

затем идите в меню Runtime > Restart session and run all. на первом шаге Colab попросит вас подключиться к Google Drive, а дальше все пойдет автоматически, вам нужно только мониторить папку с результатами, чтобы смотреть тестовые рендеры, и если что-то пойдет не так, остановить процесс. для остановки процесса выберете команду Runtime > Disconnect and delete runtime

если эти параметры настроены, то уже можно запускать процесс обучения. выберете Runtime Type, как показано на скриншоте.

conten_or_style - простой переключатель, тут из названия все очевидно, выбираете, что вам важнее стиль изображения, контент или то и другое вместе

metainfo_name и metainfo_version - информация, которая будет вшита в модель, на процесс обучения эти параметра само собой не влияют

image_width и image_height - разрешение изображений, которое будет использоваться для тестовых рендеров. тут разумно оставить 1024x1024

Три параметра, которые более всего влияют на процесс обучения:

- network_rank отвечает за то, как много разных деталей на изображениях из датасета сможет запомнить и потом использовать LORA. чем больше значение параметра, тем больше внимания деталям, но и вес LORA в итоге будет больше. таким образом, если для вас важен общий стиль изображения, а не отдельные элементы, то ставьте что-то в районе 16 или 32. если важны детали, то 64 или даже 128.

- learning_rate отвечает за то, как быстро будет обучаться модель. диапазон значений здесь от 0,0001 до 0,0015. чем выше значение, тем быстрее вы достигнете состояния переобученной модели. обычно, чем меньше ваш датасет, тем больше нужно ставить learning_rate, иначе есть риск, что будете тратить очень много времени и денег. риск небольшой, так как у нас есть тестовые рендеры и по ним можно сделать выводы и остановить процесс. ну и через steps_number можно задать предел, когда процесс остановится сам

- steps_number - количество шагов обучения. чаще всего оптимальное количество для датасета из 50 изображений лежит в районе между 2000 и 4000 шагов.