Voice stuff

Computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku (🔥 Score: 178+ in 57 minutes)

Link: https://readhacker.news/s/6gFKX
Comments: https://readhacker.news/c/6gFKX

В ВК сейчас есть грантовая программа по созданию каналов. Может кто-то хочет со мной побрейнштормить идею видео проекта? Как вы помните, я верю в контент и очень люблю это.

Это может быть что-то, что вы хотели бы видеть на вк/ютюбе, не обязательно что-то, в чём вы хотите участвовать.

Идеи присылайте на @frappuccino_o

https://vkvideo.vkgrants.ru/

After spending some hours on F5, I found passion to finalize this small post. I'm telling this for quite some time already though.

https://alphacephei.com/nsh/2024/10/18/tts-design.html

Nvidia выпустила какую-то очень крутую модель для генерации изображений. Я ещё не игрался, но вы просто почитайте аннотацию.

https://nvlabs.github.io/Sana/

Из реализации FLUX в diffusers

Модель, которая позволяет не только сказать что звуковое событие было, но и сказать в какой промежуток времени оно случилось. При этом, модель обучается без этой самой разметки на таймкоды событий.

https://github.com/Audio-WestlakeU/audiossl

Еще одну SOTA мультимодальную зарелизили. Бьет много каких моделей.

https://huggingface.co/rhymes-ai/Aria

https://github.com/SWivid/F5-TTS

A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching

This paper introduces F5-TTS, a fully non-autoregressive text-to-speech system based on flow matching with Diffusion Transformer (DiT). Without requiring complex designs such as duration model, text encoder, and phoneme alignment, the text input is simply padded with filler tokens to the same length as input speech, and then the denoising is performed for speech generation, which was originally proved feasible by E2 TTS. However, the original design of E2 TTS makes it hard to follow due to its slow convergence and low robustness. To address these issues, we first model the input with ConvNeXt to refine the text representation, making it easy to align with the speech. We further propose an inference-time Sway Sampling strategy, which significantly improves our model’s performance and efficiency. This sampling strategy for flow step can be easily applied to existing flow matching based models without retraining. Our design allows faster training and achieves an inference RTF of 0.15, which is greatly improved compared to state-of-the-art diffusion-based TTS models. Trained on a public 100K hours multilingual dataset, our Fairytaler Fakes Fluent and Faithful speech with Flow matching (F5-TTS) exhibits highly natural and expressive zero-shot ability, seamless code-switching capability, and speed control efficiency. Demo samples can be found at https://SWivid.github.io/F5-TTS. We will release all code and checkpoints to promote community development.

Sound examples are greatest I’ve ever heard.

Почему модели генерации изображений не умели генерировать тексты?

Я всегда думал что это просто недостаточный обучающий сет, либо задача слишком сложная, либо разрешение латентов недостаточное. И у меня даже был план обучить SDXL на текстах и сгенерировать датасет для этого (картинка прилагается. Но там всё неправильно)

Оказалось что просто CLIP энкодер слабоват. Генерация изображений нормально работает только с хорошим энкодером текстов. Во ВСЕХ работах, где заменяли CLIP на T5 или на что-то подобное, тексты генерируются хорошо.

Причём, можно выбросить вообще оба CLIP энкодера из SDXL и оставить только один T5 и всё равно будет лучше типография.

Ключевая статья:
https://arxiv.org/html/2403.09622v1

Другие примеры помимо FLUX и SD3:
https://github.com/deep-floyd/IF
https://github.com/TencentQQGYLab/ELLA

⛔ Сколько человек сказало вам нет?

Всем стартаперам посвещается:

1. Если есть отказы — то ты хоть что-то сделал, а если их нет, то ты нихера не делал.

2. Если нет отказов — значит, ты не пробовал продать. Даже 1к рублей наликом продать за 100 рублей на улице очень сложно. Надо получить явный отказ — это показатель, что ты наконец-то начал искать реальную ценность.

3. Один чел ко мне три раза приходил с ботом для аватарок. Я рассказал, что можно улучшить, и на этом диалог кончился. Но с меня не попросили денег, не попросили пошерить друзьям. Не получили ЯВНЫЙ ОТКАЗ.

4. У тебя конверсия 2-3% в продажу в лучшем случае, поэтому тебе надо получить 97 РЕАЛЬНЫХ отказов, чтобы заработать.

5. Ща будет сексизм, сори, может так вы лучше поймете:

Подошел на дискотеке, потанцевал в клубе рядом с девушками, ни с одной не поговорил, не предложил поехать к тебе и считаешь, что сделал пикап подход?

Но это не подход, а херня, ты просто потратил денег на вход и коктейли. 
Wake up, Neo! 🐇

Автор: @scrnsht

🤯 Энтузиаст дропнул запрос, который помогает Claude 3.5 Sonnet превзойти OpenAI o1 в рассуждениях! Промпт запускает целую цепочку мыслей из 20-50 шагов перед тем, как выдать ответ.

В некоторых тестах такой подход позволил Claude 3.5 Sonnet достичь уровня GPT-4 и o1. Запрос будет работать не только в Claude, но и во многих других LLM, чтобы поднять их эффективность на максимум.

Сохраняйте, чтобы попробовать — тут.

_______
Источник | #notboring_tech
@F_S_C_P

Стань спонсором!

</openai>

Were RNNs All We Needed?

Статья о minLSTM и minGRU. Исследователи проделали хорошую работу и изучили чем именно хороши трансформеры и мамба. Покумекали и решили что главная беда LSTM в том, что backpropagation там идёт через токены по времени и из-за этого они медленные капец. Убрали зависимость от предыдущих токенов и назвали minGRU. Напомню, что трансформеры параллельные и обучаются на всей последоватеьности за один такт видеокарты, закрывая токены маской.

Автор этого канала читает только abstract и картинки, поэтому в том как устроена minGRU он до конца не разобрался. Но приглашает вас нарисовать свою схемку в комментариях и всё пояснить.

https://arxiv.org/pdf/2410.01201

Единственный рабочий Text Inversion для SDXL, который я нашёл.

https://github.com/oss-roettger/XL-Textual-Inversion

New Whisper model large v3 turbo

https://github.com/openai/whisper/pull/2361