Spotify представил Klio – фреймворк с открытым исходным кодом

Klio — это экосистема, позволяющая разработчикам обрабатывать аудиофайлы или любые другие бинарные файлы любого масштаба.

Работа над Klio началась в начале 2019 года. Прототип был собран осенью, и позже в том же году, сыграл важную роль в запуске функции Spotify в производство. Теперь разработчики Spotify используют Kilo для объединения конвейеров, которые строятся на внутренней работе и используют преимущества API-интерфейсов для всего аудио.

Созданная Spotify, Klio управляет крупномасштабными аудио-интеллектуальными системами на цифровой музыкальной платформе и используется командами инженеров и исследователей аудио для помощи в разработке и внедрении аудиоалгоритмов нового поколения.

Klio построен на базе Apache Beam, а задания представляют собой упорядоченные пайплайны данных в Python (потоковые или пакетные). Настроенный для обработки аудио и двоичных файлов, цель этого фреймворка — создать более интеллектуальные пайплайны для аудио.

Spotify построил Klio как стандартизированную платформу для анализа аудио, позволяющую командам использовать общую полезную основу вместо того, чтобы дублировать работу друг друга. Klio снижает операционную и backend инженерную нагрузку на эти команды, позволяя им сосредоточиться на обработке, машинном обучении и другой алгоритмической работе.

Klio предназначен для обработки мультимедиа и может использоваться в облачной инфраструктуре или локально на компьютере пользователя. Klio фокусирует Beam на анализе, манипулировании и преобразовании больших двоичных носителей (например, изображений, аудио, видео), где контент в его родной форме не может действительно поместиться или быть проанализирован в базе данных каким-либо значимым образом.

Экосистема Klio состоит из нескольких отдельных пакетов Python. Кроме внутренних, есть некоторые пользовательские пакеты: klio-cli, klio и klio-audio.

Пайплайны Klio

Пайплайн или программный конвейер Klio использует ссылочные идентификаторы для аудиофайлов из входов событий. Он загружает эти файлы на рабочие машины, запускает алгоритмы обработки, такие как librosa, ffmpeg, обученные модели машинного обучения, что-либо в этих файлах, а затем сохраняет полученный результат в выбранном хранилище данных.

Алгоритмы обработки могут быть основаны на ML либо на Python. По словам разработчиков, возможности Klio могут быть расширены до обработки всего массива носителей или до одного элемента для быстрой итерации.

Как Spotify использует Klio

Spotify использует Klio для запуска своих интеллектуальных аудио-платформ, которые обеспечивают функции звука, аспекты платформы аудиорекламы, а также рабочий процесс исследования звука. Кроме того, разработчики используют Klio для таких задач, как запуск моделей Tensorflow над аудиофайлами, создание нового звука из существующего в таких областях, как аудио-дактилоскопия и генерация рекламы, а также сохранение проанализированных данных в базы данных.

Зачем использовать Klio

Фреймворк помогает организациям создавать системы обработки мультимедиа, которые совместно используют инструменты и инфраструктуру между производственными системами и исследовательскими группами. Кроме того, Klio предоставляет архитектуру, которая поощряет многократно используемые задания и совместные выходы, снижая затраты на обслуживание и повторные вычисления, а, также, обеспечивает непрерывную управляемую событиями обработку быстрорастущих каталогов контента.

Этот фреймворк также помогает организациям, предоставляя ряд преимуществ:

• Исследователи получат выгоду от работы с той же инфраструктурой, что и инженеры, отвечающие за производственные системы, а также от вычислительной мощности для полных каталогов контента;
• У инженеров есть более простой фреймворк для непосредственного выполнения больших заданий по обработке мультимедиа, созданных исследователями, когда они уже используют те же самые фреймворки для разработки;
• Организации получают выгоду от этих пайплайнов сразу же по мере добавления нового контента, позволяя обрабатывать новый контент немедленно при приеме через потоковый пайплайн, а обратные загрузки обрабатываются, как пакетное задание с тем же кодом.

Заключение

Klio предназначен в первую очередь для инженеров и исследователей — в настоящее время требуется от 50 до 60 строк кода, чтобы реализовать возможности базовой платформы в проекте.

Прежде чем начинать работать с Klio, необходимо понять основы Google Pub / Sub и пакета разработки ПО Python Apache Beam, как они работают, как писать пайплайны Beam, шаги по запуску задач Beam для потока данных и многое другое.

По словам разработчиков, этот фреймворк в настоящее время находится в стадии быстрой разработки, а это означает, что API и функции будут развиваться.