A Photoroom, plataforma de edição de fotos com tecnologia de IA que processa mais de sete bilhões de imagens por ano, anunciou hoje o lançamento do PRX, seu modelo de texto para imagem desenvolvido internamente e treinado do zero em GPUs NVIDIA Hopper. Ao contrário da maioria dos lançamentos de modelos que divulgam apenas os pesos finais, a Photoroom está publicando todo o processo de treinamento, incluindo decisões de arquitetura, métodos de aceleração, compromissos de desempenho e técnicas pós-treinamento, tornando o treinamento de difusão de alta resolução mais transparente e reproduzível para equipes de engenharia que trabalham em grande escala.
“Trata-se de reduzir as barreiras para a criação e compreensão de modelos de texto para imagem de alta qualidade”, afirmou Matt Rouif, CEO e cofundador da Photoroom. “Ao disponibilizar o PRX como código aberto e publicar todo o processo de treinamento, estamos oferecendo aos engenheiros uma referência prática com a qual eles podem aprender e se basear, desde escolhas de arquitetura e eficiência de treinamento até o custo de inferência na infraestrutura e no software de IA da NVIDIA. Muitas vezes, as equipes obtêm os pesos finais, mas não as decisões que os moldaram. Estamos tornando essas decisões visíveis para que o PRX possa servir tanto como um modelo aberto robusto quanto como um manual prático para o treinamento e a implantação de sistemas de texto para imagem de alta resolução.”
O PRX foi treinado do zero, em vez de ser ajustado a partir de um modelo básico existente. A Photoroom, membro do programa NVIDIA Inception para startups, treinou o atual checkpoint de 1,3 bilhão de parâmetros para 1,7 milhão de etapas em cerca de 15 dias em 32 GPUs NVIDIA Hopper, com documentação detalhando a arquitetura, a otimização e as decisões de dimensionamento por trás do lançamento.
Além do treinamento em escala real, a Photoroom realizou experimentos de 24 horas, alcançando uma produção de 1 megapixel a um custo de computação de aproximadamente US$1.500, demonstrando como os experimentos de difusão de alta resolução podem ser estruturados para reduzir as barreiras de infraestrutura para as equipes de pesquisa.
Como a maioria dos sistemas de difusão modernos depende de autoencoders variacionais para comprimir imagens antes do treinamento, o PRX inclui experimentos que reduzem a dependência dessa etapa de compressão, testando abordagens de previsão mais diretas em nível de pixel, permitindo a análise de como a estabilidade, a fidelidade visual e a eficiência computacional mudam quando a compressão é minimizada.
Um dos primeiros exemplos da acessibilidade da PRX vem de Steve Anderson, fundador da Lighthouse Software, que utilizou o modelo de código aberto para criar um explicador visual interativo que mostra como os modelos de difusão geram imagens passo a passo, incluindo a progressão da redução de ruído, a mistura rápida e os ajustes da escala de orientação.
“A possibilidade de executar o PRX localmente no meu MacBook e gerar todos os exemplos sem depender de GPUs na nuvem tornou possível experimentar diretamente e demonstrar como o modelo navega do ruído à imagem de uma forma transparente e prática”, afirmou Steve. “O acesso a um modelo aberto como o PRX permitiu-me analisar como estes sistemas se comportam internamente sem necessitar de infraestrutura especializada.”
O desempenho da inferência também foi avaliado na infraestrutura de IA da NVIDIA e otimizado usando NVIDIA TensorRT e NVIDIA Dynamo-Triton, com melhorias na latência e na taxa de transferência reduzindo diretamente o custo de geração por imagem em escala.
O modelo suporta prompts multilíngues, incorporando capacidade linguística na fase de codificação de texto, para que a geração de imagens não se limite a fluxos de trabalho apenas em inglês.
Além de liberar pesos sob uma licença Apache 2.0, a Photoroom está publicando comparações de arquitetura entre variantes de transformadores de difusão, técnicas de aceleração de treinamento, experimentos de hiperparâmetros e métodos pós-treinamento como parte de uma série de pesquisas em andamento, posicionando o PRX como uma linha de pesquisa aberta contínua, em vez de um único lançamento de ponto de verificação.
