Neste artigo
A Evolução da Busca Semântica no Ecossistema HubSpot
Nesta semana, a HubSpot revelou os detalhes técnicos de como evoluiu sua infraestrutura de busca semântica de um simples protótipo para um serviço interno de nível enterprise. Hoje, a plataforma, conhecida como VaaS (Vector as a Service), gerencia mais de 20 bilhões de vetores distribuídos entre 38 equipes, oferecendo suporte crítico para sistemas de Retrieval-Augmented Generation (RAG), agentes autônomos e processos complexos de deduplicação de contatos.
O crescimento exigiu uma transição fundamental: a mudança de uma gestão manual baseada em Helm para uma arquitetura orquestrada por um operador próprio em Kubernetes. Para engenheiros de software, esse caso de sucesso exemplifica como a maturidade operacional é tão vital quanto a precisão dos modelos de embedding ao lidar com demandas de alta disponibilidade.
Vector as a Service (VaaS) é a camada de infraestrutura desenvolvida pela HubSpot que abstrai a complexidade do banco de dados vetorial, fornecendo controle de acesso, versionamento de dados e telemetria unificada.
Infraestrutura e o Papel Estratégico do Qdrant
A escolha tecnológica da HubSpot recaiu sobre o Qdrant, que se provou ideal devido à sua capacidade de execução on-premises e suporte nativo a recursos avançados de busca. A empresa valoriza a flexibilidade de rodar o sistema internamente, garantindo integração total com ferramentas de monitoramento, controle de custos, segurança e limitação de taxa (rate limiting) sem abdicar do controle sobre os dados dos clientes.
A adoção do Qdrant permite funcionalidades essenciais para o dia a dia da engenharia de dados, incluindo:
- Named Vectors: Facilitando a organização de diferentes tipos de embeddings.
- Hybrid Search: Combinando técnicas densas e esparsas para maior precisão.
- Weighted Reranking: Otimizando a relevância dos resultados retornados.
- Quantização e Armazenamento em Disco: Mecanismos vitais para o controle rigoroso de custos.
Com mais de 200 índices e 140 clusters espalhados por cinco regiões, o tráfego de escrita do sistema atinge picos de 100.000 requisições por segundo. Essa robustez é um exemplo prático de como organizar infraestrutura para aplicações baseadas em inteligência artificial requer mais do que apenas um banco eficiente; exige uma camada de automação que reconcilie o estado desejado e o real a cada 60 segundos.
Automação e Escalabilidade Operacional
Um dos maiores desafios relatados por Oleg Tereshin e Xin Liu, engenheiros da HubSpot, foi a falência das operações manuais à medida que a carga crescia. O uso de Helm limitava a capacidade do time de realizar chamadas de API, escalar automaticamente com base em métricas externas ou manipular fluxos de trabalho complexos cientes de estado.
A solução foi a implementação de um Kubernetes Operator, que introduziu o conceito de Translators. Esses componentes automatizam ciclos de vida complexos como a criação e decomissionamento de clusters, movimentação de shards e recuperação de replicação. A automação reduziu drasticamente o tempo de inicialização de clusters de horas para poucos minutos, eliminando a necessidade de clusters de espera (standby clusters).
Lições de Mercado sobre Recall e Performance
O mercado de busca vetorial, como visto em ferramentas como Pinecone e implementações internas em grandes empresas, converge para lições universais sobre escalabilidade. O consenso técnico reforça que manter o recall alto, separar computação de armazenamento e tratar a confiabilidade como uma funcionalidade primária são pilares inegociáveis para sistemas de produção.
Para desenvolvedores brasileiros que buscam avançar em suas carreiras de backend, entender essa arquitetura é fundamental. O cenário atual mostra que, quando a busca semântica se torna central para produtos de IA, o banco de dados é apenas a ponta do iceberg; a verdadeira complexidade reside em construir automações robustas que garantam estabilidade diante de demandas crescentes. Acompanhar essas tendências de infraestrutura coloca profissionais à frente em um mercado que prioriza sistemas escaláveis e eficientes.