Novo serviço: Marreta

26/11/2024 · Rodrigo Ghedin

O PC do Manual, nosso servidor de aplicações de código aberto, ganhou um novo serviço: o quebrador de paywalls Marreta.

O Marreta substitui o antigo Parede, que era baseado em um projeto pronto, o Ladder. (O novo nome faz mais sentido, né?) Desenvolvido pelo Renan Altendorf, traz mais recursos, é mais informativo e está em desenvolvimento ativo e acelerado.

“Embora o Ladder seja uma alternativa open source interessante, senti a necessidade de explorar soluções em uma linguagem de programação que que tivesse mais confortável”, diz Renan. “Além disso, estava em uma fase de aprendizado com projetos como o Lerama e o Sintoniza, que me inspiraram a criar novas abordagens para resolver desafios similares.”

O Marreta é uma aplicação em PHP. Segundo seu criador, ela “faz uma requisição nos sites simulando alguns bots, com headers específicos, DNS, user agents — o mais próximo de um usuário comum — e, em seguida, guarda todo o código HTML original dessa pagina de forma compactada”. Algumas dessas palavras não estão na Bíblia, mas funciona!

Ele continua: “Ao acessar a página, existe um sistema de regras globais e específicas por domínios que remove elementos, scripts, classes, IDs e até mesmo escreve novos códigos personalizados.”

O mais importante é que funciona lindamente.

***

Existem várias formas de se usar o novo serviço. A mais simples é copiar o link da notícia que você não está conseguindo ler e colá-la no site do Marreta.

Também dá para agilizar esse processo editando o link da notícia. Digamos que você tenha batido no paywall de https://sitedojornal.com/noticia-qualquer. Para acessá-la via Marreta, edite o endereço, assim: marreta.pcdomanual.com/p/https://sitedojornal.com/noticia-qualquer.

Quer algo mais fácil ainda? Copie o bookmarklet no site do Marreta para os seus favoritos e ative-o com apenas um clique.

Para quem tem familiaridade com desenvolvimento, uma API REST é disponibilizada para integração a outros sistemas. Detalhes lá no site.

Em breve, teremos um robô no Bluesky. Joselito está desenvolvendo o código.

***

O Marreta derruba a maioria dos paywalls, mas não todos. Sites que sabemos não funcionar retornam uma mensagem de erro. Essa lista é atualizada de modo contínuo.

Note, ainda, que o Marreta não remove anúncios dos sites. O sistema apenas derruba paywalls.

O código está aberto no nosso GitHub. Contribuições de código, sugestões de melhorias e avisos de erros/problemas são bem-vindos.