O Cluster e as consultas do Google: lições a aprender

Eu gostaria de publicar aqui, ipsis litteris, as três páginas do livro Organização Estruturada de Computadores que tratam do tema Computação de cluster (págs. 368 a 370). Nelas, o prof. dr. Andrew S. Tanenbaum usa o Google para ilustrar.

Mas o conteúdo ficaria muito extenso e poderia desmotivar a leitura de alguém.

O brilhante professor primeiro explica como uma consulta é processada nos sistemas do Google. Veja:

Cabe destacar que o Google possui várias centrais de dados no mundo todo e que o IP do usuário que está fazendo a pesquisa é inspecionado para saber o país de origem, e então é direcionado para a central mais próxima dele.

Ele aborda esse assunto, ilustrando com o diagrama acima, para explicar como é a arquitetura de cluster do Google.

Nas centrais de dados  são encontradas, no mínimo, uma conexão de fibra óptica OC-48 (2,488 Gbps) com a Internet e outra de backup OC-12 (622 Mbps) com outro provedor (isso já resulta em redundância). Sem contar as centrais de geração de energia, movidas a potentes motores, para “manter o espetáculo em cena” nas palavras dele.

Interessante a análise sobre como empresas que têm necessidade de manipular grandes bancos de dados decidem comprar os computadores maiores, mais rápidos e mais confiáveis. O Google faz exatamente o oposto! “Comprou PCs baratos, de desempenho modesto. Muitos deles. E, com eles, montou o maior cluster de prateleira do mundo”, comenta Tanenbaum.

Veja como é o cluster do Google. Não só os links de Internet são redundantes, como também os switches (comutadores).

Prof. Tanenbaum segue explicando a lógica por trás da decisão do Google por essa arquitetura, contrapondo os valores pagos em PCs baratos com relação a servidores multiprocessados de alto desempenho.

Também comenta sobre falhas. Ora, todo equipamento falha; tanto os primeiros quanto os últimos, portanto, o Google transferiu a inteligência para os softwares, que fazem o trabalho sujo de identificar as falhas, isolá-las, usar a redundância prevista e manter o serviço de busca no ar (bem como o serviço de anúncios, que é sua galinha dos ovos de ouro!).

Essa arquitetura do Google dá as seguintes lições:

1. Componentes falham, portanto planeje a falha
2. Duplique tudo para manter a vazão e a disponibilidade
3. Otimize preço/desempenho

O primeiro item diz que é preciso ter um software tolerante a falhas. O segundo, que hardware e software precisam ter redundância (os dados do Google são replicados continuamente, o que implica que, mesmo que uma central inteira de um país fique indisponível, o serviço ao usuários permanecerá no ar). E o último é uma consequência dos dois primeiros.

É simples: “até componentes de alto custo, como dispositivos SCSI ligados em RAID falham, portanto, gastar dez vezes mais para reduzir a taxa de falhas à metade é uma má ideia! Melhor comprar dez vezes mais em hardware e tratar as falhas quando elas ocorrerem. No mínimo, ter mais hardware resultará em melhor desempenho quando tudo estiver funcionando”, conclui o ilustre prof. Tanenbaum.

Por Wagner Pereira | WPereira Tecnologia

@wpereiratecno

Website do Tanenbaum:
http://www.few.vu.nl/~ast/

Bibliografia:

Tanenbaum A. S. ORGANIZAÇÃO ESTRUTURADA DE COMPUTADORES 5ª EDIÇÃO Copyright: 2009, 5ª edição 449 páginas

Glossário:

Cluster = um conjunto de computadores, que utiliza um tipo especial de sistema operacional classificado como sistema distribuído…os quais são ligados em rede e comunicam-se através do sistema, trabalhando como se fossem uma única máquina de grande porte.

SCSI = Small Computer System Interface, é uma tecnologia que permite ao usuário conectar uma larga gama de periféricos.

RAID = Redundant Array of Independent Drives, é um meio de se criar um sub-sistema de armazenamento composto por vários discos individuais, com a finalidade de ganhar segurança e desempenho.

Fontes:
http://pt.wikipedia.org/wiki/Cluster
http://pt.wikipedia.org/wiki/SCSI
http://pt.wikipedia.org/wiki/RAID

Licença Creative Commons
A obra Post no S3 Blog de Wagner Pereira WPereira Tecnologia Consultoria S3 foi licenciada com uma Licença Creative Commons – Atribuição – Uso Não-Comercial – Partilha nos Mesmos Termos 3.0 Não Adaptada.

Anúncios

One Response to O Cluster e as consultas do Google: lições a aprender

  1. Sorprendente post. Gracias por aportarlo…Espero màs…

    Saludos

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s