02 de Setembro de 2010 (17:15) -  Estamos verificando o problema de conectividade e acesso ao data center da GVT – no momento o acesso aos dominios hosteados no Brasil estão apresentando falhas ininterruptas.

(19:25) – A instabilidade continua a ocorrer afetando os acessos dos dominios hospedados no Data Center Brasil.

(19:50) – O acesso esta estável com todos os sites e sistemas sendo acessados normalmente – está sendo usada no momento pela GVT uma rota de dados diferenciada para normalizar o acesso aos servidores até finalizarmos os estudos para identificarmos o erro ocorrido.

Status: Em Andamento

01 de Julho  de 2010 (10:00) -  Novo problema esta ocorrendo no data center da GVT – problemas de roteamento de tráfego, ocasionando perda de pacotes e acesso aos sites hosteados. Estamos trabalhando em conjunto com a GVT para tentarmos identificar o problema e aplicarmos sua solução mais rapidamente.

Este problema esta afetando apenas o cluster de servidores no Brasil (cluster01brasil, cluster02brasil e cluster03brasil).

No momento, 11:50, sem previsão de normalização dos serviços.

(14:00) – O link usado foi substituído, o acesso aos sites ainda se mostra lento, mas gradativamente teremos a volta total da conexão.

Informações enviadas pela GVT sobre o problema:

Desde ontem às 23:00 horas, horário de Brasília-DF, estamos sofrendo ataques DDOS em nosso circuito de internet junto a GVT, passamos parte da manhã com os técnicos da GVT para descobrir a origem do acesso e qual servidor estava sendo atacado, por volta de meio dia já havíamos descoberto a origem do ataque e o tipo de ataque, infelizmente todo provedor de internet ou conteúdo esta sujeito a esse tipo de ameaça, e não existe nenhuma solução definitiva para evitar ataque, para mais informações de como é feito esse tipo de ameaça acesse:

http://pt.wikipedia.org/wiki/Ataque_de_nega%C3%A7%C3%A3o_de_servi%C3%A7o
http://www.oficinadanet.com.br/artigo/1026/ataque_ddos
http://www.infowester.com/col091004.php

Nas leituras acima você ficará entendo melhor o que ocorreu em nossa rede nessas últimas horas.

Ainda estamos trabalhando nesse momento, fazendo o monitoramento e aplicando algumas alterações nas regras do firewall interno da nossa rede. Estamos providenciando uma redundância de link com outra operadora para não haver a queda total dos serviços, além de fazer o balanceamento do nosso link.

(15:50) – Segundo análises juntamente com os técnicos da GVT, vamos fazer a troca da saída da nossa interface da internet para um CISCO Extreme (fornecido pela GVT)  que possui mais níveis de segurança e recursos para eventuais intervenções técnicas e soluções dos problemas de conectividade, será necessário a troca do roteamento do link que resultará em queda por alguns minutos. Essa alteração será necessária para aumentar o nível de segurança e estabilidade do nosso link.

Status: Solucionado

30 de Maio de 2010 (10:00) -  Troca do sistema de roteamento no Data Center GVT (Brasil) foi realizado com sucesso, solucionando os problemas de lentidão e falhas de conectividade no mesmo.

Status: Solucionado

27 de Maio de 2010 (12:30) -  Continuamos identificando problemas e falhas de acesso e conectividade no data center da GVT em Brasília – problemas que vem ocorrendo de forma sistemática a alguns dias. Estamos verificando o problema, que tem afetado o acesso aos sites hosteados nos clusters no Brasil.

(13:30) O acesso continua intermitente e apresentando falhas.

(14:00) Acesso normalizado. Porem será necessária pequena interrupção dos serviços durante esta madrugada a fim de troca de equipamento referente a roteamento no data center da GVT, que deverá ocorrer as 2:00 da manha  com downtime previsto de 15 minutos.

Com esta troca os problemas de lentidão de acesso que vem afetando diversos domínios estará solucionado definitivamente.

Status: Solucionado

26 de Maio de 2010 (13:30) -  O acesso ao painel CPANEL/WHM esta com problemas no servidor cluster03brasil.com (189.59.8.29) – estamos em contato direto com a http://www.instantcpanellicense.com/ para verificação e solução do problema.

(15:30) O acesso agora se mostra intermitente – o problema é gerado no firewall físico do IDC da GVT no Brasil que bloqueia sistematicamente o range de IPS e portas usadas para atualização diária do arquivo de licença da CPANEL. Não sabemos ainda porque apenas o servidor cluster03brasil.com foi afetado.

(15:50) O problema foi identificado e a solução aplicada pelo suporte da http://www.instantcpanellicense.com/

Status: Solucionado

20 de Maio de 2010 (16:30) -  Informamos que por volta de 16:20  houve uma interrupção não programada no acesso aos nossos servidores no data center GVT, imediatamente contatados o suporte para verificar o problema, fomos informados que estavam trocando o roteador de onde nosso link esta instalado. O mesmo apresentou problemas e podendo parar de funcionar a qualquer momento causando um downtime (tempo fora do ar) ainda maior. O acesso retornou às 17:30 sem possibilidade de novas quedas.

Status: Solucionado

10 de Março de 2010 (01:20) -  servidor Cluster07brasil.com está apresentando falhas de conectividade, afetando diversos domínios (assim como o Team Speak). Estamos neste momento verificando as soluções possíveis assim como a causa do problema juntamente com o IDC da GVT.

Status: Solucionado

27 de Janeiro de 2010 (01:20) – Efetuamos hoje a mudança de IP do servidor cluster02brasil.com que vinha apresentando problemas desde o inicio do mês. O novo IP é o 189.59.8.34 – locado no lugar do 189.59.8.6.

Identificamos também diversos erros nos registros de DNS do servidor, que não foram atualizados para o novo IP. Estamos neste momento passando um pente fino editando zona por zona de DNS corrigindo os erros.

Status: Solucionado

13 de Dezembro de 2009 (00:00) – Os servidores hosteados no Brasil (IDC GVT) estão a alguns dias sob forte ataque DDOS apresentando falhas de acesso e conectividade. Neste Domingo e segunda-feira os ataques se intensificaram ocasionando perda de acesso – forçando-nos a desabilitar os servidores retirando-s da rede da GVT temporariamente para que fosse possivel bloquear todos os IPs usados para o ataque.

No momento o ataque continua, porém os servidores estão online e já em funcionamento. Estamos em contato direto com a GVT para auxiliar a mitigar o ataque identificando as origens e bloqueando todo o range de IP usado para tal.

Status: Solucionado

21 de Outubro de 2009 (09:20) e 03 de Novembro de 2009 – O servidor cluster02server.com esta apresentando falhas de conectividade vindos de diversos IPs Brasileiros. Estamos investigando o problema neste momento.

(15:48) – O problema é relativo a falhas de conectividade vindas do Brasil (não referentes ao Data Center Americano) principalmente de provedores que usam backbone secundário ao da EMBRATEL. Aparentemente no momento o problema foi contornado, mas acionamos a EMBRATEL para verificação destas falhas.

Status: Solucionado

10 de Setembro de 2009 (12:20) – O servidor cluster02brasil.com esta apresentando problemas e falhas em um de seus HDs (com presença de bad blocks e setores defeituosos). Estamos neste momento executando o FSCK para correção porem será necessária a troca deste Hardware por outro integro. O FSCK deve demorar ainda cerca de 30 minutos para ser completado.

Após a volta do servidor online prepararemos a interrupção de seus serviços para a troca do equipamento (que deve ser executada de madrugada) e restore dos conteúdos de backup (que se encontram íntegros).

Status: Solucionado

13 de Agosto de 2009 (9:40) – Identificamos problemas de conectividade junto ao IDC GVT relacionado ao servidor cluster02brasil.com. Já estamos iniciando processo de verificação.

Servidor Online

Status: Solucionado

29 de Junho de 2009 (17:40) – Estamos com problemas de conectividade nos servidores de CLUSTER (cluster01server.com, cluster02server.com e cluster03server.com nos EUA) estamos verificando junto com o IDC a causa do problema, que pode estar diretamente relacionada com a falha o cluster03server.com relacionada abaixo.

Já identificamos o problema, para sana-lo definitivamente será necessária mudança do roteador que serve estes três servidores de nosso cluster.  Esta mudança será feita esta madrugada, sendo necessário reboot de todo o sistema. Tempo de downline : 25 minutos.

(01:45 30 de junho) – Processo de troca iniciado.

Status: Solucionado

25 de Junho de 2009 (13:40) – Neste momento o servidor cluster03server.com está apresentando falhas diversas de acesso vindos do Brasil. Estamos neste momento verificando junto ao Data Center as causas e aplicando sua solução.

Após verificação no Data Center (onde nenhum erro foi constatado) e em contato conjunto com a equipe da EMBRATEL foi verificado que vários pontos de acesso no Brasil estavam apresentando falhas em conjunto, o porque destas falhas a EMBRATEL não soube explicar ou precisar. Neste momento o servidor esta sendo acessado pelos links de saida da EMBRATEL no Brasil normalmente e sem falhas.

Ainda aguardamos maiores esclarecimentos.

Status: Solucionado

Observação: Recebemos informes de usuários que tem sistemas de monitoramento fora do Brasil que também acusaram queda em seu acesso – estamos novamente avaliando as informações juntamente com a equipe do Data Center nos EUA.

Status: Solucionado

27 de Maio de 2009 (19:00) – Neste momento o servidor cluster03server.com está sob forte ataque DDOS, sendo identificado pelo Data Center. Seguem abaixo dados do ataque:

954135 high
186.9% of 50.0 kpps 43.05 Mbps
73.27 kpps 34 mins
(Ongoing) Wed, May 27 2009, 21:30:44 incoming
Total Traffic
(Misuse) Dallas Catch All
174.133.19.18/32
Dallas Catch All

Traffic Characterization
Sources 125.141.235.104/32 ?
0.0.0.0/0 ?
Ports 34186 (34186)
0 – 8191
Destinations 174.133.19.18/32 ?
Ports 22 (ssh)
0 – 127
Protocol udp (17) tcp (6)
TCP Flags FSPA (0×1B)

Status: Solucionado

12 de Maio de 2009 (19:00) – Estamos recebendo notificações de problema de conectividade existente em todos os servidores hosteados nos EUA – aparentemente não é um problema direto com o Data Center, mas sim na conexão vinda no Brasil para alguns IPs externos – por exemplo, não conseguimos mais acesso ao GMAIL ou mesmo a pagina de monitoramento aberta da HyperSpin. Outros servidores que gerenciamos em 4 outros Data Centers também estão apresentando o mesmo problema de conectividade em relação a saída de dados do Brasil.

Estamos em contato com o Data Center nos EUA e investigando o problema.

Status: Solucionado

27 de Abril de 2009 (15:20) – Na última semana os servidores hosteados junto ao Data Center da GVT (cluster01brasil.com e cluster02brasil.com) estiveram apresentando instabilidade momentânea em sua conectividade durante diversas horas no dia. Segundo a GVT o problema tem ocorrido especificamente em todo o seu Data Center, o que forçou a mesma a iniciar um processo de mudança em sua estrutura interna, com a troca de hardware responsável pelos problemas apresentados. Estamos em contato direto com a GVT inclusive no local para verificarmos a real causa dos problemas e fiscalizar sua correção.

Informamos que hoje a tarde a GVT terminou todos acertos necessários na sua estrutura e nosso link, que está novamente estável e em pleno funcionamento. Todos serviços estão funcionando normalmente, acompanhamos todo processo juntamente com os técnicos da GVT, e o chamado aberto na última quinta-feira (23/05) quando os problemas começaram está fechado e resolvido.

Status: Solucionado

27 de Fevereiro de 2009 (15:20) – O servidor cluster01brasil.com.br hosteado na GVT esta apresentando falhas localizadas de acesso de alguns provedores – a GVT já foi informada sobre o problema. Caso você não esteja conseguindo acesso ou o acesso esteja extremamente lento, aguarde alguns minutos teste novamente o acesso.

Nenhum dano físico ou perda de dados foi verificado.

(15:48) a GVT está aplicando uma rota de acesso alternativa para suprir o problema na rota atual.

(16:10) Todas as rotas de acesso ao servidor estão normalizadas.

Status: Solucionado

28 de Janeiro de 2009 (00:00) – O servidor cluster01brasil.com.br hosteado na DIVEO está apresentando problemas de comunicação – aparentemente um técnico (ao tentar configurar algumas portas de acesso necessárias em um de nossos pedidos de suporte) do data center bloqueou varias portas não padronizadas do sistema (acesso ao cpanel por exemplo) entre outras. Estamos em constante contato com a DIVEO para solucionarmos o problema.

16:00 – Apenas agora conseguimos liberação do acesso as portas do CPANEL e painel WHM. Porem o problema continua nos acessos aos servidores TS e mais grave ainda, falhas expressivas no envio e recebimento de emails. Obviamente devido a inépcia do suporte por  parte do “técnico” da DIVEO estamos neste momento preparando a migração de todo o sistema de CLUSTER existente no data center da DIVEO para o da GVT (Data Center Brasil), sem o entanto tentarmos colocar o cluster01brasil.com.br em perfeitas condições de uso, como vinha sendo até o momento, mas fica evidenciado para nós a incapacidade da DIVEO de São Paulo em prover um sistema de qualidade.

Estamos neste momento inciando o processo de migração de nossa unidade no Data Center da DIVEO, por causa dos problemas relatados acima, para o novo Data Center da GVT em Curitiba. Aos usuários hosteados no  cluster01brasil.com.br já foi enviada mailling com informações detalhadas do processo. E estaremos online inclusive via chat durante toda a madrugada para quaisquer esclarecimento. Você também poderá companhar o processo no link http://blog.meganick.com.br/?page_id=12

Status: Solucionado

27 de Janeiro de 2009 (19:40) – O servidor cluster02server.com esta sendo reiniciando emergencialmente neste momento – logo após o mesmo estar online nossa equipe verificará o problema apresentado aplicando sua solução.

O problema foi identificado e foi aplicada a solução.

Status: Solucionado

22 de Janeiro de 2009 (18:15) – O servidor cluster02server.com esta apresentando lentidão e falhas no acesso de determinados Ips da TELFONICA e BRASIL TELECOM (pelo menos o que apuramos até o momento) – estamos verificando com o Data Center qual a possibilidade de ajustes nestes acessos do Brasil.

Status: Solucionado

05 de Janeiro de 2009 (05:35) – Estamos verificando em caráter de urgência problemas de conectividade pelo qual o servidor cluster02server.com vem passando – no momento o servidor está off-line para que possamos identificar qual a real origem do problema e aplicar sua solução.

05:50 – O servidor se encontra on-line no momento (downtime de 12 minutos) e continuamos com o processo de verificação.

Status: Solucionado

22 de Dezembro de 2008 (14:00) – O servidor cluster02server.com esta apresentando falhas de comunicação com acessos vindos do Brasil. Estamos investigando neste momento o problema e aplicando sua solução.

Status: Solucionado

12 de Novembro de 2008 (19:45) – O servidor cluster01server.com esta apresentando falhas de comunicação com acessos vindos do Brasil. Estamos investigando neste momento o problema e aplicando sua solução.

21:10 – Identificamos a origem do problema, trata-se de um bloqueio existente em uma rota de dados usada por provedores no Brasil – este bloqueio esta afetando provedores ADSL/VELOX, NET e SPEED (assim como usuários GVT e BrasilTelecom). O IDC nos EUA identificou em que parte da rota usada está ocorrendo a perda de pacotes e estamos modificando esta rota por um link externo ao IDC até identificarmos junto a estes provedores (ou a própria EMBRATEL) porque esta ocorrendo o bloqueio e liberarmos o mesmo. Como já sabemos que este tipo de resposta demora a ocorrer estamos modificando temporariamente o IP de acesso ao servidor no cluster afetado. Nenhuma ação por parte dos usuários será necessária. O processo deverá estar concluído entre 10 a 15 minutos.

Status: Solucionado

03 de Outubro de 2008 (12:40) – O servidor cluster02server.com esta apresentando leve falha de comunicação no sistema de DNS do cluster. Estamos verificando o problema neste momento.

Status: Solucionado

25 de Agosto de 2008 (10:50) – Neste momento o servidor cluster01server.com está com falhas em sua conectividade, o que está afetando diversos sites hosteados no mesmo. Estamos verificando os erros junto ao Data Center.

11:40 – O servidor afetado está online e os sites hosteados no mesmo estão com seu acesso normalizado ou em processo de normalização. Estamos neste momento verificando as causas do problema junto com a equipe do Data Center.

15:00 – Estamos efetuando um reboot emergencial para verificação final dos problemas apresentados – o tempo de downtime é esperado entre 10 a 15 minutos no máximo.

15:40 – O servidor esta online e sendo acessado normalmente  – lembramos que o problema é apenas referente ao cluster01 do sistema de hospedagem.As modificações efetuadas surgiram efeito, porem o sistema ainda apresentará lenidão durante esta madrugada quando terminaremos o processo de verificação de reotina do hardware.

Status: Solucionado

30 de Julho de 2008 (6:00) – Identificamos um erro grave no roteador que serve ao nosso rack no Data Center. Este erro ocasionou falhas de acesso em diversos sites principalmente os locados no cluster02server.com. Durante toda a manha do dia 30 de julho e durante o dia 31 a equipe do Data Center migrou provisoriamente toda a estrutura física do cluster02server.com para outro rack. Desde o dia 02 de Agosto já se encontra instalado um novo roteador para servir a este novo rack e o sistema esta novamente online e sem falhas. Ainda não sabemeos ao certo o motivo da falha no hardware e o porque de não ter sido possivel a troca apenas do roteador afetado.

Status: Solucionado

02 de Junho de 2008 (14:20) – Estamos trabalhando neste momento na solução do problema existente após o retorno dos serviços no cluster01serever.com (veja tópico abaixo). O problema neste memento é relativo aos servidores de IP do Data Center (resolv.conf) que aparentemente ainda não foram colocados online após o desastre de dois dias atrás. Estamos buscando uma solução mesmo que seja alternativa, que poderá apresentará lentidão durante as próximas horas. Toda nossa equipe está trabalhando diretamente no problema o que pode acarretar na demora das respostas de nosso suporte e atendimento. Pedimos desculpas por este contratempo e agradecemos mais uma vez a sua compreensão.

02 de Junho de 2008 (14:20) – Estamos trabalhando neste momento na solução do problema existente após o retorno dos serviços no cluster01serever.com (veja tópico abaixo). O problema neste memento é relativo aos servidores de IP do Data Center (resolv.conf) que aparentemente ainda não foram colocados online após o desastre de dois dias atrás. Estamos buscando uma solução mesmo que seja alternativa, que poderá apresentará lentidão durante as próximas horas. Toda nossa equipe está trabalhando diretamente no problema o que pode acarretar na demora das respostas de nosso suporte e atendimento. Pedimos desculpas por este contratempo e agradecemos mais uma vez a sua compreensão.

(14:40) – Estamos efetuando um reboot no cluster01server.com para aplicação da solução nos enviada pelo IDC.

(14:55) – Servidor online – estamos neste momento testando as implemntações e mudanças efetuadas.

(15:00) – O problema se encontra resolvido, embora a lentidão de acesso e comunicações (envio e recebimento de emails) deva continuar nas próximas horas. Os serviços relativos ao cluster01serevr deverão estar 100% normalizados até o final da noite de hoje.

31 de Maio de 2008 (19:20) – O cluster cluster01serever.com está sendo reiniciado neste momento – logo após será efetuada verificação de nossa equipe para identificar o motivo do downtime.

(20:00) não foi possível executar o reboot pelo sistema automatizado que se encontra off-line – segundo nos informou o IDC nos EUA existe um problema no NOC de Houston afetando diversos usuários e dedicados com ip 75.125.xxx.xxx.

(20:20) informações de nosso IDC nos EUA, estão ocorrendo falhas genéricas de locação de energia elétrica em toda área de Houston – “houston DC1 is currently experiencing a critical electrical outage. repairing this issue is of utmost priority. we apologize for this inconvenience. please standby for further updates.”

(21:20) informações sobre o atual estado do cluster01server.com locado no IDC ThePlanet que está afetando todo o data center neste momento: http://forums.theplanet.com/index.php?showtopic=90183&st=0 e http://forums.theplanet.com/index.php?showtopic=90185

(23:25) foi identificado pelo Data Center ThePlanet a otigem do problema e estão aplicando sua solução. Mais informações sobre o mesmo estão sendo postadas on-line e em tempo real no link http://forums.theplanet.com/index.php?showtopic=90185

(01:54 1 de junho) segundo informações da ThePlanet cerca de 9.000 servidores foram afetados, entre eles o nosso cluster01server.com. O problema iniciou com uma falha de energia em Huston, quando foi ligado todo o sistema de suporte de energia do Data Center e um dos geradores explodiu, causando um incêndio (debelado rapidamente) impedindo que seja religado ou que sejam acionados os sistemas de backup de energia. Segundo infromações da The Planet nenhum servidor foi fisicamente afetado, pois o prédio é separado totalmente do sistema de energia.

(01:55 2 de junho) o Data Center ThePlanet colocou um link específico com informações atualizadas a cada hora sobre o status do problema e as soluções que estão sendo implementadas, devido a gravidade da ocorrência: http://service-update.theplanet.com/ – infelizmente até o momento as notícias não são boas, um estágio inicial onde serão colocados no ar 6.000 do servidores será iniciado nesta manha apenas, demorando entre 4 a 6 horas para todos os servidores serem restartados.

(07:00 2 de junho) o servidor afetado pelo grave problema no IDC foi reiniciado e esta online. Após verificação o mesmo está integro e sem falhas.

24 de Maio de 2008 (06:00) – Estamos verificando neste momento um problema sobre o node1 (cluster01server.com) que está afetando a velocidade de conexão com o servidor APACHE na porta 80. Este problema esta causando lentidão no acesso aos domínios hosteados neste cluster.

(08: 30) Nota: Identificamos a origem do problema – milhares de acessos diretos via IP usando a porta 80 vindos do endereço 121.1.57.74 estão causando a lentidão – já contatamos o IDC para verificação e bloqueio, assim como acionamento do servidor de origem (http://www.whoishostingthis.com/121.1.57.74).