Web4Web.IT - Network Operation Center - Maintenance Log

0000370: Instabilità server x7.w4w.guest.it
Aggiunto da Web4Web.IT - NOC
Stato Risolto Inserita il 2016-03-07 19:08
Severità Grave Ultimo aggiornamento 2016-03-23 08:51
Assegnata a NOC Web4Web.IT
Categoria Shared hosting

Descrizione
Stiamo sperimentando problemi di stabilità sul server in oggetto.

I tecnici sono già al lavoro per risolvere la problematica nel minore tempo possibile.

Cronologia
Aggiornato da Web4Web.IT - NOC il 2016-03-07 19:24 #699
L'anomalia è stata identificata, si è trattato di un sito di un cliente, compromesso da malintenzionati.

Teniamo monitorato il server per verificarne la stabilità
Aggiornato da Web4Web.IT - NOC il 2016-03-14 18:54 #700
Il problema si è ripresentato
Aggiornato da Web4Web.IT - NOC il 2016-03-15 07:03 #701
La problematica è più grave del previsto e coinvolge la controller RAID di tutto il nodo.

Molto probabilmente dovremo migrare il server su un nodo differente.
Aggiornato da Web4Web.IT - NOC il 2016-03-15 08:15 #702
Stiamo effettuando i preparativi per la migrazione.
Per preservare la consistenza dei dati, l'accesso ai servizi erogati dal server in oggetto non può essere consentito.
Aggiornato da Web4Web.IT - NOC il 2016-03-15 08:57 #703
Trasferimento iniziato.
Data la mole di dati e le problematiche con la controller RAID, saranno necessarie alcune ore.
Aggiornato da Web4Web.IT - NOC il 2016-03-15 10:53 #704
Siamo al 10%
Aggiornato da Web4Web.IT - NOC il 2016-03-15 11:44 #705
Temporaneamente abbiamo riattivato l'accesso ai siti (tutti o quasi)
Le performance sono certamente degradate dal trasferimento tutt'ora in corso.
Aggiornato da Web4Web.IT - NOC il 2016-03-15 11:45 #706
Il problema principale è dato dalla presenza di molti piani hosting con centinaia di migliaia di piccoli file (perlopiù cache di qualche applicativo web) che quindi richiedono ore di trasferimento nonostante le piccole dimensioni dei singoli file
Aggiornato da Web4Web.IT - NOC il 2016-03-15 13:52 #707
Migrazione tutt'ora in corso. FTP e pannello di controllo sono disattivati per preservare al massimo la consistenza dei dati.
Aggiornato da Web4Web.IT - NOC il 2016-03-15 15:42 #708
Il trasferimento è tutt'ora in corso.
Purtroppo non riusciamo a ridurre maggiormente i disagi, considerati i problemi hardware che ci stanno obbligando ad una migrazione preventiva. La controller non lavora come dovrebbe e l'accesso al disco risulta impattato negativamente, rallentando sia l'accesso ai servizi, sia l'operazione di trasferimento.
Aggiornato da Web4Web.IT - NOC il 2016-03-15 19:29 #709
Il trasferimento è ancora in atto.
Abbiamo aumentato leggermente il numero di processi PHP a disposizione, in questo modo il 95% dei siti riesce ad operare normalmente.

Il restante 5% è purtroppo caratterizzato da siti estremamente complessi e pesanti che potrebbero subire qualche rallentamento nei periodi di maggior traffico
Aggiornato da Web4Web.IT - NOC il 2016-03-15 22:01 #710
35% circa
Aggiornato da Web4Web.IT - NOC il 2016-03-15 22:30 #711
40%
Aggiornato da Web4Web.IT - NOC il 2016-03-15 23:18 #712
Le operazioni continueranno tutta la notte.
Contiamo di terminare entro la serata di domani, nel frattempo, tolto il pannello di controllo, il server è operativo anche se con performance degradate.
Aggiornato da Web4Web.IT - NOC il 2016-03-16 08:09 #713
66%
Mancano circa 30GB da trasferire prima di riavviare la copia per trasferire i file modificati da ieri mattina. Le copie successive dovrebbero impiegare solo poche ore, in quanto incrementali.

L'ultima copia sarà eseguita a servizi fermi, per evitare variazioni ai file.
Aggiornato da Web4Web.IT - NOC il 2016-03-16 10:00 #714
75%

Durante la giornata il trasferimento rallenta, aumentando il carico del server dato dagli accessi ai siti da parte di visitatori.
Aggiornato da Web4Web.IT - NOC il 2016-03-16 14:53 #715
81%. Mancano circa 10GB
Aggiornato da Web4Web.IT - NOC il 2016-03-16 15:40 #716
85%
Aggiornato da Web4Web.IT - NOC il 2016-03-16 16:46 #717
90%
Aggiornato da Web4Web.IT - NOC il 2016-03-16 16:46 #718
Circa 6GB da trasferire, prima dell'avvio del trasferimento definitivo
Aggiornato da Web4Web.IT - NOC il 2016-03-16 17:24 #719
92% - circa 4GB restanti
Aggiornato da Web4Web.IT - NOC il 2016-03-16 17:27 #720
95%
Aggiornato da Web4Web.IT - NOC il 2016-03-16 18:16 #721
Trasferimento terminato.
Ora lo riavviamo più volte per trasferire le variazioni ai file.

Salvo imprevisti, a partire dalle ore 23:00 è prevista la migrazione dei servizi con contestuale fermo.
Aggiornato da Web4Web.IT - NOC il 2016-03-16 22:02 #722
Il trasferimento definitivo sarà effettuato domani mattina, non è possibile effettuarlo questa notte.
Aggiornato da Web4Web.IT - NOC il 2016-03-17 09:07 #723
In mattinata procederemo con la migrazione.
Aggiornato da Web4Web.IT - NOC il 2016-03-17 10:51 #724
Disattiviamo l'FTP
Aggiornato da Web4Web.IT - NOC il 2016-03-17 11:49 #725
E' in corso l'ultimo trasferimento a servizi attivi.
Il prossimo sarà effettuato a servizi fermi per preservare i dati.
Aggiornato da Web4Web.IT - NOC il 2016-03-17 14:13 #726
Per precisione: la compromissione del sito del cliente, inizialmente identificata il 7 Marzo, non ha niente a che vedere con la problematica tutt'ora in corso dal 15 Marzo.

Sono due problematiche distinte che coinvolgono lo stesso server.
Aggiornato da Web4Web.IT - NOC il 2016-03-17 14:19 #727
Disattiviamo i servizi per procedere con l'ultima copia.
Contiamo di terminare la copia in circa 2 ore per poi migrare al nuovo server.
Aggiornato da Web4Web.IT - NOC il 2016-03-17 16:04 #728
Trasferimento terminato, iniziamo le operazioni per la migrazione.
Salvo imprevisti terminiamo in mezzora.
Aggiornato da Web4Web.IT - NOC il 2016-03-17 16:20 #729
Migrazione terminata, i servizi sono già operativi dal nuovo server.

Persiste qualche anomalia con il pannello di controllo che sarà risolta entro breve.
Aggiornato da Web4Web.IT - NOC il 2016-03-17 16:32 #730
Il pannello è stato ripristinato.
Teniamo monitorata la situazione ma il server è nuovamente operativo.

L'operazione, così lunga, ci ha permesso di migrare a caldo oltre 8 milioni di file (per un totale di quasi 100GB) senza alcuna perdita di dati.
Aggiornato da Web4Web.IT - NOC il 2016-03-17 18:15 #731
Ci giungono segnalazioni su problemi all'invio di posta.
Stiamo verificando.
Aggiornato da Web4Web.IT - NOC il 2016-03-18 09:07 #732
L'anomalia della posta elettronica è stata sistemata ieri sera.
Il server risulta pienamente operativo, ma continueremo a monitorare la situazione per tutto il weekend.


©
Web4Web.IT - Low Cost Hosting