Wikimedia Quarto/2/tech/It

From Meta, a Wikimedia project coordination wiki
< Wikimedia Quarto‎ | 2‎ | tech
This is an archived version of this page, as edited by Aangelo (talk | contribs) at 14:28, 28 January 2005 (→‎Installation of more servers in Florida). It may differ significantly from the current version.

+/-

Technical Development
Technical Development

Tim Starling è il collegamento con gli sviluppatori, il principale contatto tra il nostro Consiglio e la nostra comunità degli sviluppatori. Gran parte del rapporto che segue è stato scritto da James Day.
Informazioni sui nostri server si possono trovare su Wikimedia servers. L'attività degli sviluppatori ricade in due aree principali: manutenzione dei server e sviluppo del software MediaWiki, che vien usato ance per molte applicazioni non legate a Wikimedia. Gran parte degli sviluppatori (anche se non tutti, per loro scelta) sono elencati qui. Si può mostrare apprezzamento per la loro dedizione con note di ringraziamento o con supporto finanziario. Grazie!
Finora, tutti gli sviluppatori hanno lavorato gratis, ma questo potrebbe cambiare in futuro per sostenere la nostra incredibile crescita.

Installazione degli Squid cache in Francia

Il cluster nei pressi di Parigi.
I nostri server sono i tre al centro:
(dall alto in basso: bleuenn, chloe, ennael.)

Il 18 dicembre 2004, 3 server donatici sono stati installati in un centro ad Aubervilliers, un sobborgo di Parigi, Francia. Si chiamano bleuenn, chloe ed ennael per scelta del donatore. Per gli interessati alla teconologia le macchine sono dei server HP sa1100 1U con 640 Mb di RAM, hard disk ATA da 20 Gb, e processori Celeron a 600 MHz.

Le macchine saranno equipaggiate con il software di caching Squid. Saranno un banco di prova per la tecnica di aggiungere delle Web cache vicino agli utenti, allo scopo di ridurre i tempi di latenza. Tipicamente, gli utenti in Francia con connessioni internet DSL, possono connettersi a queste macchine con una latenza di 30 ms, mentre si connettono al cluster principale dei server Wikimedia in Florida in circa 140 ms. L'idea è che gli utenti di parte dell'Europ usaeranno le cache Squid in Francia, per ridurre di 1/10 di secondo i ritardi nell'accesso, sia per i contenuti multimediali per tutti gli utenti, sia al contenuto delle pagine per gli utenti anonimi. Gli utenti "loggati" non ne approfitteranno molto, poiché le pagine sono geneate specificatamente per loro e quindi, non vengono cachate tra gli utenti. Se una pagina non è nella cache Squid, o sse la pagina è per un utente loggato, i web server Apache impiegano da 1,5 a 3 o più secondi, più i tempi del database, per comporre la pagina. I tempi del database sono di circa 1/20 di secondo per cose semplici, ma possono arrivare a diversi secondi per le categorie o ance a 100 secondi per liste corpose di osservati speciali.

The Telecity data center
The Telecity data center

Le cache Squid non sono ancora attive sulle macchine. Le politiche che definiscono in che modo i client verranno indirizzati a queste cache devono ancora essere definite. Quindi il sistema potrebbe richiedere una notevole taratura, dopo l'installazione, per essere efficente. Se l'esperimento avrà successo, potrà essere generalizzato con altre cache Squid aggiunte al di fuori della Florida.

Installation of more servers in Florida

Alla metà di Ottobre sono stati ordinati altri due server slave Opteron, con 6 dischi in RAID 0 e 4GB di RAM, oltre a 5 server Apache da 3GHz/1GB RAM. I ritardi, dovuti a problemi di compatibilità, che i venditori hanno dovuto risolvere prima di consegnare i database server hanno lasciato i database a corto di potenza; fino a metà Dicembre la funzione di ricerca è dovuta essere disattivata più volte.

Nel Novembre 2004 vi sono state avarie nei cinque Web server, quattro dei quali ben equipaggiati di RAM (memoria di lavoro), utilizzati per caching Memcached o Squid. Questo a volte ha causato rallentamenti ai Wiki.


Five 3GHz/3GB RAM servers were ordered in early December. Four of the December machines will provide Squid and Memcached service as improved replacements for the failing machines, until they are repaired. One machine with SATA drives in RAID 0 will be used as a testbed to see how much load, such less costly database servers might be able to handle, as well as, providing another option for a backup-only database slave also running Apache. These machines are equipped with a new option for a remote power and server health monitoring board at $60 extra cost. This option was taken for this order, to allow a comparison of the effectiveness of this monitoring board with a remote power strip and more limited monitoring tools. Remote power and health reporting helps to reduce the need for colocation facility labor, which can sometimes involve costs and/or delays.

A further order of one master database server, to permit a split of the database servers into two sets of a master and pair of slaves, with each set holding about half of the project activity, as well as, five more Apaches is planned for the end of the quarter or the first days of the next quarter. This order will use the remainder of the US$50,000 from the last fundraising drive. The database server split will allow the halving of the amount of disk writing each set must do, leaving more capacity for the disk reads needed to serve user requests. This split is intended to happen in about three months, after the new master has proved its reliability during several months of service as a database slave.

Increased traffic and connectivity

Traffic grew during the third quarter from about 400-500 requests per second at the start to about 800 per second at the end. In the early fourth quarter that rose further to often exceeding 900 requests per second with daily peak traffic hours in the 1,000 to 1,100 requests per second range, then steadied at about 900 and slowly rose, due to the end of the back to school surge, slower than desired response times or both ([1]. Bandwidth use grew from averaging about 32 megabits per second at the start of the quarter to about 43 megabits per second at the end. Typical daily highs are about 65-75 megabits per second and sometimes briefly hit the 100 megabits per second limit of a single outgoing ethernet connection. Dual 100 megabit connections were temporarily used and a gigabit fiber connection has been arranged at the Florida colocation and the required parts ordered.