J'ai passé ce samedi (et le week-end dernier) à aider @Kysofer à monter un serveur de stockage pour son entreprise et là nous nous sommes rendus compte que tout ramait, mais genre vraiment.
Je vous retrace l'enquête ? Vous êtes chô mes lapins ? Aller c'est parti :D
D'abord et pour vous illustrer notre problème, il a fallu quelque chose comme 30 sec pour installer htop après l'avoir téléchargé depuis une connexion fibrée sur une machine quadricore, 4Go RAM / SATA-III... Bref, le sentez-vous aussi ce problème qui va être bien pourri à identifier.
Étape 1 - Vérification de l'état du CPU
Tout semble normal, htop
indique une charge globale oscillant entre 2% et 5% pour 90 Mo de RAM consommée. Nous faisons également un tour dans journalctl
pour nous assurer qu'il n'y ait pas quelque chose de suspicieux d'indiqué.
=> Réponse : NADA
Étape 2 - Vérification des processus s'exécutant en tâche de fond
Un petit coup de sudo service --status--all
et sudo systemctrl list-units
pour regarder ce qui tourne en tâche de fond et rien non plus. D'ailleurs cela corrobore le fait que le load average
s'affiche aux alentours de 2,5 pour 16 processus créés, 1 running et 4 threads physiques de dispo.
Par contre, nous remarquons que l'OS swappe, alors que la consommation mémoire n'excède pas 100 Mo sur 4 000 Mo... Étonnant non ?
Étape 3 - Réduction de la swappiness
Au vu du résultat précédent, nous allons faire un petit tour dans /etc/sysctl.conf
pour y ajouter la ligne vm.swappiness = 1
comme je l'explique dans ce post
Pour vous le préciser et parce que beaucoup de lectures seront faites, les RAID1 sont montés en noatime
et nodiratime
.
=> Bref un petit reboot et, et ? Et toujours rien...
Étape 4 - Identification de la charge du disque
Nous installons iotop
afin de déterminer si un processus écrit en permanence sur le disque (car @Kysofer me disait qu'il entendait les disques crépiter). Et là, premier indice : une coquine de charge résiduelle se maintient à ~3Mo/sec en écriture. WTF oÔ ?
Un petit coup d’œil sur la grille des process et nous identifions un potentiel coupable : ext4lazyinit. Sur le coup, nous nous disons "mais c'est quoi ce truc là ?"
Explication
Lorsque vous initialisez un disque dur pour la première fois, et dans notre cas il s'agissait de 6 partitions réparties comme suit :
- Deux disques de 320 Go notés sda et sdb
- Deux disques de 10 To notés sdc et sdd
Les partitions étaient les suivantes :
- 10 Go d'attribués pour l'OS sur sda.
- 10 Go d'attribués pour la SWAP sur sdb.
- Un RAID1 de 310 Go, noté md0, monté sur l'espace restant partagé entre sda et sdb (ce sera notre /home).
- Un RAID1 de 10 To, noté md1, et monté sur les disques sdc et sdd.
Eh bien l'OS ne défini pas tous les secteurs à zéro, or il semble que ce soit une nécessité pour initialiser la table EXT4 sur les disques vierges... Ce process étant bloquant pour l'accès aux ressources disques, il se lance en priorité basse et tourne en tâche de fond. Lorsque l'initialisation sera terminée, tout sera rentré dans l'ordre... Notre problème ici est que nous avons 26,4 To à initialiser avec des zéros et le bouzin se limite à 3 Mo /sec... #Subarashi #Sugoi
Notre solution : prendre notre mal en patience...
Franchement, on dirait une manipulation à la Microsoft... Un peu comme si cette société était devenue l'une des plus grosses contributrices au noyau Linux depuis quelques temps. Oh wait...
J'ai du mal de comprendre... Le monsieur de Mozilla est en train de dire qu'une société qui viole la vie privée de milliards de personnes, qui profite à outrance de l'exode fiscale, qui met en compétition les états afin de réduire son assiette imposable, qui s'offre des milliards en lobying, bref le monsieur est en train de dire qu'une telle entreprise menerait en soumarin des opérations malveillantes afin d'annihiler sa concurrence ?
NAAAAAAAAAAANNNNNNN PAS POSSIBLE !!! #CarrémentTropSurprise
L'article d'origine :
Il n'est pas le premier membre de l'équipe Firefox à porter de telles accusations ces derniers mois. Cependant, ses allégations vont bien au-delà des déclarations précédentes et accusent Google de mener à bien un plan coordonné qui impliquait l'introduction de petits bugs sur ses sites. De bugs qui ne se manifestent que pour les utilisateurs du navigateur Firefox.
Johnathan Nightingale, ancien directeur général et vice-président de Firefox chez Mozilla, le dit tout net : "Quand j'ai commencé chez Mozilla en 2007, il n'y avait pas de Google Chrome, et la plupart des gens avec qui nous parlions à l'intérieur [de Google] étaient des fans de Firefox".
"Quand Chrome a été lancé les choses se sont compliquées. Mais pas comme on pourrait s'y attendre. Ils avaient désormais un produit concurrent, mais ils n'ont pas coupé les liens, n'ont pas rompu notre accord de recherche - rien de tout cela. En fait, l'histoire que nous n'arrêtions pas d'entendre était la suivante : 'Nous sommes du même côté. Nous voulons les mêmes choses'".
"Je pense que nos amis de Google le croyaient vraiment. Au niveau individuel, leurs ingénieurs se souciaient de la plupart des mêmes choses que nous. Et nous avons appris en nous observant les uns les autres".
"Mais Google dans son ensemble est très différent des googlers (employés de Google)" explique M. Nightingale. "Des publicités pour Google Chrome ont commencé à apparaitre à côté des termes de recherche Firefox. Gmail & [Google] Docs ont commencé à connaître des problèmes de performances et des bugs uniquement sur Firefox. Les sites de démonstration [de ces produits] bloquaient faussement Firefox comme étant 'incompatible'" dit-il.
"Tout ça, ce sont des choses qu'on a le droit de faire pour être compétitif, bien sûr. Mais nous étions toujours partenaire de recherche, alors on se disait : "Hé, qu'est-ce qui se passe ? Et à chaque fois, ils disaient : 'Oups. C'était accidentel. On le réparera dans deux semaines'".
"Encore et encore. Oups. Un autre accident. On va arranger ça bientôt. Nous voulons les mêmes choses. On est dans la même équipe. Il y avait des douzaines de 'oops'. Des centaines peut-être même".
"Je ne suis pas pour attribuer à la malice ce qui peut s'expliquer par l'incompétence, mais je ne crois pas que Google soit aussi incompétent. On perdait des utilisateurs à chaque fois. Et nous avons dépensé tous nos efforts et étions très frustrés à chaque explication, nous avons fait cela au lieu d'améliorer notre produit. Nous avons été dépassés pendant un certain temps et lorsque nous avons commencé à appeler cette situation par son nom, beaucoup de dégâts avaient été faits" explique Johnathan Nightingale.
Ce ne sont pas les premières accusationsJohnathan Nightingale n'est pas le premier membre de l'équipe Firefox à porter de telles accusations. En juillet 2018, Chris Peterson, responsable du programme Mozilla, a accusé Google de ralentir intentionnellement les performances de YouTube sur Firefox.
Il a révélé que Firefox et Edge étaient tous deux supérieurs en matière de performance lors du chargement de contenu YouTube par rapport à Chrome. Et afin de contrer ce problème de performance, Google s'est mis à utiliser une bibliothèque JavaScript pour YouTube qu'ils savaient ne pas être supportée par Firefox.
"Le chargement des pages YouTube est 5x plus lent dans Firefox et Edge que dans Chrome car la refonte de YouTube Polymer repose sur l'API Shadow DOM v0 obsolète, implémentée uniquement dans Chrome. Vous pouvez restaurer la version pré Polymer de YouTube avec cette extension Firefox : https://t.co/F5uEn3iMLR" - Chris Peterson (@cpeterso) 24 juillet 2018
À ce stade, il est très difficile de ne pas croire ou de ne pas prendre les commentaires de Nightingale au sérieux. Lentement mais sûrement, Google devient le nouveau Microsoft, et Chrome se transforme lentement en nouvel IE. Une opinion que de plus en plus d'utilisateurs commencent à partager [1, 2, 3].
"Cela me rappelle la fois où Microsoft a utilisé des API privées pour améliorer IE. Google est le nouveau Microsoft" - Federico Ramirez (@gosukiwi) 24 juillet 2018
Source : "Former Mozilla exec: Google has sabotaged Firefox for years"
Bon, la plupart d'entre-vous s'en doutait, je suis militante UPR mais j'ai beau avoir intégré ce que certains appellent "la milice la plus active sur internet", je suis quand même en mesure d'affirmer que leur site est une bouse technique sans nom.
Pourquoi une si vive cette critique ?
C'est simple, sur ma connexion à 1,5 Mo / sec, le site met 47,12 secondes, c'est-à-dire que le site est inaffichable sur mobile alors imaginez dans le métro / rer...
En décortiquant le chargement de la page, la raison parle d'elle-même :
- 13,84 Mo de contenu pour 12,14 Mo de transférés (merci à la compression GZip pour le gain de 10% sachant qu'en général celle-ci fait plutôt gagner 50%).
- 226 requêtes HTTP (oO) !
Bon-sang 226 requêtes, c'est énorme mais le pire n'est pas là. Non le pire c'est que le site ajoute le mode "http no-cache" dans le header, ce qui fait que recharger la page coûte quasiment autant que la première fois !!! Sérieusement, le site de l'UPR étant le second moyen de se concerter entre militants, le principale étant le triplet twitter / facebook / youtube, une lenteur pareille est inacceptable.
Et pour couronner le tout, la délégation de ma région ne répond pas lorsqu'on lui écrit donc bon... #Sadness
Heureusement que le nombre d'adhérents retrouve une bonne croissance ces derniers temps, au moins cela me réconforte.
Tout sombre dans le chaos et personne ne semble s’y intéresser.
Google dégrade volontairement les performances de Youtube quand vous surfez avec un autre navigateur que Chrome.
Et cela et particulièrement vrai pour son challengeur Firefox.
Ce message est à faire tourner ! Il est urgent que les gens quittent les services de cette corporation que beaucoup considère comme malveillante (et dont je fais partie).
Vous avez Free, vous souhaitez aller sur Youtube... Bah non. FREE = PAS DE YOUTUBE c'est ouf !
Vivement que Numéricable ait racheté SFR et ensuite bye bye Free, je n'en peux vraiment plus.