Dossier de validation d'OmniOta
Exactitude de classification taxonomique mesurée sur quatre matériels de composition connue, trois chimies de nanopore et deux concurrents exécutés avec la même référence. Chiffres du moteur de production, non d'une variante de laboratoire.
Chaque chiffre de ce dossier est mesuré sur du matériel de composition connue, avec la métrique définie par le concurrent, et publié avec la chimie et l'année du matériel qui l'a produit. Sans ce couple, le chiffre décrit un outil qui n'existe pas : le même moteur résout 99 lectures à l'espèce sur la chimie de 2015 et 28 774 sur celle de 2023.
| Métrique | Lectures correctes sur lectures classées, la définition littérale des auteurs de GAIA. Notre couverture est également publiée, ce qu'ils n'ont pas fait. |
| Rang | Le genre pour la comparaison avec la littérature, parce que c'est le rang analysé par Brown. L'espèce là où le matériel la soutient, avec son dénominateur en évidence. |
| Plateformes | Nanopore : MinION, GridION et PromethION, chimies R7.3/R9, R9.4.1 et R10.4.1. Illumina : non mesuré par cette voie. |
| Référence | Catalogue procaryote de RefSeq, 22 514 génomes. Les résultats ne s'étendent ni aux champignons ni aux virus, et les deux levures des standards restent hors décompte pour cette raison. |
| Code | Le banc importe la fonction de classification même qui tourne dans le produit, sceau minimap2-lca/3.0.0. Des garde-fous automatiques de test figent chaque décision méthodologique du document. |
Document dérivé de la documentation canonique du dépôt : BENCHMARK_OMNIOTA_vs_GAIA_BROWN2017.md v1.4.0, BANCO_ZYMO_D6300_INVARIANCIA.md, QUIMICA_ACTUAL_R1041.md et CURVA_DE_ROTURA_IDENTIDAD.md. Aucun chiffre n'a été calculé dans ce document : tous sont mesurés, versionnés et reproductibles depuis le dépôt.
1 · Tableau maître : chaque chiffre avec sa chimie et son année
C'est le premier tableau du document pour une raison opérationnelle : un benchmark se cite par morceaux. L'exactitude à l'espèce sur Brown 2017 mesure une chimie de 2015 dont l'identité médiane est de 74 %, non l'outil — et aucun outil du marché ne soutient une espèce à cette qualité de donnée. Chaque ligne déclare le matériel qui a produit le nombre.
| Matériel | Année · chimie | Identité | Genre | Espèce | Lectures à l'espèce |
|---|---|---|---|---|---|
| Brown et al. 2017 · 7 jeux MinION | 2015 · R7.3/R9 | 74,23 % | 97,70 % | 37,4 % | 99 |
| ZymoBIOMICS D6300 · GridION composition certifiée par le fabricant |
2019 · R9.4.1 | 88,77 % | 99,08 % | 97,24 % | 15 549 |
| ZymoBIOMICS D6300 · PromethION | 2019 · R9.4.1 | 88,77 % | 99,00 % | 97,14 % | 14 731 |
| Zymo HMW mock · PRJNA934154 chimie actuelle, basecalling sup |
2023 · R10.4.1 | 97,30 % | 98,53 % | 97,26 % | 28.774 |
| Série dégradée depuis D6300 niveau le plus sévère de l'expérience du §6 |
2019 dégradé | 74,23 % | 99,40 % | non affirmée | — |
Meilleure la chimie, plus de lectures résolues à l'espèce à exactitude égale : 99 en 2015, 15 549 en 2019, 28 774 en 2023, toujours au-dessus de 97 % de réussite. C'est le comportement qu'on attend d'un moteur qui respecte la limite de la donnée : il n'affirme pas trop quand le matériel est pauvre et il exploite le matériel quand il est bon.
Chaque exactitude est conditionnée aux lectures que le système classe effectivement, et ce dénominateur change d'une ligne à l'autre : 89,5 % des lectures en 2023 contre 53,7 % en 2019. C'est pourquoi la colonne des lectures voyage toujours à côté du pourcentage, sur les cinq lignes.
2 · Méthode : la métrique du concurrent et l'échelle de la donnée elle-même
Brown et al. (2017) ont séquencé sur MinION quatre cultures pures et plusieurs mélanges de composition déclarée, et publié l'exactitude de MG-RAST, Kraken et One Codex sur ceux-ci. Paytuví-Gallart et al. (2019) ont retraité ces mêmes fichiers avec GAIA et ajouté leur colonne au tableau. C'est le seul point où un chiffre d'OmniOta peut être placé à côté de celui d'un concurrent sur vérité connue : la composition des échantillons n'est pas discutable et le chiffre de la concurrence est publié.
Les autres articles de tiers ayant utilisé GAIA — fèces de chien, air du Ghana, lactosérum de porc, poussière de Moscou — sont des échantillons réels sans composition connue : ils servent à voir si deux outils concordent, non à savoir lequel a raison.
« Accuracy for GAIA was calculated as: Accuracy = # reads classified correctly / # reads classified »
Des lectures que l'outil ose classer, quelle fraction est juste. Elle ne pénalise pas le fait de ne pas classer ; elle pénalise le fait de mal classer. OmniOta se mesure exactement de la même façon, et publie en outre la couverture que cette métrique ne capte pas.
On conserve une lecture par molécule : la plus longue de celles qui partagent un identifiant de pore. Aucun consensus 2D réel n'est construit, le dépôt ne déposant que les brins, de sorte que l'on travaille à une qualité légèrement inférieure à celle dont GAIA a disposé. La référence compte 22 514 génomes, un par espèce procaryote au meilleur niveau d'assemblage disponible : 1 118 270 séquences, 35,1 Go compressés en neuf parties, avec le lignage complet dans l'en-tête de chaque séquence. Alignement avec minimap2 -c -x map-ont -N 20 -p 0.8, une passe par partie, en regroupant par lecture afin que chacune voie tous ses alignements.
L'identité observée d'un alignement vaut (1 − ε) × identité évolutive. Seule la seconde a un sens taxonomique. L'erreur du séquenceur est estimée à partir du jeu de données lui-même — 99e centile de la meilleure identité par lecture — et les seuils d'identité, de couverture et de marge sont exprimés en fraction de ce plafond, jamais en valeurs absolues.
La descente du domaine à l'espèce se fait par consensus sur l'ensemble quasi optimal, avec déréplication par lignage : si plusieurs étiquettes sont à égalité, la lecture reste au rang supérieur. Aucun rang non identifiable n'est affirmé.
7 % de variation entre jeux de la même étude et de la même chimie. Tout seuil absolu choisi pour l'un serait mal calibré pour les autres : d'où le fait que l'échelle soit dérivée à chaque exécution et non figée dans le code.
La mesure est faite au genre parce que c'est le rang que Brown et al. a analysé et déclare littéralement dans son article, en nommant exactement les jeux de cette comparaison. Les auteurs de GAIA ont pris les colonnes MG-RAST, Kraken et One Codex dans ce même article : elles sont donc au genre avec certitude, et celle de GAIA figure dans le même tableau, comparée à elles. L'en-tête du supplémentaire dit « at species level », et cette ambiguïté est déclarée ici pour que chacun puisse en juger.
3 · Matériel I — Brown 2017, le terrain du concurrent
Neuf jeux téléchargés depuis l'European Nucleotide Archive, projets PRJEB8672 et PRJEB8716. Le décompte des lectures coïncide exactement avec celui publié dans les neuf : c'est la vérification qu'on part du même matériel et non d'un sous-ensemble commode. Les quatre organismes des cultures pures appartiennent à quatre genres distincts de trois phylums distincts.
| Jeu | Vérité | OmniOta | Couverture | GAIA | Kraken | One Codex | MG-RAST |
|---|---|---|---|---|---|---|---|
| Ecoli | E. coli | 95,00 % | 19,8 % | 100,0 % | 99,5 % | 98,7 % | 74,7 % |
| Pfluor | P. fluorescens | 94,64 % | 40,8 % | 85,83 % | 84,6 % | 84,2 % | 84,9 % |
| Maeru | M. aeruginosa | 96,58 % | 20,6 % | 96,39 % | 85,8 % | 95,1 % | 53,1 % |
| Selong | S. elongatus | 100,00 % | 12,0 % | 100,0 % | 98,1 % | 97,6 % | 87,9 % |
| Equal (5) c | mélange de 4 | 97,70 % | 24,4 % | 93,47 % | 97,6 % | 87,4 % | 65,0 % |
| Equal (6) c | mélange de 4 | 100,00 % | 3,3 % | 98,94 % | 98,0 % | 98,7 % | 85,9 % |
| Rare (6) c | mélange de 4 | 100,00 % | 3,6 % | 100,0 % | 99,1 % | 98,7 % | 92,9 % |
| Moyenne (7) | 97,70 % | 17,8 % | 96,37 % | 94,67 % | 94,34 % | 77,77 % | |
| Agrégée | 896/932 lectures | 96,1 % | IC 95 % [94,7 – 97,2] | — | — | — | — |
c borne supérieure : dans un mélange, toute lecture attribuée à l'un quelconque des quatre membres compte comme juste. Cela affecte également les cinq outils, dont les chiffres publiés ont été calculés sur ces mêmes mélanges. La couverture de GAIA ne figure pas car leur supplémentaire ne l'a pas publiée : cette colonne n'a donc pas de contrepartie et n'est pas une comparaison.
OmniOta obtient la moyenne la plus élevée des cinq outils, et le plus grand avantage se produit sur le jeu le plus difficile : P. fluorescens, où les quatre outils publiés se situent entre 84,2 % et 85,8 % tandis que nous atteignons 94,64 %. Les deux moyennes sont publiées : celle par jeu parce qu'elle est la seule comparable à la littérature, et l'agrégée parce qu'elle est statistiquement correcte.
Une moyenne de sept pourcentages donne le même poids à un jeu de 27 lectures classées qu'à un jeu de 317. Elle est calculée ainsi parce que c'est ce qu'a fait GAIA et que sans cela aucune comparaison ne serait possible. L'estimation agrégée est de 896 réussites sur 932 lectures, IC 95 % de Wilson [94,7 % – 97,2 %], et cet intervalle contient les 96,37 % de GAIA : à ce volume de données l'avantage moyen n'atteint pas la significativité, et c'est déclaré comme tel. Le chiffre le plus élevé du tableau est le nôtre face aux quatre concurrents publiés ; ce qui exigerait davantage de données, c'est d'affirmer que cet avantage se reproduit sur n'importe quel autre jeu.
Les colonnes GAIA, Kraken, One Codex et MG-RAST sont celles publiées par leurs auteurs : GAIA n'a pas été exécuté, étant un service fermé à base de référence propriétaire. Une partie de la différence entre les deux chiffres est imputable à la référence et non à la méthode, et il n'y a aucun moyen de la quantifier sans accès à la leur. Le dépôt contient une reproduction de la règle de GAIA, utile pour comprendre son comportement, qui n'est pas utilisée dans ce document : comparer notre reproduction de leur méthode à notre méthode ne serait pas une comparaison entre outils.
Shigella est polyphylétique au sein d' Escherichia coli — des clones ayant acquis le plasmide d'invasion — et son identité nucléotidique moyenne dépasse le seuil d'espèce. Le nom est conservé pour sa pertinence clinique, non taxonomique. Au rang du genre, compter une lecture d' E. coli attribuée à Shigella comme une erreur mesure un artefact de nomenclature, non une méprise du classificateur. Cela concerne 36 des 78 lectures du jeu Ecoli : sans la fusion le chiffre serait de 39,7 % au lieu de 94,6 %, et c'est pourquoi il est déclaré.
- Ce n'est pas une table du banc : elle dérive des complexes que le produit déclare déjà et montre à l'utilisateur, en citant la norme ISO 13136:2012, de sorte qu'elle ne peut fusionner que ce qui est fusionné en production.
- Il y a exactement deux cas dans tout le catalogue : Shigella → Escherichia et Borrelia → Borreliella, tous deux de nomenclature conservée contre la phylogénie.
- Elle s'applique également aux cinq colonnes lorsqu'on reproduit la règle d'un autre outil, jamais à la nôtre seule.
- Elle ne touche pas aux noms d'espèce : Shigella flexneri est rapporté comme Shigella flexneri.
Le jeu staggered es HM-783D de BEI Resources, el Microbial Mock Community B du Human Microbiome Project : vingt espèces certifiées réparties entre 0,03 % et 41,25 % d'ADN génomique. Il exige de distinguer S. aureus de S. epidermidis, trois Streptococcus entre eux, et de détecter des membres trois ordres de grandeur sous le dominant — c'est là qu'un classificateur casse vraiment, face à quatre genres bien séparés qu'on trouve presque par élimination.
au genre, 185 des 191 lectures classées, borne supérieure car il s'agit d'un mélange. Brown a publié 93 % sur ce même matériel avec son propre flux. Il n'entre pas dans la moyenne des sept colonnes car GAIA n'a publié aucun chiffre pour lui.
Quatre des vingt membres ont changé de genre depuis 2010 et la référence actuelle ne connaît que le nouveau nom. Sans déclarer cette équivalence, le banc aurait compté 20 % du mock comme échec alors qu'il s'agissait d'une réussite parfaite. La vérité est transcrite avec le nom de la source et l'équivalence vit à part : réécrire la vérité avec la nomenclature d'aujourd'hui la ferait coïncider avec notre référence par construction et la comparaison ne vérifierait plus rien. Un garde-fou de test fige les deux directions — que les renommés coïncident et que les congénères ne fusionnent pas — car une table de synonymes est l'endroit commode pour glisser justement les fusions qui arrangent.
4 · Matériel II — ZymoBIOMICS D6300, composition certifiée
ZymoBIOMICS Microbial Community Standard D6300, séquencé par Nicholls, Quick, Tang et Loman (2019) sur GridION et PromethION. Dix espèces à composition certifiée dans la fiche du fabricant : huit bactéries à 12 % d'ADN génomique et deux levures à 2 %. 50 000 lectures mesurées par plateforme, issues d'un préfixe qui en rend plus de 200 000 — face aux 5 600 lectures 2D de tout Brown 2017. Il apporte deux axes que le premier matériel ne pouvait pas donner : la certification du fabricant et une mesure d'invariance entre séquenceurs.
| GridION | PromethION | |
|---|---|---|
| lectures attribuées au genre | 29 824 | 27 928 |
| exactitude au genre | 99,08 % | 99,00 % |
| lectures attribuées à l'espèce | 15 549 | 14 731 |
| exactitude à l'espèce | 97,24 % | 97,14 % |
| plus grand faux positif | 0,17 % | 0,21 % |
C'est une communauté mélangée : l'exactitude est donc une borne supérieure, toute lecture attribuée à n'importe quel membre comptant comme juste. Les lectures proviennent du préfixe du run, qui surreprésente les premières heures de la cellule ; pour comparer entre plateformes le biais agit de la même façon dans les deux, et pour un chiffre absolu il provient du meilleur segment du run, et cela est dit. Les deux levures ressortent à 0,00 % exactement sur les deux plateformes : la référence a été construite depuis le catalogue bactérien de RefSeq et ne contient pas de champignons, et l'identité du chiffre sur les deux le confirme.
La même communauté, la même préparation, deux séquenceurs différents. La question reçoit une réponse séparée pour la communauté certifiée et pour tout ce qui est émis, car les réponses diffèrent et n'en donner qu'une cacherait quelque chose.
| Communauté | Tout ce qui est émis | |
|---|---|---|
| L1 observée | 0,0181 | 0,0231 |
| L1 attendue par échantillonnage (p95) | 0,0257 | 0,0276 |
| taxons divergents | 0 | 1 |
| verdict | Invariante | no |
La composition est invariante entre GridION et PromethION. Les écarts par genre vont de 0,05 à 0,43 point et la divergence globale est pratiquement celle que produit l'échantillonnage lui-même : non pas « proche de zéro », mais statistiquement indiscernable du hasard, ce qu'il fallait démontrer.
Ce qui ne se répète pas, ce sont les artefacts de faible abondance : Macrococcus, qui n'est pas membre de la communauté, apparaît avec 23 lectures sur une plateforme et 5 sur l'autre. La composition se répète ; les traces non. C'est un avertissement opérationnel direct sur le poids à accorder à un taxon soutenu par vingt lectures, et cela concorde avec la doctrine de Wilson que le produit applique déjà à la confiance par taxon.
La fiche du D6300 déclare cinq colonnes de composition pour la même communauté : ADN génomique, 16S, 16S&18S, copies de génome et cellules. Elle est équitable en ADN — 12 % par bactérie — et profondément inégale en 16S : P. aeruginosa passe de 12 % à 4,2 % et L. fermentum del 12 % al 18,4 %, un facteur ×4,4 entre les deux. Et S. cerevisiae représente 9,3 % du 16S&18S et 0,29 % des cellules : deux réponses correctes à deux questions différentes. Comparer un résultat de shotgun à la colonne 16S produirait un biais de cette ampleur imputable au banc et non au moteur — c'est exactement ce que la normalisation par taille de génome corrige en production, et voici le matériel qui le démontre sans discussion.
5 · Matériel III — la chimie actuelle, et celle qu'on choisit sans le savoir
Un produit de 2026 évalué sur la chimie de 2019 est une objection légitime, et elle ne se réfute pas par des arguments mais par la mesure. ZymoBIOMICS HMW DNA Standard, ONT R10.4.1 à 5 kHz avec le Kit 14, étude PRJNA934154 de 2023. L'identité est mesurée par alignement contre les génomes de référence du standard ; elle n'est pas reprise de la fiche technique du fabricant.
| Matériel | Chimie | Identité mesurée |
|---|---|---|
| Brown et al. · 2015 | R7.3 / R9 | 74,23 % |
| Nicholls et al. · 2019 | R9.4.1 | 88,77 % |
| Zymo HMW mock · 2023 | R10.4.1 (sup) | 97,30 % |
Entre le matériel utilisé jusqu'ici et la chimie actuelle il y a 8,5 points d'identité. Ce n'est pas une nuance : c'est la différence entre être près du mur d'une méthode de k-mers exacts et en être loin. Centiles du matériel moderne : p25 = 95,14 %, p75 = 98,16 %, p95 = 98,92 %, p99 = 99,33 %.
| Genre | Espèce | |
|---|---|---|
| lectures classées | 89,5 % | 57,5 % |
| exactitude | 98,53 % | 97,26 % |
| membres du standard trouvés | 7/7 | 7/7 |
Face au matériel de 2019, les lectures résolues à l'espèce passent de 31,1 % à 57,5 % à exactitude égale (97,24 → 97,26 %). Sur la chimie actuelle le système résout presque deux fois plus de lectures à l'espèce sans perdre en justesse. L'exactitude au genre est d'un demi-point inférieure à celle de 2019 pour la raison inverse : ici 89,5 % des lectures entrent au lieu de 53,7 %, donc les difficiles entrent aussi.
Le même run est publié avec les trois basecallers d'ONT. Mêmes signaux bruts, même pore, même échantillon, même jour : la seule variable est le logiciel qui traduit le signal en bases.
| Basecaller | Identité | Alignées |
|---|---|---|
| fast | 89,80 % | 9.423 |
| hac | 96,16 % | 9.456 |
| sup | 97,30 % | 9.464 |
Un run de 2023 avec basecalling fast se retrouve à la même identité que le matériel de 2019 avec le meilleur basecalling.
L'identité basse n'est pas une condition historique que l'industrie aurait laissée derrière elle : c'est un état où l'on entre aujourd'hui, par une décision opérationnelle courante — utiliser le basecaller rapide parce que le sup coûte des heures de GPU — et aussi avec de l'ADN dégradé par traitement thermique, une matrice grasse difficile à extraire ou une cellule de flux en fin de vie. fast consomme 7,5 des ~15 points de marge qui séparent le matériel moderne du point où une méthode de k-mers exacts cesse de renvoyer un résultat. La moitié du coussin, pour une case à cocher.
Sur l'axe 16S/amplicon, le banc couvre déjà la chimie R10.4.1 avec du matériel de septembre 2025 (communauté MSPlus, ont-open-data/zymo_16s_2025.09) : 12 membres sur 12 détectés, zéro faux positif réglementé, une sur-affirmation. Mesuré et consigné dans la documentation de résolution taxonomique, et cité ici pour ce qu'il est : une mesure d'une autre session, non rejouée dans celle-ci.
6 · Matériel IV — la courbe de rupture, avec une seule variable libre
Entre Brown 2017 et Zymo D6300 tout change à la fois : l'année, la chimie, le séquenceur, la communauté, le laboratoire et l'identité des lectures. Avec deux points qui diffèrent par six variables, attribuer un effondrement à l'une d'elles n'est pas justifié, et la réplique évidente de n'importe quel relecteur serait la bonne : vous avez choisi un jeu de données ancien.
Cette expérience existe pour que cette phrase cesse d'être opposable. Elle prend le même fichier de Zymo et y injecte de l'erreur à des taux croissants, avec une graine fixe et trois profondeurs pour séparer identité et profondeur. Tout le reste est identique par construction : la seule variable libre est l'identité. Et cela pouvait tourner contre nous : si l'effondrement ne se reproduisait pas, l'explication publiée serait fausse et il faudrait la retirer. C'est pour cela qu'elle vaut.
Substitutions seulement, ni insertions ni délétions. L'erreur réelle du nanopore comporte des indels, et ils sont más destructeurs pour un k-mer exact, car ils décalent le cadre des 31 bases au lieu de casser une position. Omettre les indels rend l'expérience conservatrice en faveur du concurrent : on lui donne le plus bénin des deux scénarios. L'identité est mesurée par alignement, non supposée : sur du matériel à 88,77 %, injecter 20 % ne donne pas 80 % mais 74,23 %.
Le niveau le plus dégradé atterrit à 74,23 %, soit l'identité médiane de Brown 2017. L'expérience atteint par construction le point même qu'elle voulait expliquer, en partant de matériel moderne et certifié : aucun jeu de 2015 n'était nécessaire, dégrader celui de 2019 suffit.
| Identité | Membres OmniOta |
Exactitude au genre |
Taxons sylph |
Genres parasites |
|---|---|---|---|---|
| 88,77 % | 8/8 | 99,07 % | 8 | 0,93 % |
| 87,17 % | 8/8 | 99,16 % | 7 | 0,84 % |
| 84,91 % | 8/8 | 99,29 % | 6 | 0,71 % |
| 82,65 % | 8/8 | 99,18 % | 0 | 0,82 % |
| 79,68 % | 8/8 | 99,44 % | 0 | 0,56 % |
| 76,84 % | 8/8 | 99,37 % | 0 | 0,63 % |
| 74,23 % | 8/8 | 99,40 % | 0 | 0,60 % |
Colonne sylph à 5 000 lectures ; à 20 000 et 50 000 l'effondrement se décale mais se reproduit à l'identique. La vérité est de 8 membres aux sept niveaux.
Les huit organismes de la communauté sont récupérés à tous les niveaux, y compris le plus dégradé — celui-là même où le concurrent ne renvoie pas une seule ligne. C'est le résultat qui compte pour un échantillon alimentaire réel : ADN fragmenté par le traitement thermique, matrice grasse, extraction difficile.
L'exactitude monte à mesure que le matériel se dégrade, et cela n'est pas un mérite : c'est un biais de sélection. Elle est conditionnée aux lectures que le système classe effectivement ; à mesure que le matériel se dégrade, les douteuses cessent de franchir le seuil et les faciles restent, de sorte que la justesse sur les survivantes s'améliore par sélection, non par capacité. Le chiffre qui soutient cette section est celui des membres trouvés — 8/8 — avec les lectures classées, qui chutent de 53,7 % à 36,6 %.
7 · Concurrents exécutés ici, avec la même référence
Face à GAIA, seuls ses chiffres publiés sont disponibles : c'est un service fermé à base de référence propriétaire, si bien que même en l'exécutant l'asymétrie de référence ne disparaîtrait pas. Avec sylph (Shaw & Yu, Nature Biotechnology 2024) c'est possible : on lui a donné exactement les mêmes 22 514 génomes, un à un, avec l'index construit en 296 s. Et MetaPhlAn 4.2.6 a été exécuté sur le même fichier avec sa propre base de marqueurs, la seule qu'il accepte.
| OmniOta | sylph | |
|---|---|---|
| exactitude par lecture au genre | 99,18 % | sans objet |
| membres de la communauté trouvés | 8/8 | 8/8 |
| taxons émis | 61 | 8 |
| poids des taxons excédentaires | 0,82 % | — |
| temps de profilage | ~75 min | 24 s |
Les deux outils trouvent la communauté complète, et chacun est plus fort sur un axe différent. Par lecture, OmniOta est très précis : 99,18 %, et c'est le chiffre qui gouverne une table d'abondances et tout ce qui se calcule par-dessus. Par taxon nommé, sylph décide mieux : il en émet 8 là où nous en émettons 61, parce qu'il modélise la couverture du génome par statistique de k-mers et exige que le génome soit réellement présent avant de le nommer, alors que nous nommons tout taxon qui reçoit une attribution de lecture.
Les 53 taxons excédentaires totalisent 0,82 % des lectures —Microbacterium 51, Streptomyces 43, Macrococcus 23, et une queue sous les dix lectures chacun — et le critère en développement est une évidence minimale pour nommer un taxon, et non seulement pour lui attribuer des lectures : la même doctrine de Wilson que le produit applique déjà à la confiance par taxon, portée jusqu'à la décision de le publier. C'est cohérent avec ce que mesure le §4.2 : la composition se répète entre plateformes, les traces non.
Les deux temps ne sont pas directement comparables : les ~75 min incluent l'alignement contre les neuf parties de la référence en construisant l'index à chaque passe, alors que sylph réutilise un index construit une seule fois. Avec un index persistant l'écart se réduirait beaucoup, et cette mesure reste à faire. sylph est un profileur : il donne la liste des génomes présents avec leur abondance et n'attribue pas chaque lecture, d'où l'absence de colonne d'exactitude par lecture. Shigella boydii dans sa sortie n'est pas un faux positif : c'est le complexe Escherichia/Shigella, compté comme juste selon le même critère appliqué à OmniOta au §3.1.
Kraken2/Bracken n'est pas mesuré : sa base avec ces mêmes 22 514 génomes exigerait de l'ordre de 170 Go de RAM, mesurés, si bien qu'on publie la raison plutôt que de lui donner une base tronquée qui faussserait la comparaison.
La composition certifiée du standard HMW est équimolaire entre bactéries : 14,3 % d'ADN génomique chacune. En comptant les lectures, Salmonella rassemblait 47,1 % et Bacillus 3,2 %. Ce n'est pas un biais de sous-ensemble — les profils des 10 000 premières et des 10 000 dernières lectures sont pratiquement identiques — c'est la métrique. Compter des lectures n'est pas compter une masse d'ADN. L'abondance est la couverture moyenne, bases alignées divisées par la taille du génome, ce que soutiennent CoverM, sylph et CAMI.
| Organisme | Par lectures | Couverture | MetaPhlAn | Cert. |
|---|---|---|---|---|
| S. enterica | 47,1 % | 25,2 % | 25,6 % | 14,3 % |
| E. faecalis | 11,9 % | 21,3 % | 23,3 % | 14,3 % |
| S. aureus | 4,8 % | 16,9 % | 18,9 % | 14,3 % |
| L. monocytogenes | 4,0 % | 13,0 % | 9,3 % | 14,3 % |
| E. coli | 24,0 % | 10,7 % | 13,7 % | 14,3 % |
| B. subtilis | 3,2 % | 7,6 % | 4,2 % | 14,3 % |
| P. aeruginosa | 4,9 % | 5,3 % | 4,9 % | 14,3 % |
| Divergence L1 | 0,852 | 0,411 | 0,501 | — |
Mesurer la masse d'ADN au lieu de compter les lectures réduit l'erreur de moitié — 51,8 % de moins — sur du matériel à composition certifiée. En comptant les lectures, Salmonella paraissait valoir 3,3 fois sa masse réelle et Bacillus un quart de la sienne. La règle n'est pas une préférence de style.
La comparaison avec MetaPhlAn vaut précisément parce que les deux outils ne partagent rien : nous alignons contre 22 514 génomes complets, MetaPhlAn profile contre ses marqueurs UniRef spécifiques de clade. Les deux méthodes concordent à 2,14 points en moyenne et sur l'ordre des trois plus grands, de sorte que le matériel séquencé n'est pas équimolaire, et cela est établi par deux voies indépendantes. Et sur ce qui est réellement en compétition, OmniOta se place 18 % plus près de la composition certifiée : L1 0,411 contre 0,501.
Pour la divergence restante, il existe au moins deux causes connues côté référence avant d'en invoquer une de la méthode : l'«E. coli » du panel est le génome de Shigella boydii et mesurer la couverture contre un génome de substitution la sous-estime ; il en va de même pour P. aeruginosa PAO1. Il reste de la place pour un biais réel d'extraction et de lyse, que cette expérience ne sépare pas de ce qui précède. MetaPhlAn détecte S. cerevisiae et nous non, car notre référence est bactérienne : c'est une capacité qui leur appartient et que nous n'avons pas.
8 · Fiche de mesure et sources
| version du document | 1.4.0 |
| date de la mesure | 2026-08-10 |
| moteur | minimap2-lca/3.0.0 |
| arbre de travail | 61a0bb7c |
| référence | 22 514 génomes · 1 118 270 séquences · 35,1 Go |
| aligneur | minimap2 · map-ont · N 20 · p 0.8 |
| concurrents exécutés ici | sylph · MetaPhlAn 4.2.6 |
Les procédures de téléchargement du matériel, de construction de la référence et de mesure sont publiées dans le dépôt sous forme de commandes exécutables, et chaque décision méthodologique de ce document est figée par un garde-fou automatique de test qui compare le texte au JSON du run : si quelqu'un change un chiffre dans la prose sans mesurer à nouveau, le test échoue.
Le détail complet de chaque axe — réserves étendues, résultats par jeu, historique des versions du banc et chiffres retirés pour non-reproductibilité — vit dans la documentation canonique du dépôt, disponible sous accord pour évaluation technique.
- Brown BL, Watson M, Minot SS, Rivera MC, Franklin RB (2017). MinION nanopore sequencing of environmental metagenomes. GigaScience 6(3):1-10. 10.1093/gigascience/gix007
- Paytuví A, Battista E, Scippacercola F, Aiese Cigliano R, Sanseverino W (2019). GAIA: an integrated metagenomics suite. bioRxiv 804690. 10.1101/804690 — Tableau S2 du supplémentaire : exactitude sur Brown 2017.
- Nicholls SM, Quick JC, Tang S, Loman NJ (2019). Ultra-deep, long-read nanopore sequencing of mock microbial community standards. GigaScience 8(5):giz043. 10.1093/gigascience/giz043
- Shaw J, Yu YW (2024). Rapid species-level metagenome profiling with sylph. Nature Biotechnology. 10.1038/s41587-024-02412-y
- Richter M, Rosselló-Móra R (2009). Shifting the genomic gold standard for the prokaryotic species definition. PNAS 106(45):19126-31. 10.1073/pnas.0906412106
- Jain C, Rodriguez-R LM, Phillippy AM, Konstantinidis KT, Aluru S (2018). High throughput ANI analysis of 90K prokaryotic genomes. Nature Communications 9:5114. 10.1038/s41467-018-07641-9
- Dunlap CA et al. (2020). Bacillus spizizenii comme espèce. Int J Syst Evol Microbiol.
- Altman DG, Bland JM (1995). Absence of evidence is not evidence of absence. BMJ 311:485.
- ISO 13136:2012 — Microbiologie de la chaîne alimentaire : méthode horizontale pour la détection d' E. coli producteur de shigatoxine.
- Matériel de séquençage : European Nucleotide Archive PRJEB8672, PRJEB8716, ERR3152364, ERR3152365 ; NCBI PRJNA934154 ; fiche du fabricant ZymoBIOMICS D6300 ; BEI Resources HM-783D.
Dossier de validation d'OmniOta · v1.4.0 · 2026-08-10