UnMICST: aprendizaje profundo con aumento real para una segmentación robusta de imágenes altamente multiplexadas de tejidos humanos

Biología de las comunicaciones volumen 5, Número de artículo: 1263 (2022) Citar este artículo

2494 Accesos

1 Citas

7 Altmetric

Detalles de métricas

Las próximas tecnologías permiten la recopilación rutinaria de imágenes de resolución subcelular altamente multiplexadas (20 a 60 canales) de tejidos de mamíferos para investigación y diagnóstico. La extracción de datos de una sola celda de tales imágenes requiere una segmentación precisa de la imagen, un problema desafiante que comúnmente se aborda con el aprendizaje profundo. En este documento, informamos dos hallazgos que mejoran sustancialmente la segmentación de imágenes de tejidos utilizando una variedad de arquitecturas de aprendizaje automático. Primero, encontramos inesperadamente que la inclusión de imágenes saturadas y desenfocadas intencionalmente en los datos de entrenamiento mejora sustancialmente la segmentación de imágenes posterior. Dicho aumento real supera al aumento computacional (desenfoque gaussiano). Además, encontramos que es práctico obtener imágenes de la envoltura nuclear en múltiples tejidos utilizando un cóctel de anticuerpos, identificando así mejor los contornos nucleares y mejorando la segmentación. Los dos enfoques mejoran de forma acumulativa y sustancial la segmentación en una amplia gama de tipos de tejido. Especulamos que el uso de aumentos reales tendrá aplicaciones en el procesamiento de imágenes fuera de la microscopía.

Los tipos de células, las membranas basales y las estructuras conectivas que organizan los tejidos y los tumores están presentes en escalas de longitud que van desde orgánulos subcelulares hasta órganos completos (<0,1 a >104 µm). La microscopía que utiliza hematoxilina y eosina (H&E) complementada con inmunohistoquímica1 ha desempeñado durante mucho tiempo un papel principal en el estudio de la arquitectura tisular2,3. Además, la histopatología clínica sigue siendo el principal medio por el cual enfermedades como el cáncer se estadifican y manejan clínicamente4. Sin embargo, la histología clásica proporciona información molecular insuficiente para identificar con precisión los subtipos de células, estudiar los mecanismos de desarrollo y caracterizar los genes de las enfermedades. Las imágenes de alto plex (Tabla complementaria 1)5,6,7,8,9 de tejidos normales y enfermos (a veces denominadas proteómica espacial) producen datos de resolución subcelular sobre la abundancia de 20 a 60 antígenos, que es suficiente para identificar tipos de células, mida los estados de las células (en reposo, proliferando, muriendo, etc.) e interrogue las vías de señalización celular. Las imágenes de alto plex también revelan las morfologías y posiciones de las estructuras acelulares esenciales para la integridad del tejido en un entorno 3D preservado. Los métodos de imágenes de alto plex difieren en resolución, campo de visión y multiplicidad (plex), pero todos generan imágenes 2D de secciones de tejido; en la práctica actual, estos suelen tener un grosor de 5 a 10 µm.

Cuando las imágenes multiplexadas se segmentan y cuantifican, los datos de células individuales resultantes son un complemento natural de los datos de secuenciación de ARN de células individuales (scRNASeq), que han tenido un impacto dramático en nuestra comprensión de las células y tejidos normales y enfermos10,11. Sin embargo, a diferencia del RNASeq disociativo, las imágenes de tejido multiplex conservan la morfología y la información espacial. Sin embargo, los datos de imágenes de alto plex son sustancialmente más difíciles de analizar computacionalmente que las imágenes de células cultivadas, el énfasis principal de los sistemas de visión artificial centrados en la biología hasta la fecha. En particular, el análisis de una sola celda de datos de imágenes requiere segmentación, una técnica de visión por computadora que asigna etiquetas de clase a una imagen en una instancia o en forma de píxel para subdividirla. La máscara de segmentación resultante se usa luego para cuantificar las intensidades de diferentes marcadores mediante la integración de intensidades de señales fluorescentes en cada objeto (célula) identificado por la máscara o en una forma (generalmente un anillo) que perfila o está centrada en la máscara12. Se ha trabajado mucho en el desarrollo de métodos para segmentar células metazoarias cultivadas en cultivo, pero la segmentación de imágenes de tejido es un desafío más difícil debido al hacinamiento celular y las diversas morfologías de los diferentes tipos de células. Recientemente, las rutinas de segmentación que utilizan el aprendizaje automático se han convertido en estándar, en paralelo con el uso generalizado de redes neuronales convolucionales (CNN) en el reconocimiento de imágenes, la detección de objetos y la generación de imágenes sintéticas13. Arquitecturas como ResNet, VGG16 y, más recientemente, UNet y Mask R-CNN14,15 han ganado una amplia aceptación por su capacidad para aprender millones de parámetros y generalizar a través de conjuntos de datos, como lo demuestra el excelente desempeño en una amplia gama de competencias de segmentación, como así como en desafíos de hackathon16 utilizando conjuntos de datos de imágenes disponibles públicamente17,18.

Tanto en células cultivadas como en tejidos, la localización de núcleos es un punto de partida óptimo para segmentar células, ya que la mayoría de los tipos de células tienen un núcleo (las células en mitosis, las células musculares y hepáticas y los osteoclastos son excepciones importantes) y las tinciones nucleares con alta relación señal-fondo. Las proporciones están ampliamente disponibles. El núcleo es generalmente bastante grande (5–10 µm) en relación con la resolución de los microscopios de fluorescencia de campo amplio (~0,5 µm para una lente objetivo de apertura numérica de 0,9), lo que facilita su detección con múltiples aumentos. Los núcleos también se encuentran a menudo en el centro aproximado de una célula. Existen ventajas en el uso de marcadores adicionales durante la adquisición de imágenes; por ejemplo, Schüffler et al.19 utilizaron datos IMC multiplexados y métodos de cuenca hidrográfica para la segmentación multicanal. Sin embargo, no está claro qué proteínas se expresan lo suficientemente ampliamente en diferentes tipos de células y tejidos para ser útiles en la segmentación. Los métodos basados en bosques aleatorios como Ilastik y Weka20,21 explotan múltiples canales para la clasificación de píxeles por clases a través de un conjunto de árboles de decisión para asignar probabilidades de clase por píxeles en una imagen. Sin embargo, los modelos de bosque aleatorio tienen mucha menos capacidad de aprendizaje que las CNN, lo cual es una desventaja sustancial. Por lo tanto, la posibilidad de usar CNN con datos multicanal para mejorar la segmentación de núcleos no ha sido ampliamente explorada.

Se utiliza una amplia variedad de métricas para cuantificar el rendimiento de las rutinas de segmentación. Estos se pueden dividir ampliamente en métricas de píxeles y de nivel de instancia; el primero mide la superposición en la forma y posición de las máscaras de segmentación a nivel de píxel, mientras que el segundo mide si hay acuerdo en presencia o ausencia de una máscara. La intersección de barrido sobre la unión (IoU; el índice Jaccard)16 es un ejemplo de una métrica de rendimiento a nivel de píxel; se calcula midiendo la superposición entre una máscara derivada de una anotación de verdad en el suelo y una máscara predicha basada en la relación de la intersección de los píxeles con su unión. Cuanto mayor sea el IoU, mayor será la precisión, con un valor ideal de 1 (aunque esto se logra muy raramente). La puntuación F1 es un ejemplo de una métrica a nivel de instancia que utiliza el promedio ponderado de la precisión (positivos verdaderos normalizados a las predicciones) y recuperación (positivos verdaderos normalizados a la verdad del terreno). Un 'positivo' en este caso se califica comúnmente como un 50% de superposición (a nivel de píxel) entre una máscara predicha y la realidad del terreno. Por lo tanto, da cabida a desacuerdos sustanciales sobre la forma de la máscara. En este contexto, es importante tener en cuenta que el aprendizaje supervisado se basa en el establecimiento de una verdad básica por parte de expertos humanos. Como se describe en detalle a continuación, para las imágenes de tejidos, el nivel de acuerdo informado entre los expertos humanos para la anotación a nivel de píxel es de solo alrededor de 0,6 (con un IoU del 60 %), lo que sugiere que los expertos no pueden determinar la forma precisa de las máscaras de segmentación. (y las células que representan). No es sorprendente que la concordancia entre observadores sea sustancialmente más alta (0.7–0.9) cuando se evalúa usando una métrica de nivel de instancia como la puntuación F1 porque es relativamente simple decidir si un núcleo está presente o no. Como se mencionó anteriormente, las máscaras de segmentación en imágenes de alto plex se usan comúnmente para calcular las intensidades integradas de los anticuerpos contra las proteínas nucleares, citoplasmáticas y de la superficie celular, y esto otorga una gran importancia a la determinación correcta de la forma de la máscara. Por lo tanto, el uso de métricas estrictas a nivel de píxel, como IoU, es esencial para evaluar la precisión de la segmentación en el análisis de una sola célula de imágenes de tejido multiplex.

La precisión de la segmentación por humanos y métodos computacionales depende de manera crucial de la calidad de las imágenes originales. En la práctica, muchas imágenes de tejidos humanos y murinos tienen artefactos de enfoque (desenfoque) y las imágenes de algunas células están saturadas (con intensidades por encima del rango lineal de la cámara). Esto es particularmente cierto en el caso de imágenes de portaobjetos completos en las que se utilizan hasta 1000 mosaicos de imágenes adquiridas secuencialmente para crear imágenes de mosaico de especímenes tan grandes como varios centímetros cuadrados. La obtención de imágenes de todo el portaobjetos es una necesidad diagnóstica22 y es esencial para lograr la potencia suficiente para un análisis espacial riguroso23. Sin embargo, muchos artículos recientes que abordan la segmentación de imágenes de tejidos restringen su análisis a los campos enfocados más claros. Esto es lógico porque, en el marco del aprendizaje supervisado, es más fácil obtener datos de entrenamiento y establecer una verdad sobre el terreno cuando las imágenes son claras y la concordancia entre observadores es alta. Sin embargo, en la práctica, todas las imágenes de microscopía de muestras de tejido tienen problemas de enfoque: la profundidad de campo de las lentes del objetivo capaces de obtener imágenes de alta resolución (lentes NA altas) suele ser menor que el grosor de la muestra, por lo que los objetos por encima y por debajo del plano de enfoque óptimo están borrosos. Las imágenes de muestras de biopsias humanas están particularmente sujetas a artefactos de saturación y borrosidad debido a que las secciones de tejido no siempre son uniformemente coplanarias con el cubreobjetos. Dado que la mayor parte de la investigación en tejidos humanos es incidental al diagnóstico o tratamiento, rara vez es posible rechazar muestras problemáticas por completo. Además, rara vez es posible volver a generar imágenes de secciones de tejido analizadas previamente debido a la desintegración del tejido. Por lo tanto, la segmentación de imágenes con datos del mundo real debe compensar las aberraciones de imágenes comunes.

La forma más común de expandir los datos de entrenamiento para tener en cuenta los artefactos de la imagen es a través del aumento computacional24, que implica el preprocesamiento de imágenes mediante rotación aleatoria, corte, volteo, etc. Esto está diseñado para evitar que los algoritmos aprendan aspectos irrelevantes de una imagen, como la orientación. . Hasta la fecha, los artefactos de enfoque se han abordado utilizando el desenfoque gaussiano calculado para aumentar los datos de entrenamiento25,26,27. Sin embargo, el desenfoque gaussiano es solo una aproximación del desenfoque inherente a cualquier sistema de imágenes ópticas que tenga un paso de banda limitado (es decir, cualquier microscopio real) más los efectos de los desajustes del índice de refracción y la dispersión de la luz.

En este documento, investigamos formas de maximizar la precisión de la segmentación de imágenes mediante algoritmos de aprendizaje automático en imágenes de tejido multiplexadas que contienen artefactos de imágenes comunes. Generamos un conjunto de datos de prueba y entrenamiento con anotaciones reales a través de la curación humana de múltiples tejidos normales y tumores, y usamos estos datos para calificar la precisión de segmentación lograda en tres redes de aprendizaje profundo, cada una de las cuales fue entrenada y evaluada de forma independiente: UNet, Máscara R-CNN y Pyramid Scene Parsing Network (PSPNet). Los modelos resultantes comprenden una familia de modelos universales para identificar células y segmentar tejido (UnMICST) en la que cada modelo se basa en los mismos datos de entrenamiento pero en una clase diferente de red de aprendizaje automático. Según nuestro análisis, identificamos dos formas de mejorar la precisión de la segmentación para las tres redes. El primero consiste en agregar imágenes de tinción de la envoltura nuclear (NES) a imágenes de cromatina nuclear adquiridas mediante tintes de intercalación de ADN. El segundo implica agregar aumentos reales, definidos aquí como imágenes sobresaturadas y desenfocadas intencionalmente (recolectadas de las mismas muestras), a los datos de entrenamiento para hacer que los modelos sean más robustos a los tipos de artefactos que se encuentran en las imágenes de tejidos reales. Descubrimos que el aumento con datos reales supera significativamente al aumento de desenfoque gaussiano convencional, lo que ofrece una mejora estadísticamente significativa en la solidez del modelo. En una variedad de tipos de tejido, las mejoras al agregar datos de NES y aumentos reales son acumulativos.

Un desafío en el aprendizaje automático supervisado en imágenes de tejido es la falta de suficientes datos disponibles de forma gratuita con etiquetado de verdad en el suelo. La experiencia con imágenes de escenas naturales14 ha demostrado que la adquisición de etiquetas puede llevar mucho tiempo y limitar la velocidad28. También está bien establecido que las células en diferentes tipos de tejido tienen morfologías nucleares que varían sustancialmente de la forma esférica y elipsoidal observada en células cultivadas29. El pleomorfismo nuclear (variación en el tamaño y la forma del núcleo) incluso se usa en histopatología para clasificar los cánceres30. Para tener en cuenta la variación en la morfología nuclear, generamos conjuntos de datos de entrenamiento, validación y prueba de siete tipos diferentes de tejidos y tumores (adenocarcinoma de pulmón, intestino delgado no neoplásico, próstata normal, adenocarcinoma de colon, glioblastoma, ovario no neoplásico y amígdala) encontrados en 12 núcleos de EMIT (Exemplar Microscopy Images of Tissue31, RRID: SCR_021052), una micromatriz de tejido ensamblada a partir de descartes clínicos. Los tejidos tenían células con morfologías nucleares que iban desde mezclas de células que eran grandes frente a pequeñas, células redondas frente a células estrechas y empaquetadas densa e irregularmente frente a organizadas en grupos. Un experto humano etiquetó un total de ~ 10,400 núcleos para contornos nucleares, centros y fondo. Además, dos expertos humanos etiquetaron un segundo conjunto de datos de una imagen de diapositiva completa de melanoma humano32 para establecer el nivel de concordancia entre observadores y proporcionar un conjunto de datos de prueba que no estaba relacionado con los datos de entrenamiento.

Implementamos y luego evaluamos dos algoritmos de segmentación semántica y de una instancia que se basan en aprendizaje profundo/CNN (UNet, PSPNet y Mask R-CNN, respectivamente). La segmentación semántica es un enfoque de ML de granularidad gruesa que asigna objetos a distintas clases entrenadas, mientras que la segmentación de instancias es de granularidad fina e identifica instancias individuales de objetos. Entrenamos a cada uno de estos modelos (UnMICST-U, UnMICST-P y UnMICST-M, respectivamente) en datos seleccionados y etiquetados manualmente de siete tipos de tejidos distintos. Los modelos no se combinaron, sino que se probaron de forma independiente en un intento de determinar qué red mostraba el mejor rendimiento.

Evaluamos el rendimiento utilizando métricas tanto a nivel de píxel como de instancia, incluido el umbral de barrido de intersección sobre unión (IoU) descrito por Caicedo et al.16, que se basa en imágenes de líneas celulares e implementado en el conjunto de datos COCO ampliamente utilizado33. El IoU (Índice de Jaccard) se calcula midiendo la superposición entre la anotación de verdad del terreno y la predicción a través de una relación de la intersección a la unión de píxeles en dos máscaras. El umbral (IoU) se evalúa en un rango de valores desde el menos estricto, 0,55, hasta el más estricto, 0,816. A diferencia de una métrica de precisión de píxeles estándar (la fracción de píxeles en una imagen que se clasificaron correctamente), IoU no es sensible al desequilibrio de clase. IoU es una medida particularmente relevante del rendimiento de la segmentación para el análisis de imágenes de alto plex. Cuando las máscaras se utilizan para cuantificar las intensidades de los marcadores en otros canales, no solo nos preocupa si un núcleo está presente o no en una ubicación particular, sino también si las máscaras tienen el tamaño y la forma correctos.

Ejemplos de métricas a nivel de instancia son los verdaderos positivos (TP) y los verdaderos negativos (TN), que clasifican los objetos predichos en función de si se superponen en un 50 % o más; de lo contrario, se consideran falsos positivos (FP) y falsos negativos (FN). . Las frecuencias de estos cuatro estados se utilizan para calcular la puntuación F1 y la precisión media (AP). La puntuación F1 es el promedio ponderado de precisión (positivos verdaderos normalizados a las predicciones) y recuperación (positivos verdaderos normalizados a la verdad básica), y AP considera la cantidad de positivos verdaderos, la cantidad total de la verdad básica y las predicciones.

La precisión esperada para estos métodos se determinó haciendo que varios expertos humanos etiquetaran el mismo conjunto de datos y determinaran el nivel de concordancia entre observadores. Evaluamos la concordancia entre observadores utilizando tanto la puntuación F1 como las puntuaciones IoU de barrido con datos de imágenes de lado completo de melanoma humano32. Para un conjunto de ~ 4900 límites nucleares anotados de forma independiente, dos microscopistas experimentados lograron una puntuación F1 media de 0,78 (información complementaria 1) y una IoU del 60 % en un umbral de 0,6. En la discusión, comparamos estos datos con los valores obtenidos en otros artículos publicados recientemente y abordamos la discrepancia en las puntuaciones F1 y los valores de IoU. También discutimos cómo se pueden aumentar estos valores para lograr un rendimiento sobrehumano24,34.

Para estudiar el impacto de los aumentos reales y computarizados en el rendimiento de los métodos de segmentación, entrenamos modelos con diferentes conjuntos de datos que involucraban tanto aumentos reales como computarizados y luego probamos los datos en imágenes que se adquirieron enfocadas, desenfocadas o borrosas usando un Núcleo gaussiano. Cuando los tamaños de los conjuntos de datos estaban desequilibrados, complementamos dichos casos con aumentos de rotación. Evaluamos la precisión de la segmentación cuantitativamente en función de IoU y cualitativamente mediante la inspección visual de las máscaras predichas superpuestas en los datos de la imagen. El aumento real implicó agregar datos de entrenamiento adicionales empíricos, en lugar de computados, que tenían los tipos de imperfecciones que se encuentran más comúnmente en el tejido. Esto se logró colocando el plano focal 3 µm por encima y por debajo de la muestra, lo que resultó en imágenes desenfocadas. Se recopiló un segundo conjunto de imágenes en tiempos de exposición prolongados, saturando así el 70-80% de los píxeles. Debido a que las imágenes borrosas y saturadas se recolectaron secuencialmente sin cambiar las posiciones del escenario, fue posible usar el mismo conjunto de anotaciones de verdad del terreno. Para los aumentos computarizados, convolucionamos un núcleo gaussiano con las imágenes enfocadas utilizando un rango de desviaciones estándar elegido para cubrir un amplio espectro de casos experimentales (Fig. 1a). En ambos escenarios, los modelos resultantes se evaluaron en un conjunto de prueba preparado de la misma manera que el conjunto de entrenamiento.

un diagrama esquemático que muestra el enfoque que compara imágenes de prueba en modelos entrenados con datos de imagen desenfocados o borrosos gaussianos. Los mapas de probabilidad de mayor contraste significan más confianza: las áreas de interés se resaltan con flechas rojas. Los mapas de probabilidad correspondientes indican que un modelo entrenado con imágenes desenfocadas funciona mejor en imágenes de prueba desenfocadas que un modelo borroso de Gauss. La barra de escala indica 20 μm. b Los gráficos muestran que la incorporación de aumentos reales (curva roja) en el conjunto de entrenamiento es estadísticamente superior a los conjuntos de entrenamiento con desenfoque gaussiano (curva amarilla) y sin aumentos reales (curva azul) para UnMICST-U, UnMICST-M y UnMICST-P . La simulación de imágenes desenfocadas con desenfoque gaussiano es solo marginalmente mejor que no aumentar los datos de entrenamiento en absoluto. c Comparación de la precisión del modelo UnMICST-U cuando el tamaño del conjunto de datos de entrenamiento se mantuvo constante reemplazando los aumentos desenfocados (curva roja) con rotaciones de 90 y 180° (curva azul). Las barras de error son el error estándar de la media.

En un conjunto inicial de estudios, encontramos que los modelos creados con datos de entrenamiento aumentados con desenfoque gaussiano funcionaron bien en datos de prueba de desenfoque gaussiano. Sin embargo, cuando se evaluó con datos de prueba que involucraban imágenes desenfocadas y saturadas, encontramos que el aumento de desenfoque gaussiano mejoró la precisión solo ligeramente en relación con los modelos de referencia que carecen de aumentos (Fig. 1b). Por el contrario, el uso de datos de entrenamiento complementados con aumentos reales aumentó la fracción de células retenidas en un umbral de IoU de 0,6 en un 40-60 %. Se observó una mejora estadísticamente significativa hasta un límite de IoU de 0,8 con los tres marcos de aprendizaje (modelos UnMICST-U, UnMICST-M y UnMICST-P). Para realizar una comparación equilibrada, creamos dos conjuntos de datos de entrenamiento con el mismo número de imágenes. El primer conjunto contenía los datos originales más rotaciones calculadas de 90 y 180°, y el segundo conjunto contenía datos originales más datos desenfocados recopilados por encima y por debajo de la muestra. Nuevamente, encontramos que los modelos entrenados con aumentos reales superaron sustancialmente a los modelos aumentados rotacionalmente cuando se probaron en datos de prueba desenfocados (Fig. 1c). Por lo tanto, entrenar cualquiera de las tres arquitecturas de aprendizaje profundo diferentes con aumento real generó modelos que superaron a los modelos con aumento computarizado utilizando datos de prueba que contenían artefactos encontrados comúnmente.

Cuando teñimos nuestro panel TMA (Imágenes ejemplares de microscopía de tejidos y tumores (EMIT) TMA) encontramos que los anticuerpos contra la lamina A y C (Fig. 2a) (que son diferentes formas de empalme del gen LMNA) tiñeron aproximadamente solo la mitad de núcleos como anticuerpos contra lamin B1 (Fig. 2b) o lamin B2 (Fig. 2c) (productos de los genes LMNB1 y LMNB2). La tinción para el receptor de lamina B (Fig. 2e) mostró un contraste de imagen deficiente. Un estudio pantejido mostró que una mezcla de anticuerpos para la nucleoporina NUP98 (Fig. 2d) y lamina B2 conjugada con el mismo fluoróforo (Alexafluor-647) generó tinción de la envoltura nuclear (NES) para casi todos los núcleos en múltiples tejidos (Fig. 2f –h). Consideramos que este es el cóctel de anticuerpos óptimo. Sin embargo, solo algunos tipos de células, por ejemplo, los epitelios en el adenocarcinoma colorrectal, exhibieron la estructura en forma de anillo que es característica de la lámina nuclear en las células epiteliales cultivadas. La envoltura nuclear en las células inmunitarias y de otro tipo tiene pliegues e invaginaciones35 y, según nuestros datos, la tinción de NES podría ser irregular y difusa, lo que enfatiza aún más la dificultad de encontrar una tinción de NES ampliamente útil en el tejido.

Mostrando a lamin A/C, b lamin B1, c lamin B2, d NUP98 ye el receptor de lamin B en el mismo campo de visión. Lamin B1 y B2 parecen teñir proporciones similares de núcleos mientras que lamin A/C tiñe menos núcleos. La tinción contra el receptor de lamina B fue comparativamente más débil. Lamin B2 (f) y NUP98 (g) son complementarios y, cuando se usan en combinación, maximizan el número de células teñidas. h Compuesto de lámina B2 (púrpura) y NUP98 (verde). La barra de escala indica 100 μm.

El valor de las imágenes NES para el rendimiento del modelo se evaluó cuantitativa y cualitativamente. En imágenes de adenocarcinoma de colon, intestino delgado no neoplásico y tejido de amígdalas, encontramos que la adición de imágenes NES resultó en mejoras significativas en la precisión de la segmentación basada en IoU con los tres marcos de aprendizaje; las mejoras en otros tejidos, como el adenocarcinoma de pulmón, fueron más modestas y esporádicas (Fig. 3a, Pulmón). Para la segmentación nuclear de fibroblastos en tejido de cáncer de próstata, los modelos UnMICST-U y UnMICST-M con datos NES no fueron mejores que los modelos entrenados solo con tinción de ADN. Los más llamativos fueron los casos en los que los datos de NES disminuyeron ligeramente el rendimiento (segmentación UnMICST-P en fibroblastos postrados y segmentación UnMICST-U de glioblastoma). La inspección de las máscaras UnMICST-P sugirió que la segmentación de los núcleos de fibroblastos bien separados ya era óptima solo con imágenes de ADN (~60 % de los núcleos retenidos en IoU de 0,6), lo que implica que la adición de imágenes NES produjo pocas mejoras. Con las máscaras UnMICST-U en el glioblastoma, el problema parecía involucrar una morfología NES atípica, que es consistente con un alto nivel de pleomorfismo nuclear y la presencia de células gigantes, las cuales son características bien establecidas del glioblastoma de alto grado36,37. También observamos que los datos de NES solos fueron inferiores a la tinción de ADN como única fuente de datos de entrenamiento y, por lo tanto, deben usarse en combinación con imágenes de ADN (Información complementaria 2). Por lo tanto, agregar NES a los datos de entrenamiento mejora ampliamente, pero no universalmente, la precisión de la segmentación.

NES: tinción de la envoltura nuclear. Evaluar la adición de NES como segundo marcador al ADN en la precisión de la segmentación por tejido y por modelo. a Gráficos de IoU variable que comparan el modelo solo de ADN (curva azul) y el modelo de ADN + NES (curva roja) en todos los marcos. Agregar NES aumentó la precisión para núcleos densamente empaquetados, como el colon, el intestino delgado, las amígdalas y, en cierta medida, el tejido pulmonar. Las barras de error son errores estándar de la media. b Imágenes representativas en escala de grises de tejidos teñidos con ADN y NES que comparan sus morfologías variables, seguidas de predicciones de máscara UnMICST-U (verde) superpuestas en anotaciones de verdad del terreno (púrpura). En tejidos con núcleos dispersos, como los fibroblastos del tejido prostático, la NES no agregó un beneficio adicional al ADN solo. En tejidos donde NES no muestra el anillo nuclear característico, como en el glioblastoma, la precisión tampoco mejoró. La barra de escala indica 20 μm.

Para determinar si el aumento real y NES se combinarían durante el entrenamiento del modelo para lograr una precisión de segmentación superior en relación con el uso de cualquier tipo de datos solo, entrenamos y probamos modelos en cuatro escenarios diferentes (usando los tres marcos de aprendizaje; Fig. 4). Usamos imágenes del intestino delgado, un tejido que contiene núcleos que tienen una amplia variedad de morfologías, y luego extendimos el análisis a otros tipos de tejido (ver más abajo). Los modelos se evaluaron con datos de prueba de ADN desenfocados para aumentar la sensibilidad del experimento. En el primer escenario, entrenamos modelos de referencia utilizando datos de imágenes de ADN enfocadas y probamos modelos en imágenes de ADN enfocadas que no se ven. Con tejidos como el intestino delgado, que son difíciles de segmentar porque contienen núcleos densamente empaquetados, el escenario A resultó en predicciones ligeramente subsegmentadas. En el Escenario B y para todos los escenarios posteriores, se incluyeron imágenes de ADN desenfocadas en el conjunto de prueba, lo que dio lugar a contornos que estaban sustancialmente desalineados con las anotaciones de la realidad del terreno y dieron como resultado una mayor subsegmentación. Se observaron predicciones falsas positivas y localizaciones imprecisas de la membrana de los núcleos en áreas desprovistas de núcleos y con muy poco contraste (Fig. 4a). Cuando las imágenes de NES se incluyeron en el conjunto de entrenamiento (Escenario C), los límites nucleares fueron más consistentes con las anotaciones de verdad en el terreno, aunque aún quedaban núcleos predichos falsos positivos. El rendimiento más sólido en los marcos y tejidos de ML se observó cuando se combinaron las imágenes NES y el aumento real: los límites nucleares precisos generalmente estaban bien alineados con las anotaciones de verdad en el terreno, tanto en forma como en tamaño. Las diferencias observables en la ubicación de las máscaras de segmentación se reflejaron en mejoras en IoU: para los tres marcos de aprendizaje profundo, incluidos los datos de NES y los aumentos reales aumentaron la fracción de núcleos retenidos en un 50 % a un umbral de IoU de 0,6 (Fig. 4b). La precisión de UnMICST-P (curva azul) entrenada solo con datos de ADN enfocados fue mayor que la de los otros dos modelos de referencia en todos los umbrales de IoU, lo que sugiere que UnMICST-P tiene una mayor capacidad de aprendizaje. UnMICST-P puede tener una ventaja en experimentos en los que la tinción de la envoltura nuclear resulta difícil o imposible.

NES - tinción de la envoltura nuclear. a Los modelos entrenados solo con datos de ADN enfocados produjeron mapas de probabilidad subsegmentados, especialmente en tejido densamente empaquetado como el intestino delgado (Escenario A). Cuando se probaron con datos desenfocados, los bordes de los núcleos fueron en gran parte incorrectos (Escenario B). Adición de formas de borde de núcleo restauradas por NES (Escenario C). La combinación de NES y aumentos reales redujo las detecciones de falsos positivos y produjo máscaras de núcleo que se parecían más a las etiquetas de verdad del suelo (Escenario D). La barra de escala indica 20 μm. La leyenda de la tabla muestra las condiciones utilizadas para cada escenario A–D. La flecha amarilla indica una celda de interés borrosa donde la precisión mejora con NES y aumento real. b Los gráficos comparan la precisión representada como la cantidad de celdas retenidas a través de diferentes umbrales de IoU con todos los modelos de UnMICST-U (arriba), UnMICST-M (centro) y UnMICST-P (abajo). En todos los modelos, se retuvieron más núcleos cuando se usaron NES y aumentos reales juntos durante el entrenamiento (curvas amarillas) en comparación con el uso de NES sin aumentos reales (curvas rojas) o ADN solo (curvas azules). Las barras de error son el error estándar de la media.

Para determinar si las mejoras en la segmentación se extenderían a múltiples tipos de tejido, repetimos el análisis descrito anteriormente usando tres escenarios para entrenamiento y prueba con imágenes tanto enfocadas (Fig. 5a) como desenfocadas (Fig. 5b). El escenario 1 usó imágenes de ADN enfocadas para entrenamiento (barras azules), el escenario 2 usó imágenes de ADN y NES enfocadas (barras rojas) y el escenario 3 usó imágenes de ADN y NES enfocadas más aumento real (barras verdes). Si bien la magnitud de la mejora varió con el tipo de tejido y el conjunto de pruebas (panel a frente a b), los resultados en su conjunto respaldan la conclusión de que la inclusión tanto de NES como de aumentos reales durante el entrenamiento del modelo confiere una mejora estadísticamente significativa en la precisión de la segmentación con múltiples tipos de tejido y modelos El aumento de la precisión fue mayor cuando los modelos funcionaron mal (p. ej., en el escenario 1, donde los modelos se probaron en datos de imágenes de colon desenfocadas; Fig. 5b, barras azules), por lo que la precisión de la segmentación se volvió relativamente uniforme en todos los tipos de células y tejidos. Como prueba final, volvimos a examinar toda la imagen del melanoma del portaobjetos descrita anteriormente (que no se había incluido en ningún dato de entrenamiento) y evaluamos las puntuaciones de IoU, AP y F1. Los datos fueron consistentes independientemente de la métrica y mostraron que los tres modelos se beneficiaron de la inclusión de datos de entrenamiento que incluían imágenes NES y aumentos reales (Información complementaria 3). Sin embargo, la mejora en la precisión fue modesta y similar a la del adenocarcinoma de pulmón. Atribuimos esto al hecho de que, al igual que el adenocarcinoma de pulmón, el melanoma tiene regiones menos densas, en las que nuestros modelos de referencia ya funcionaron bien.

a En todos los tipos de tejido, excepto GBM, la adición de NES (barras rosas) y el uso de aumentos reales combinados con NES (barras verdes) en los datos de entrenamiento ofrecieron una precisión superior en comparación con el uso de ADN solo (barras azules). b Cuando los modelos se probaron con datos desenfocados, todos los tejidos (incluido GBM inesperadamente) mostraron beneficios resultantes del uso de NES (barras rosas) combinado con aumentos reales (barras verdes). El gráfico de líneas indica la precisión más alta alcanzada para cada tejido cuando se prueba con datos enfocados del panel (a).

Para investigar la mejora general que se puede lograr con un modelo UnMICST representativo, probamos UnMICST-U con y sin aumentos reales o computarizados y datos NES en los seis tejidos como un conjunto, incluidas imágenes enfocadas, saturadas y desenfocadas (equilibrando el cantidad total de datos de entrenamiento en cada caso). Se observó una mejora de 1,7 veces en la precisión con un IoU de 0,6 para el modelo completamente entrenado (es decir, con datos NES y aumentos reales; Fig. 6a). La inspección de las máscaras de segmentación también demostró contornos más precisos para los núcleos en una amplia gama de formas. La mejora general en la precisión fue sustancialmente mayor que cualquier diferencia observada entre los marcos de segmentación semántica y de instancias. Por lo tanto, centramos el trabajo posterior en el marco más utilizado: U-Net.

a Mejora de la precisión de los modelos UnMICST-U entrenados con y sin NES (tinción de la envoltura nuclear) en comparación con el ADN solo, y aumentos reales en comparación con el desenfoque computarizado (GB; desenfoque gaussiano). Para equilibrar el tamaño del conjunto de datos de entrenamiento, GB se sustituyó por datos NES y las rotaciones calculadas de 90/180° se sustituyeron por aumentos reales. Las barras de error son el error estándar de la media. b Una imagen CyCIF de 64 plex de un núcleo TMA de intestino delgado no neoplásico del conjunto de datos EMIT. El cuadro punteado indica la región de interés para los paneles (d, e). c Proyección UMAP usando intensidades de tinción de células individuales para 14 proteínas marcadoras (ver métodos). El color de los puntos de datos representa la intensidad de E-cadherina (arriba a la izquierda) o CD45 (abajo a la izquierda) en todos los núcleos segmentados. El agrupamiento basado en la densidad con HDBSCAN identificó grupos distintos (cada uno indicado con un color diferente) que eran positivos para E-cadherina o CD45, así como una pequeña cantidad de células doblemente positivas (círculo azul discontinuo). d Región ampliada del cuadro amarillo discontinuo de b que muestra los contornos de la máscara de segmentación (magenta) superpuestos al canal de ADN (verde). e Imagen compuesta de ADN, E-cadherina y CD45 de la misma región. Centroides de núcleos de segmentación indicados por puntos marrones. Las células positivas tanto para E-cadherina como para CD45 (del círculo azul discontinuo en el panel c están marcadas con flechas amarillas y puntos amarillos. Recuadro: vista ampliada de la región encuadrada que muestra células inmunitarias y epiteliales superpuestas.

También probamos un modelo UnMICST-U completamente entrenado en una imagen CyCIF de 64 plex de tejido de intestino delgado no neoplásico del EMIT TMA (Fig. 6b). Las intensidades de tinción se cuantificaron por celda y los resultados se visualizaron utilizando la Proyección y aproximación de colector uniforme (UMAP; Fig. 6c). Se encontró que las máscaras de segmentación estaban bien ubicadas con poca evidencia de sub o sobre segmentación (Fig. 6d). Además, mientras que el 21 % de las células con núcleos segmentados se tiñeron de forma positiva (según lo determinado mediante el uso de un modelo de mezcla gaussiana) para el marcador de células inmunitarias CD45, y el 53 % se tiñeron de forma positiva para el marcador de células epiteliales E-cadherina, menos del 3 % fueron positivas para ambos. Ningún tipo de célula conocido es realmente positivo tanto para CD45 como para E-cadherina, y la muy baja abundancia de estas células doblemente positivas es evidencia de una segmentación precisa. Cuando examinamos algunas de las 830 células positivas dobles (círculo azul discontinuo en la Fig. 6c), encontramos múltiples ejemplos de una célula T CD3+ (puntas de flecha amarillas; puntos amarillos claros en la Fig. 6e) estrechamente asociada con o entre las células epiteliales del intestino. vellosidades (estructura verde similar a un kiwi visible en la Fig. 6e). Esto es consistente con el papel conocido del epitelio intestinal en la homeostasis inmune38. En estos casos, la capacidad de los humanos para distinguir las células inmunitarias y epiteliales se basa en el conocimiento previo, las características de intensidad multidimensional y las diferencias sutiles en forma y textura, ninguno de los cuales fue parte del entrenamiento del modelo. Por lo tanto, es probable que futuras mejoras en la segmentación de tejidos requieran el desarrollo de CNN capaces de clasificar arreglos espaciales raros pero biológicamente interesantes, en lugar de simples extensiones de los algoritmos de segmentación de propósito general descritos aquí.

De todos los tipos de tejido anotados y probados en este documento, el ovario no neoplásico fue el más difícil de segmentar (Información complementaria 4a) y la adición de datos de entrenamiento ovárico a modelos entrenados con datos de otros tejidos disminuyó la precisión general (Información complementaria 4b). Anteriormente, hemos obtenido imágenes de cánceres de ovario con una resolución aún mayor (60x/1,42 NA muestreados con un tamaño de píxel de 108 nm)39 utilizando microscopía de corte óptico y deconvolución; la inspección de estas imágenes revela núcleos con morfología muy irregular, contraste de imagen deficiente y empaquetamiento denso (Información complementaria 4c) a diferencia del adenocarcinoma de colon (Información complementaria 4d). Por lo tanto, se requerirá investigación adicional, posiblemente con diferentes anticuerpos NES, para mejorar el rendimiento con ovario y otros tejidos difíciles de segmentar. Hasta entonces, se recomienda precaución al combinar datos de entrenamiento de tejidos con morfologías nucleares muy diferentes.

Este documento realiza cuatro contribuciones principales a la creciente literatura sobre la segmentación de imágenes de tejidos, que es un paso esencial en el análisis de datos unicelulares. En primer lugar, considera explícitamente los datos de prueba y entrenamiento que contienen los tipos de artefactos de intensidad y enfoque que se encuentran comúnmente en las imágenes de diapositivas completas, en particular las imágenes de tejidos humanos adquiridas en el curso de la atención y el tratamiento clínicos. Esto contrasta con otros trabajos recientes que se centran en los campos de visión óptimos. En segundo lugar, muestra que a menudo es posible aumentar la precisión de la segmentación al incluir datos adicionales (NES) sobre la morfología de la envoltura nuclear y propone un cóctel de anticuerpos ampliamente útil. En tercer lugar, y lo más importante, muestra que la adición de aumentos reales que comprenden imágenes desenfocadas y saturadas para modelar los datos de entrenamiento mejora la precisión de la segmentación en gran medida, mientras que los aumentos basados en el desenfoque gaussiano proporcionan un beneficio sustancialmente menor. Estos resultados se extienden a marcos de aprendizaje profundo basados en segmentación de instancias (UnMICST-M) y en segmentación semántica (UnMICST-U y UnMICST-P). Finalmente, utilizando datos de entrenamiento etiquetados recién generados para múltiples tipos de tejido, muestra que el aumento real y NES se combinan para mejorar la solidez y la precisión de la segmentación en muchos tejidos; estas mejoras son directamente aplicables a la tarea del mundo real de segmentar imágenes de tejidos y tumores de alta dimensión. La magnitud de la mejora observada por la inclusión de datos NES o aumento real es sustancialmente mayor que las diferencias observadas entre marcos ML. Los modelos UnMICST, por lo tanto, representan un buen punto de partida para realizar la segmentación de imágenes en depósitos de datos de tejidos en rápido crecimiento. Los errores que quedan cuando las imágenes multiplexadas se segmentan utilizando modelos UnMICST optimizados parecen tener una base biológica sutil. El desarrollo de modelos adicionales de aprendizaje automático conscientes de la fisiología puede ser necesario para reducir estos errores aparentes.

Una de las sorpresas en el trabajo actual fue el nivel aparentemente bajo de acuerdo logrado por dos expertos humanos que anotaron los mismos datos de imagen; estimamos que solo el 60% de los núcleos anotados entre los anotadores tenían una superposición del 60% o más (umbral de 0,6 IoU). Es casi seguro que la concordancia deficiente sea una consecuencia de nuestro uso de un criterio de puntuación IoU de barrido estricto que mide la fracción de píxeles que se superponen entre dos máscaras de segmentación. La puntuación F1 alternativa y ampliamente utilizada, que determina si dos observadores (o un observador y una máquina) están de acuerdo en la presencia de un núcleo, logra una precisión de segmentación automatizada e interobservador de 0,78, que es comparable a la más alta F1- tejido de puntuación informado para Mesmer40, otro modelo de aprendizaje profundo aplicado a imágenes de tejido. Además, nuestros resultados con valores de IoU son similares a los informados recientemente por Kromp et al.17 (cuando los umbrales de IoU se ajustan para permitir una comparación directa). Los autores de Cellseg41 también informan precisiones de segmentación comparables y señalan la dificultad de lograr un valor alto de IoU con celdas que varían drásticamente en forma y enfoque.

Por lo tanto, parecería que muchos estudios han alcanzado niveles similares de concordancia entre observadores y que nuestros resultados no son atípicos, aunque incluimos datos problemáticos. Esto apunta a un desafío fundamental para todos los enfoques de aprendizaje supervisado cuya solución no está clara de inmediato. Será necesaria la recopilación de datos 3D precisos seguida de la imposición de diferentes niveles de desenfoque y la adición de artefactos de intensidad para comprender los orígenes del desacuerdo entre observadores en las imágenes de tejido y lograr datos de prueba y entrenamiento de mayor calidad. También parece probable que las mejoras prácticas en la segmentación provengan de la combinación de los avances descritos recientemente. Por ejemplo, Greenwald et al.40 utilizan un enfoque inteligente basado en la comunidad para adquirir muchos más datos de entrenamiento que en el trabajo actual, Kromp et al.17 combinan imágenes de tejidos con anotaciones de verdad obtenidas de células cultivadas (por un equipo de estudiantes universitarios). ), mientras que el trabajo actual se centra en el uso de NES y aumentos reales para mejorar la solidez de los algoritmos de segmentación en todos los ámbitos.

Desde una perspectiva de aprendizaje automático, el valor de agregar canales de imagen adicionales a los datos de entrenamiento es evidente. La viabilidad experimental no siempre es tan clara. Una compensación clave es que cuanto mayor sea el número de canales de fluorescencia utilizados para la segmentación, menos canales estarán disponibles para la recopilación de datos sobre otros marcadores. Afortunadamente, el desarrollo de imágenes altamente multiplexadas ha hecho que esto sea menos relevante porque la recolección de 20 a 40 o más canales de imágenes (cada uno correspondiente a un anticuerpo fluorescente diferente) se ha vuelto rutinario. Esto hace que sea sencillo reservar dos canales para la segmentación. La relación costo-beneficio de agregar datos de segmentación adicionales será diferente en la detección de alto contenido de células en placas de múltiples pocillos, para las cuales los reactivos económicos son generalmente esenciales que en la obtención de imágenes de tejidos. En los tejidos, la morfología de la lámina nuclear cambia con el estado de la enfermedad42, el tipo de célula, el estado de activación y muchos otros procesos biológicos. Si bien esto desafía las rutinas de segmentación, es probable que las láminas de imágenes también proporcionen información biológica valiosa, lo que justifica aún más la recopilación rutinaria de estos datos43. Para permitir que otros se basen en el trabajo actual, estamos publicando todas las imágenes de entrenamiento y prueba, sus máscaras de segmentación y anotaciones, y aumentos reales para múltiples tipos de tejido (amígdala, ovario, intestino delgado y cánceres de colon, cerebro, pulmón, próstata) a través del recurso EMIT; los modelos se publican como componentes del recurso del modelo UnMICST (consulte la información sobre disponibilidad de datos y disponibilidad de códigos).

El hallazgo más inmediatamente generalizable de este trabajo es que el aumento real supera al aumento computarizado generado utilizando kernels gaussianos. El desenfoque y la saturación de la imagen son una consecuencia inevitable del ancho de banda limitado de los sistemas ópticos, el grosor de las muestras en relación con la profundidad de campo, la dispersión de la luz, la difracción, el uso de lentes de objetivos que no son de inmersión y las consiguientes diferencias en el índice de refracción, y una variedad de otros procesos físicos. El desenfoque real fuera de foco también difiere cuando el plano focal está por encima y por debajo de la muestra. Las áreas para la aplicación futura de aumentos reales podrían incluir fuentes de luz no homogéneas y fluctuaciones en el escenario. Sin duda, será útil determinar los núcleos para un aumento computarizado más eficaz, pero la recopilación de datos de aumento reales impone una carga mínima en un entorno del mundo real. Nuestra observación de que el aumento real supera al aumento computarizado también puede tener un significado general fuera del campo de la microscopía: con cualquier sistema de cámara de alto rendimiento, los datos reales fuera de foco inevitablemente serán más complicados que el desenfoque gaussiano.

Para generar imágenes para el entrenamiento y las pruebas del modelo, se usaron muestras de tejido humano de múltiples pacientes para construir una micromatriz de múltiples tejidos (HTMA427) bajo un protocolo de exceso de tejido (descartado) aprobado por la Junta de Revisión Institucional (IRB) en Brigham and Women's Hospital ( BWH IRB 2018P001627). Se tomaron uno o dos núcleos de 1,5 mm de diámetro de regiones de tejido con el objetivo de adquirir uno o dos ejemplos de diferentes tipos de tumores o sanos, incluidas enfermedades médicas no neoplásicas y tejidos linfoides secundarios como la amígdala. Los portaobjetos se tiñeron con reactivos de Cell Signaling Technologies (Beverly MA, EE. UU.) y Abcam (Cambridge, Reino Unido) como se muestra en la Tabla 1.

Antes de obtener la imagen, los portaobjetos se montaron con glicerol al 90 % y un cubreobjetos n.º 1,5. Antes de la evaluación algorítmica, las imágenes se dividieron en tres subconjuntos separados entre sí y se usaron para entrenamiento, validación y prueba.

Se tomaron imágenes del TMA teñido en un microscopio INCell 6000 (General Electric Life Sciences) equipado con una lente objetivo de 20x/0,75 (resolución lateral nominal de 370 nm a una longitud de onda de 550 nm) y un tamaño de píxel de 0,325 µm por píxel. Hoechst y lamin-A647 se excitaron con un láser de 405 y 642 nm, respectivamente. La emisión se recolectó con los conjuntos de filtros DAPI (455/50 nm) y Cy5 (682/60 nm) con tiempos de exposición de 60 y 100 ms, respectivamente. Las imágenes de diapositivas completas implicaron la adquisición de 1215 mosaicos con una superposición del 8 %, lo que se recomienda para unir en ASHLAR, un algoritmo de registro y unión de última generación para imágenes grandes (https://github.com/labsyspharm/ashlar). Para generar datos desenfocados, adquirimos imágenes por encima y por debajo del plano focal variando el eje Z en 3 µm en ambas direcciones. Para generar imágenes saturadas de tinción de ADN, se utilizó un tiempo de exposición de 150 ms. Estos dos tipos de datos subóptimos luego se usaron para un aumento real durante el entrenamiento del modelo, como se describe a continuación.

Se extrajeron núcleos representativos de adenocarcinoma de pulmón, intestino delgado no neoplásico, próstata normal, adenocarcinoma de colon, glioblastoma, ovario no neoplásico y amígdalas de mosaicos de imágenes y se muestrearon por un factor de 2 para que coincidan con el tamaño de píxel de las imágenes adquiridas de forma rutinaria. y analizado en MCMICRO31. Luego, las imágenes se recortaron en mosaicos de 256 × 256 píxeles, y el ADN y el NES enfocados se importaron a Adobe Photoshop para facilitar la anotación humana de los límites nucleares. Etiquetamos contornos y clases de fondo en capas separadas mientras cambiamos entre DNA y NES según sea necesario. Para ahorrar tiempo, dibujamos contornos completos de núcleos y los rellenamos usando la operación de relleno de Matlab para generar centros de núcleos. Para los núcleos en los bordes de la imagen donde los contornos estarían incompletos, anotamos manualmente los centros de los núcleos. Como describen Ronneberger et al. (2015), se utilizó una cuarta capa para marcar las áreas entre las células agrupadas. Estas anotaciones adicionales permitieron penalizar específicamente a los modelos que clasificaron incorrectamente estos píxeles. Durante la revisión de imágenes, observamos que ciertas morfologías de núcleos aparecían con más frecuencia que otras. Para dar cuenta de este desequilibrio, anotamos solo núcleos característicos de cada tipo de tejido en cada imagen en un esfuerzo por equilibrar la aparición de formas de núcleos en nuestros conjuntos de entrenamiento, validación y prueba. Por ejemplo, las imágenes del intestino delgado y el colon mostraban núcleos redondos y alargados, y dado que la primera forma ya estaba presente en otros tejidos (como el pulmón) en nuestro conjunto de datos, solo anotamos la última forma para los tejidos del intestino delgado y el colon. Las anotaciones densas completas en un conjunto de datos de prueba retenido fueron validadas por un segundo anotador y medidas utilizando la puntuación F1. La evaluación de la puntuación F1 entre ambas verdades básicas anotadas fue alta y demostró una excelente concordancia (Información complementaria 1).

Debido a que las imágenes originales, desenfocadas y saturadas de ADN se adquirieron en la misma pila de imágenes, fue posible utilizar un único conjunto registrado de anotaciones de ADN en todos los canales de imágenes aumentadas. Para producir el conjunto de entrenamiento, cada imagen se recortó en parches de 64 × 64, se normalizó para usar el rango dinámico completo y se aumentó aún más usando rotaciones de 90°, reflejos y un 20 % de aumento de escala. De acuerdo con el conjunto de entrenamiento, los conjuntos de validación y prueba también incluyen ejemplos desenfocados y saturados, pero no fueron aumentados con transformaciones estándar. La proporción de ejemplos de datos presentes en la división del conjunto de entrenamiento, validación y prueba fue de 0,36:0,24:0,4. Para una comparación justa entre modelos, se utilizó el mismo conjunto de datos y división para los tres marcos de aprendizaje profundo descritos en este manuscrito (Tabla complementaria 2).

Para facilitar el entrenamiento del modelo, se entrenaron, implementaron y evaluaron por separado tres arquitecturas de última generación distintas. Son, sin ningún orden en particular, UNet, Mask R-CNN y PSPNet y se adoptaron de sus referencias originales sin modificar su arquitectura. UNet fue seleccionado por su éxito previo en el dominio biomédico, Mask R-CNN fue seleccionado por su capacidad para realizar detección de objetos y generación de máscaras, y PSPNet fue seleccionado por su capacidad para integrar características de imagen de múltiples escalas espaciales. Los datos de entrenamiento, validación y prueba se derivaron de 12 núcleos en 7 tejidos y un total de 10,359 núcleos en la composición del colon: 1142; glioblastoma (GBM) – 675; pulmón – 1735; ovárico – 956; fibroblasto – 922; intestino delgado – 1677; amígdala: 3252. Para mantener la coherencia de la evaluación en los algoritmos de segmentación, la precisión de la segmentación se calculó contando la fracción de células en un conjunto de prueba extendido que pasó un umbral de barrido de Intersección sobre Unión (IoU). El canal NES se concatenó con el canal de ADN como una matriz tridimensional como entrada en cada arquitectura.

Se entrenó un modelo UNet14 de tres clases basado en la anotación de los centros de los núcleos, los contornos de los núcleos y el fondo. La red neuronal se compone de 4 capas y 80 características de entrada. El entrenamiento se realizó utilizando un tamaño de lote de 32 con Adam Optimizer y una tasa de aprendizaje de 0,00005 con una tasa de disminución de 0,98 cada 5000 pasos hasta que no hubo mejora en la precisión o se alcanzaron ~100 épocas. La normalización por lotes se utilizó para mejorar la velocidad de entrenamiento. Durante el entrenamiento, la capa inferior tuvo una tasa de abandono de 0,35 y se implementó la regularización de L1 para minimizar el sobreajuste44,45 y la detención temprana. La capacitación se realizó en estaciones de trabajo equipadas con GPU NVidia GTX 1080 o NVidia TitanX.

Muchos modelos de segmentación se basan en la arquitectura Mask R-CNN15, Mask R-CNN ha mostrado anteriormente un rendimiento excelente en una variedad de tareas de segmentación. Mask R-CNN comienza detectando cuadros delimitadores de núcleos y, posteriormente, realiza la segmentación dentro de cada cuadro. Este enfoque elimina la necesidad de un paso de segmentación intermedio o equivalente. Por lo tanto, Mask R-CNN calcula directamente una máscara de segmentación, lo que reduce significativamente la sobrecarga en las canalizaciones de segmentación tradicionales. Adoptamos un modelo de red troncal ResNet5046 en la implementación de UnMICST-M e inicializamos los pesos utilizando valores preentrenados del desafío de segmentación de instancias de objetos COCO33 para mejorar las propiedades de convergencia. Para un entrenamiento eficiente, muestreamos las imágenes de entrada originales a 800 × 800 píxeles y entrenamos un modelo para 24 épocas usando un tamaño de lote de 8. El optimizador de Adam, con una caída de peso de 0,0001 para evitar el sobreajuste, se aprovechó con un aprendizaje variable rate, establecido inicialmente en 0.01 y disminuido por un factor de 0.1 en las épocas 16 y 22. El entrenamiento se realizó en un clúster de nodos de cómputo usando 4 GPU NVidia TitanX o NVidia Tesla V100. Para la evaluación y comparación, utilizamos el modelo con el rendimiento más alto en el conjunto de validación, siguiendo la práctica estándar.

Entrenamos un modelo PSPNet de tres clases47 para extraer centros de núcleos celulares, contornos de núcleos y fondo de una amplia variedad de tipos de tejido. PSPNet es una de las CNN más utilizadas para la segmentación semántica de imágenes de escenas naturales en el campo de la visión artificial. La red emplea el llamado módulo de agrupación piramidal cuyo propósito es aprender características tanto globales como locales. La información contextual adicional utilizada por PSPNet permitió que el algoritmo de segmentación produjera mapas de probabilidad realistas con mayor confianza. Utilizamos ResNet101 como columna vertebral. El entrenamiento de la red se realizó utilizando un tamaño de lote de 8 con un tamaño de imagen de 256 × 256 píxeles para 15 000 iteraciones o hasta que se obtuvo el modelo de pérdida mínima. Durante el entrenamiento se utilizó una función de pérdida de entropía cruzada estándar. El descenso de gradiente se realizó utilizando el optimizador Adam con una tasa de aprendizaje de 0,0001 y un parámetro de caída de peso de 0,005 a través de la regularización L2. Se empleó la normalización por lotes para una convergencia más rápida y se utilizó una probabilidad de abandono de 0,5 en la capa de red final para mitigar el sobreajuste. El entrenamiento del modelo se realizó en un nodo de clúster de cómputo equipado con GPU NVidia Tesla V100.

Para el análisis que se muestra en la Fig. 6, se tiñó una imagen CyCIF de 64 plex de tejido de intestino delgado no neoplásico del EMIT TMA (https://www.synapse.org/#!Synapse:syn22345748/) con un total de 45 anticuerpos como se describe en los protocolos https://www.protocols.io/view/ffpe-tissue-pre-treatment-before-t-cycif-on-leica-bji2kkge y https://doi.org/10.17504/protocols. io.bjiukkew. Las imágenes se segmentaron utilizando el modelo UnMICST-U entrenado en ADN con datos NES y aumentos reales. Las intensidades de fluorescencia medias en 45 marcadores para 27.847 núcleos segmentados se cuantificaron como se describe en la ref. 31. Las células positivas para E-cadherina y CD45 se identificaron utilizando modelos de mezcla gaussiana en datos transformados logarítmicamente. Para el agrupamiento multivariable, intensidades medias transformadas logarítmicamente de todas las células individuales de 14 marcadores proteicos seleccionados (E-cadherina, pancitoqueratina, CD45 CD4, CD3D, CD8, RF3, PML, GLUT1, GAPDH TDP43, OGT, COLL4, una EPCAM) fueron preprocesados usando Proyección y Aproximación de Múltiple Uniforme (UMAP)48 y agrupados usando Agrupación Espacial de Aplicaciones con Ruido Basada en la Densidad Jerárquica (HDBSCAN)49. Se identificaron grupos que expresaban un alto nivel de E-cadherina y CD45 y se superpusieron en una imagen de color falso que mostraba la tinción de ADN, E-cadherina y CD45.

Para permitir que otros se basen en el trabajo actual, estamos publicando todas las imágenes de entrenamiento, validación y prueba, sus anotaciones y aumentos reales para múltiples tipos de tejido (amígdala, ovario, intestino delgado y cánceres de colon, cerebro, pulmón, próstata ) a través del recurso EMIT; los modelos para entrenamiento e inferencia se publican como componentes del recurso modelo UnMICST. Los datos de origen para los gráficos de las figuras principales se pueden encontrar en Datos complementarios 1.xlsx.

El código y las instrucciones utilizadas para entrenar e implementar los modelos UnMICST se pueden encontrar en: https://labsyspharm.github.io/UnMICST-info/

Inmunólogos, A A. La demostración del antígeno neumocócico en tejidos mediante el uso de anticuerpos fluorescentes. J. Immunol. 45, 159–170 (1942).

Google Académico

Albertson, DG Amplificación de genes en el cáncer. Tendencias Genet. 22, 447–455 (2006).

Artículo CAS PubMed Google Académico

Shlien, A. & Malkin, D. Copiar las variaciones del número y el cáncer. Genoma Med. 1, 62 (2009).

Artículo PubMed PubMed Central Google Académico

Amin, MB et al. La octava edición del Manual de estadificación del cáncer del AJCC: Continuar construyendo un puente desde un enfoque basado en la población a un enfoque más "personalizado" para la estadificación del cáncer. Ca Cáncer J. Clin. 67, 93–99 (2017).

Artículo PubMed Google Académico

Gerdes, MJ et al. Análisis unicelular altamente multiplexado de tejido canceroso incluido en parafina y fijado con formalina. proc. Academia Nacional. ciencia EE. UU. 110, 11982–11987 (2013).

Artículo CAS PubMed PubMed Central Google Scholar

Giesen, C. et al. Imágenes altamente multiplexadas de tejidos tumorales con resolución subcelular por citometría de masas. Nat. Métodos 11, 417–422 (2014).

Artículo CAS PubMed Google Académico

Ángelo, M. et al. Imágenes de haces de iones multiplexados de tumores de mama humanos. Nat. Medicina. 20, 436–442 (2014).

Artículo CAS PubMed PubMed Central Google Scholar

Lin, J.-R. et al. Imágenes de inmunofluorescencia altamente multiplexadas de tejidos y tumores humanos utilizando t-CyCIF y microscopios ópticos convencionales. eLife 7, e31657 (2018).

Artículo PubMed PubMed Central Google Académico

Stack, EC, Wang, C., Roman, KA & Hoyt, CC Inmunohistoquímica multiplexada, imágenes y cuantificación: una revisión, con una evaluación de la amplificación de la señal de Tyramide, imágenes multiespectrales y análisis múltiplex. Métodos 70, 46–58 (2014).

Artículo CAS PubMed Google Académico

Achim, K. et al. Mapeo espacial de alto rendimiento de datos de RNA-seq de una sola célula al tejido de origen. Nat. Biotecnología. 33, 503–509 (2015).

Artículo CAS PubMed Google Académico

Slyper, M. et al. Una caja de herramientas de RNA-Seq de una sola célula y un solo núcleo para tumores humanos frescos y congelados. Nat. Medicina. 26, 792–802 (2020).

Artículo CAS PubMed PubMed Central Google Scholar

McQuin, C. et al. CellProfiler 3.0: Procesamiento de imágenes de próxima generación para biología. PLoS Biol. 16, e2005970 (2018).

Artículo PubMed PubMed Central Google Académico

LeCun, Y., Bengio, Y. & Hinton, G. Aprendizaje profundo. Naturaleza 521, 436–444 (2015).

Artículo CAS PubMed Google Académico

Ronneberger, O., Fischer, P. & Brox, T. U-Net: Redes convolucionales para la segmentación de imágenes biomédicas. Conferencia internacional sobre computación de imágenes médicas e intervención asistida por computadora, 234–241 (2015).

He, K., Gkioxari, G., Dollár, P. & Girshick, R. Mask R-CNN. Actas de la Conferencia internacional IEEE sobre visión artificial, 2961–2969 (2017).

Caicedo, JC et al. Segmentación del núcleo en experimentos de imágenes: el Data Science Bowl de 2018. Nat. Métodos 16, 1247–1253 (2019).

Artículo CAS PubMed PubMed Central Google Scholar

Kromp, F. et al. Un conjunto de datos de imágenes de fluorescencia anotadas para entrenar métodos de segmentación nuclear. ciencia Datos 7, 262 (2020).

Artículo PubMed PubMed Central Google Académico

Schwendy, M., Unger, RE & Parekh, SH EVICAN: un conjunto de datos equilibrado para el desarrollo de algoritmos en la segmentación de células y núcleos. Bioinformática 36, 3863–3870 (2020).

Artículo CAS PubMed PubMed Central Google Scholar

Schüffler, PJ et al. Segmentación automática de células individuales en imágenes de tejido altamente multiplexadas. Citomo. A 87, 936–942 (2015).

Artículo Google Académico

Arganda-Carreras, I. et al. Segmentación entrenable de Weka: una herramienta de aprendizaje automático para la clasificación de píxeles de microscopía. Bioinformática 33, 2424–2426 (2017).

Artículo CAS PubMed Google Académico

Berg, S. et al. ilastik: aprendizaje automático interactivo para el análisis de (bio)imágenes. Nat. Métodos 16, 1226–1232 (2019).

Artículo CAS PubMed Google Académico

Aeffner, F. et al. Introducción al análisis de imágenes digitales en imágenes de diapositivas completas: un libro blanco de la asociación de patología digital. J. Pathol. Informar. 10, 9 (2019).

Artículo PubMed PubMed Central Google Académico

Lin, J.-R. et al. Atlas 3D multiplexado de transiciones de estado e interacciones inmunitarias en el cáncer colorrectal. Preimpresión en bioRxiv https://doi.org/10.1101/2021.03.31.437984 (2021).

Krizhevsky, A., Sutskever, I. & Hinton, GE Clasificación de ImageNet con redes neuronales convolucionales profundas. En Advances in Neural Information Processing Systems 25 (eds Pereira, F., Burges, CJC, Bottou, L. & Weinberger, KQ) 1097–1105 (Curran Associates, Inc., 2012).

Ahmed Raza, SE et al. MIMO-Net: una red neuronal convolucional de múltiples entradas y múltiples salidas para la segmentación celular en imágenes de microscopía de fluorescencia. En 2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017) 337–340 (IEEE, 2017).

Shorten, C. & Khoshgoftaar, TM Una encuesta sobre el aumento de datos de imágenes para el aprendizaje profundo. J. Big Data 6, 60 (2019).

Artículo Google Académico

Horwath, JP, Zakharov, DN, Mégret, R. & Stach, EA Comprensión de las características importantes de los modelos de aprendizaje profundo para la segmentación de imágenes de microscopía electrónica de transmisión de alta resolución. Cálculo de Npj. Mate. 6, 1–9 (2020).

Artículo Google Académico

Gurarí, D. et al. ¿Cómo recolectar segmentaciones para Imágenes Biomédicas? Un punto de referencia que evalúa el desempeño de expertos, no expertos de colaboración colectiva y algoritmos. Conferencia de invierno IEEE 2015. aplicación computar Vis. (IEEE, 2015).

Skinner, BM & Johnson, EEP Morfologías nucleares: su diversidad y relevancia funcional. Cromosoma 126, 195–212 (2017).

Artículo PubMed Google Académico

Dalle, J.-R. et al. Puntuación de pleomorfismo nuclear por detección selectiva de núcleos celulares. En Taller IEEE sobre aplicaciones de visión artificial (WACV 2009), 7 y 8 de diciembre de 2009, Snowbird, UT, EE. UU. (IEEE Computer Society, 2009).

Schapiro, D. et al. MCMICRO: una tubería de procesamiento de imágenes modular y escalable para imágenes de tejidos multiplexados. Nat. Métodos https://doi.org/10.1038/s41592-021-01308-y (2021).

Nirmal, AJ et al. El panorama espacial de la progresión y la inmunoedición en el melanoma primario con resolución unicelular. Descubrimiento del cáncer. 12, 1518–1541 (2022).

Artículo CAS PubMed PubMed Central Google Scholar

Lin, T.-Y. et al. Microsoft COCO: objetos comunes en contexto. En Computer Vision – ECCV 2014 (eds. Fleet, D., Pajdla, T., Schiele, B. & Tuytelaars, T.) 740–755 (Springer International Publishing, 2014).

Deng, J. et al. ImageNet: Una base de datos de imágenes jerárquicas a gran escala. En 2009 Conferencia IEEE sobre visión artificial y reconocimiento de patrones 248–255 (IEEE, 2009).

Fischer, EG Morfología nuclear y biología de las células cancerosas. Acta Cytol. 64, 511–519 (2020).

Artículo CAS PubMed Google Académico

Kros, JM Graduación de gliomas: El camino de la eminencia a la evidencia. J. Neuropathol. Exp. Neurol. 70, 101–109 (2011).

Artículo PubMed Google Académico

Louis, D., Ohgaki, H., Wiestler, O. y Cavenee, W. Clasificación de la OMS de tumores del sistema nervioso central, neurooncología, 23, 1231–1251 (2021).

Artículo Google Académico

Allaire, JM et al. El epitelio intestinal: Coordinador central de la inmunidad de las mucosas. Tendencias Immunol. 39, 677–696 (2018).

Artículo CAS PubMed Google Académico

Färkkilä, A. et al. El perfil inmunogenómico determina las respuestas a la inhibición combinada de PARP y PD-1 en el cáncer de ovario. Nat. común 11, 1459 (2020).

Artículo PubMed PubMed Central Google Académico

Greenwald, NF et al. Segmentación de células completas de imágenes de tejido con rendimiento a nivel humano utilizando anotación de datos a gran escala y aprendizaje profundo. Nat. Biotechnol., 40, 555–565 (2022).

Artículo CAS PubMed Google Académico

Lee, MI et al. CellSeg: un software de cuantificación de píxeles y segmentación de núcleos robusto y preentrenado para imágenes de fluorescencia altamente multiplexadas. BMC Bioinforme. 23, 46 (2022).

Artículo Google Académico

Sakthivel, KM & Sehgal, P. Un papel novedoso de las laminas desde la enfermedad genética hasta los biomarcadores del cáncer. oncol. Rev. 10, 309 (2016).

PubMed PubMed Central Google Académico

Bell, ES & Lammerding, J. Causas y consecuencias de las alteraciones de la envoltura nuclear en la progresión tumoral. EUR. J. Cell Biol. 95, 449–464 (2016).

Artículo CAS PubMed PubMed Central Google Scholar

Ng, AY Selección de características, regularización L1 vs. L2 e invariancia rotacional. En Actas de la XXI Conferencia Internacional sobre Aprendizaje Automático 78 (Association for Computing Machinery, 2004).

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I. y Salakhutdinov, R. Abandono: una forma sencilla de evitar el sobreajuste de las redes neuronales. J. Mach. Aprender. Res. 15, 1929-1958 (2014).

Google Académico

He, K., Zhang, X., Ren, S. y Sun, J. Aprendizaje residual profundo para el reconocimiento de imágenes. En 2016 Conferencia IEEE sobre visión por computadora y reconocimiento de patrones (CVPR) 770–778 (IEEE, 2016).

Zhao, H., Shi, J., Qi, X., Wang, X. y Jia, J. Red de análisis de escenas piramidales. Actas de la conferencia IEEE sobre visión artificial y reconocimiento de patrones, 2881–2890 (2017).

Becht, E. et al. Reducción de dimensionalidad para visualizar datos de una sola celda usando UMAP. Nat. Biotecnología. 37, 38–44 (2019).

Artículo CAS Google Académico

Campello, RJGB, Moulavi, D. & Sander, J. Clustering basado en densidad basado en estimaciones de densidad jerárquica. En Advances in Knowledge Discovery and Data Mining (eds Pei, J., Tseng, VS, Cao, L., Motoda, H. & Xu, G.) 160–172 (Springer, 2013).

Descargar referencias

Damos las gracias a Alyce Chen y Madison Tyler por su ayuda con este manuscrito. El trabajo fue financiado por las subvenciones NIH U54-CA225088 y U2C-CA233262 a PKS y SS y por el Ludwig Cancer Center de Harvard. ZM cuenta con el apoyo de la subvención R50-CA252138 del NCI. Agradecemos a Dana-Farber/Harvard Cancer Center (P30-CA06516) por el uso de su Núcleo Especializado de Histopatología.

Estos autores contribuyeron igualmente: Clarence Yapp, Edward Novikov.

Laboratorio de Farmacología de Sistemas, Facultad de Medicina de Harvard, Boston, MA, 02115, EE. UU.

[ PubMed ] Clarence Yapp, Edward Novikov, Won-Dong Jang, Tuulia Vallius, Yu-An Chen, Zoltan Maliga, Connor A. Jacobson, Sandro Santagata y Peter K. Sorger

Núcleo de análisis de datos e imágenes, Harvard Medical School, Boston, MA, 02115, EE. UU.

Clarence Yapp y Marcelo Cicconet

Escuela de Ingeniería y Ciencias Aplicadas, Universidad de Harvard, Cambridge, MA, 02138, EE. UU.

Edward Novikov, Won-Dong Jang, Donglai Wei y Hanspeter Pfister

Centro Ludwig para la Investigación del Cáncer en Harvard, Facultad de Medicina de Harvard, Boston, MA, 02115, EE. UU.

Tuulia Vallius, Sandro Santagata y Peter K. Sorger

Departamento de Patología, Brigham and Women's Hospital, Harvard Medical School, Boston, MA, 02115, EE. UU.

Sandro Santagata

Departamento de Biología de Sistemas, Facultad de Medicina de Harvard, Boston, MA, 02115, EE. UU.

Peter K Sorger

También puede buscar este autor en PubMed Google Scholar

El diseño del estudio fue concebido por CY, WDJ, EN y PKS. La adquisición y anotación de imágenes fueron realizadas por CYSS, proporcionó la muestra EMIT TMA y validó los tipos de tejido. La tinción de TMA fue realizada por ZM y CAJ. El análisis de datos fue realizado por CY, WDJ, EN y YACYAC y CY realizó el análisis cuantitativo de células individuales y el análisis que se encuentra en la Fig. 6. MC realizó una codificación adicional. DWPKS realizó experimentos adicionales. SS y HP supervisaron el estudio. Todos los autores contribuyeron a la redacción y edición del manuscrito.

Correspondencia a Peter K. Sorger.

PKS es miembro de SAB o miembro de BOD de Applied Biomath, RareCyte Inc. y Glencoe Software, que distribuye una versión comercial de la base de datos OMERO; PKS también es miembro de NanoString SAB. En los últimos cinco años, el laboratorio de Sorger ha recibido financiación para investigación de Novartis y Merck. Sorger declara que ninguna de estas relaciones ha influido en el contenido de este manuscrito. SS es consultor de RareCyte Inc. Los otros autores declaran no tener intereses en conflicto.

Communications Biology agradece a Shan E Ahmed Raza y a los otros revisores anónimos por su contribución a la revisión por pares de este trabajo. Editor principal de manejo: Luke R. Grinham.

Nota del editor Springer Nature se mantiene neutral con respecto a los reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso abierto Este artículo tiene una licencia internacional Creative Commons Attribution 4.0, que permite el uso, el intercambio, la adaptación, la distribución y la reproducción en cualquier medio o formato, siempre que se otorgue el crédito correspondiente al autor o autores originales y a la fuente. proporcionar un enlace a la licencia Creative Commons e indicar si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la regulación legal o excede el uso permitido, deberá obtener el permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Yapp, C., Novikov, E., Jang, WD. et al. UnMICST: aprendizaje profundo con aumento real para una segmentación robusta de imágenes altamente multiplexadas de tejidos humanos. Commun Biol 5, 1263 (2022). https://doi.org/10.1038/s42003-022-04076-3

Descargar cita

Recibido: 01 junio 2021

Aceptado: 06 de octubre de 2022

Publicado: 18 noviembre 2022

DOI: https://doi.org/10.1038/s42003-022-04076-3

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, un enlace para compartir no está disponible actualmente para este artículo.

Proporcionado por la iniciativa de intercambio de contenido Springer Nature SharedIt

Al enviar un comentario, acepta cumplir con nuestros Términos y Pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.

Noticias

UnMICST: aprendizaje profundo con aumento real para una segmentación robusta de imágenes altamente multiplexadas de tejidos humanos