Mejorando el procesamiento inteligente de documentos de AWS con IA generativa

Optimizing AWS intelligent document processing with generative AI

La clasificación, extracción y análisis de datos pueden ser desafiantes para las organizaciones que manejan volúmenes de documentos. Las soluciones tradicionales de procesamiento de documentos son manuales, costosas, propensas a errores y difíciles de escalar. AWS Intelligent Document Processing (IDP), con servicios de inteligencia artificial (IA) como Amazon Textract, le permite aprovechar la tecnología líder en aprendizaje automático (ML) para procesar de manera rápida y precisa los datos de cualquier documento o imagen escaneada. La inteligencia artificial generativa (IA generativa) complementa a Amazon Textract para automatizar aún más los flujos de trabajo de procesamiento de documentos. Funciones como la normalización de campos clave y la síntesis de datos de entrada admiten ciclos más rápidos para gestionar los flujos de trabajo del proceso de documentos, al tiempo que reducen el potencial de errores.

La IA generativa se basa en grandes modelos de aprendizaje automático llamados modelos base (FMs). Los FMs están transformando la forma en que se pueden resolver cargas de trabajo de procesamiento de documentos tradicionalmente complejas. Además de las capacidades existentes, las empresas necesitan resumir categorías específicas de información, incluidos los datos de débito y crédito de documentos como informes financieros y estados de cuenta bancarios. Los FMs facilitan la generación de dichos conocimientos a partir de los datos extraídos. Para optimizar el tiempo dedicado a la revisión humana y mejorar la productividad de los empleados, se pueden señalar errores como dígitos faltantes en números de teléfono, documentos faltantes o direcciones sin números de calle de manera automatizada. En el escenario actual, necesita dedicar recursos para llevar a cabo estas tareas utilizando la revisión humana y scripts complejos. Este enfoque es tedioso y costoso. Los FMs pueden ayudar a completar estas tareas más rápido, con menos recursos y transformar formatos de entrada variables en una plantilla estándar que se puede procesar aún más. En AWS, ofrecemos servicios como Amazon Bedrock, la forma más sencilla de crear y escalar aplicaciones de IA generativa con FMs. Amazon Bedrock es un servicio completamente administrado que pone a disposición los FMs de las principales empresas emergentes de IA y Amazon a través de una API, para que pueda encontrar el modelo que mejor se adapte a sus necesidades. También ofrecemos Amazon SageMaker JumpStart, que permite a los profesionales de ML elegir entre una amplia selección de FMs de código abierto. Los profesionales de ML pueden implementar FMs en instancias dedicadas de Amazon SageMaker desde un entorno aislado de red y personalizar los modelos utilizando SageMaker para el entrenamiento y la implementación del modelo.

Ricoh ofrece soluciones para el lugar de trabajo y servicios de transformación digital diseñados para ayudar a los clientes a gestionar y optimizar el flujo de información en sus negocios. Ashok Shenoy, vicepresidente de Desarrollo de Soluciones de Cartera, dice: “Estamos agregando IA generativa a nuestras soluciones IDP para ayudar a nuestros clientes a completar su trabajo de manera más rápida y precisa utilizando nuevas capacidades como preguntas y respuestas, resúmenes y salidas estandarizadas. AWS nos permite aprovechar la IA generativa mientras mantenemos los datos de cada uno de nuestros clientes separados y seguros”.

En esta publicación, compartimos cómo mejorar su solución IDP en AWS con IA generativa.

Mejorando el pipeline de IDP

En esta sección, revisamos cómo se puede mejorar el pipeline tradicional de IDP mediante FMs y examinamos un caso de uso de ejemplo utilizando Amazon Textract con FMs.

El IDP de AWS se compone de tres etapas: clasificación, extracción y enriquecimiento. Para obtener más detalles sobre cada etapa, consulte Procesamiento inteligente de documentos con servicios de IA de AWS: Parte 1 y Parte 2. En la etapa de clasificación, los FMs ahora pueden clasificar documentos sin ningún entrenamiento adicional. Esto significa que los documentos se pueden categorizar incluso si el modelo no ha visto ejemplos similares antes. Los FMs en la etapa de extracción normalizan los campos de fecha, verifican direcciones y números de teléfono, al tiempo que garantizan un formato consistente. Los FMs en la etapa de enriquecimiento permiten inferencia, razonamiento lógico y resumen. Cuando utiliza FMs en cada etapa de IDP, su flujo de trabajo será más eficiente y el rendimiento mejorará. El siguiente diagrama ilustra el pipeline de IDP con IA generativa.

Etapa de extracción del pipeline de IDP

Cuando los FMs no pueden procesar directamente documentos en sus formatos nativos (como PDF, img, jpeg y tiff) como entrada, se necesita un mecanismo para convertir los documentos a texto. Para extraer el texto del documento antes de enviarlo a los FMs, puede utilizar Amazon Textract. Con Amazon Textract, puede extraer líneas y palabras y pasarlas a los FMs de aguas abajo. La siguiente arquitectura utiliza Amazon Textract para una extracción precisa de texto de cualquier tipo de documento antes de enviarlo a los FMs para su procesamiento posterior.

Típicamente, los documentos están compuestos por información estructurada y semi-estructurada. Amazon Textract se puede utilizar para extraer texto y datos sin procesar de tablas y formularios. La relación entre los datos en tablas y formularios juega un papel vital en la automatización de los procesos empresariales. Ciertos tipos de información pueden no ser procesados por FMs. Como resultado, podemos optar por almacenar esta información en un almacén descendente o enviarla a FMs. La siguiente figura es un ejemplo de cómo Amazon Textract puede extraer información estructurada y semi-estructurada de un documento, además de las líneas de texto que deben ser procesadas por FMs.

Uso de servicios sin servidor de AWS para resumir con FMs

El pipeline de IDP que ilustramos anteriormente se puede automatizar de manera perfecta utilizando servicios sin servidor de AWS. Los documentos altamente no estructurados son comunes en las grandes empresas. Estos documentos pueden abarcar desde documentos de la Comisión de Bolsa y Valores (SEC) en la industria bancaria hasta documentos de cobertura en la industria de seguros de salud. Con la evolución de la IA generativa en AWS, las personas en estas industrias están buscando formas de obtener un resumen de esos documentos de manera automatizada y rentable. Los servicios sin servidor ayudan a proporcionar el mecanismo para construir una solución para IDP rápidamente. Servicios como AWS Lambda, AWS Step Functions y Amazon EventBridge pueden ayudar a construir el pipeline de procesamiento de documentos con integración de FMs, como se muestra en el siguiente diagrama.

La aplicación de muestra utilizada en la arquitectura anterior está impulsada por eventos. Un evento se define como un cambio de estado que ha ocurrido recientemente. Por ejemplo, cuando se carga un objeto en un bucket de Amazon Simple Storage Service (Amazon S3), Amazon S3 emite un evento de creación de objeto. Esta notificación de evento de Amazon S3 puede activar una función Lambda o un flujo de trabajo de Step Functions. Este tipo de arquitectura se denomina arquitectura orientada a eventos. En esta publicación, nuestra aplicación de muestra utiliza una arquitectura orientada a eventos para procesar un documento de alta médica de muestra y resumir los detalles del documento. El flujo funciona de la siguiente manera:

  1. Cuando se carga un documento en un bucket de S3, Amazon S3 activa un evento de creación de objeto.
  2. El bus de eventos predeterminado de EventBridge propaga el evento a Step Functions en función de una regla de EventBridge.
  3. El flujo de trabajo de la máquina de estados procesa el documento, comenzando con Amazon Textract.
  4. Una función Lambda transforma los datos analizados para el siguiente paso.
  5. La máquina de estados invoca un punto de enlace de SageMaker, que aloja el FM utilizando integración directa de AWS SDK.
  6. Un bucket de destino de resumen S3 recibe la respuesta de resumen recopilada del FM.

Utilizamos la aplicación de muestra con un modelo Hugging face flan-t5 para resumir el siguiente resumen de alta médica de muestra utilizando el flujo de trabajo de Step Functions.

El flujo de trabajo de Step Functions utiliza la integración de AWS SDK para llamar a las API AnalyzeDocument de Amazon Textract y InvokeEndpoint de SageMaker, como se muestra en la siguiente figura.

Este flujo de trabajo resulta en un objeto JSON de resumen que se almacena en un bucket de destino. El objeto JSON se ve de la siguiente manera:

{
  "summary": [
    "John Doe es un hombre de 35 años que ha estado experimentando problemas estomacales durante dos meses. Ha estado tomando antibióticos durante las últimas dos semanas, pero no ha podido comer mucho. Ha estado experimentando mucho dolor abdominal, distensión y fatiga. También ha notado un cambio en el color de sus heces, que ahora es más oscuro. Ha estado tomando antiácidos durante las últimas dos semanas, pero ya no ayudan. Ha estado experimentando mucha fatiga y no ha podido trabajar durante las últimas dos semanas. También ha estado experimentando mucho dolor abdominal, distensión y fatiga. Ha estado tomando antiácidos durante las últimas dos semanas, pero ya no ayudan. Ha estado experimentando mucho dolor abdominal, distensión y fatiga. Ha estado tomando antiácidos durante las últimas dos semanas, pero ya no ayudan. Ha estado experimentando mucho dolor abdominal, distensión y fatiga. Ha estado tomando antiácidos durante las últimas dos semanas, pero ya no ayudan. Ha estado experimentando mucho dolor abdominal, distensión y fatiga. Ha estado tomando antiácidos durante las últimas dos semanas, pero ya no ayudan."
  ],
  "forms": [
    {
      "key": "Teléfono: ",
      "value": "(888)-(999)-(0000) "
    },
    {
      "key": "Fax: ",
      "value": "(888)-(999)-(1111) "
    },
    {
      "key": "Nombre del paciente: ",
      "value": "John Doe "
    },
    {
      "key": "ID del paciente: ",
      "value": "NARH-36640 "
    },
    {
      "key": "Género: ",
      "value": "Masculino "
    },
    {
      "key": "Médico tratante: ",
      "value": "Mateo Jackson, PhD "
    },
    {
      "key": "Fecha de ingreso: ",
      "value": "07-Sep-2020 "
    },
    {
      "key": "Fecha de alta: ",
      "value": "08-Sep-2020 "
    },
    {
      "key": "Disposición de alta: ",
      "value": "En casa con servicios de apoyo "
    },
    {
      "key": "Condiciones preexistentes/desarrolladas que afectan la estancia hospitalaria: ",
      "value": "Hombre de 35 años con problemas estomacales desde hace 2 meses. El paciente informa dolor abdominal epigástrico no radiante. El dolor se describe como masticador y ardiente, intermitente con una duración de 1-2 horas, y ha empeorado progresivamente. Los antiácidos solían aliviar el dolor pero ya no; nada empeora el dolor. El dolor no está relacionado con el día o las comidas. El paciente niega estreñimiento o diarrea. El paciente niega sangre en las heces, pero ha notado que están más oscuras. El paciente también informa náuseas. Niega enfermedad o fiebre reciente. También informa fatiga desde hace 2 semanas y distensión abdominal después de comer. ROS: Negativo excepto por los hallazgos anteriores. Medicamentos: Motrin una vez a la semana. Anteriormente Tums. PMHx: Dolor de espalda y espasmos musculares. Sin antecedentes de cirugía. NKDA. FHx: El tío tiene una úlcera sangrante. Hx social: Fuma desde los 15 años, 1/2-1 PPD. Sin consumo reciente de alcohol. Niega el uso de drogas ilícitas. Trabaja en construcción a gran altitud. Dieta de comida rápida. Hace ejercicio 3-4 veces por semana pero lo dejó hace 2 semanas."
    },
    {
      "key": "Resumen: ",
      "value": "se sugieren algunas restricciones de actividad, curso completo de antibióticos, volver a consultar con el médico en caso de recaída, dieta estricta "
    }
  ]
 }

Generar estos resúmenes utilizando IDP con una implementación sin servidor a escala ayuda a las organizaciones a obtener datos significativos, concisos y presentables de manera rentable. Step Functions no limita el método de procesamiento de documentos a un documento a la vez. Su función de mapa distribuido puede resumir grandes cantidades de documentos según una programación.

La aplicación de muestra utiliza un modelo de flan-t5 de Hugging Face; sin embargo, puede utilizar un punto final de FM de su elección. La capacitación y ejecución del modelo está fuera del alcance de la aplicación de muestra. Siga las instrucciones en el repositorio de GitHub para implementar una aplicación de muestra. La arquitectura anterior es una guía sobre cómo puede orquestar un flujo de trabajo de IDP utilizando Step Functions. Consulte el taller de Generative AI de IDP para obtener instrucciones detalladas sobre cómo crear una aplicación con los servicios de IA de AWS y FM.

Configurar la solución

Siga los pasos en el archivo README para configurar la arquitectura de la solución (excepto los puntos finales de SageMaker). Después de tener su propio punto final de SageMaker disponible, puede pasar el nombre del punto final como un parámetro a la plantilla.

Limpieza

Para ahorrar costos, elimine los recursos que implementó como parte del tutorial:

  1. Siga los pasos en la sección de limpieza del archivo README.
  2. Elimine cualquier contenido de su bucket de S3 y luego elimine el bucket a través de la consola de Amazon S3.
  3. Elimine cualquier punto final de SageMaker que haya creado a través de la consola de SageMaker.

Conclusión

La IA generativa está cambiando la forma en que puede procesar documentos con IDP para obtener información. Los servicios de IA de AWS, como Amazon Textract junto con los FM de AWS, pueden ayudar a procesar con precisión cualquier tipo de documentos. Para obtener más información sobre cómo trabajar con IA generativa en AWS, consulte el anuncio de nuevas herramientas para construir con IA generativa en AWS.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Aprendizaje Automático

Comprendiendo nuestro lugar en el universo

El becario Martin Luther King Jr., Brian Nord, entrena a las máquinas para explorar el cosmos y lucha por la equidad ...

Inteligencia Artificial

Los programas piloto de IA buscan reducir el consumo de energía y las emisiones en el campus del MIT

Un equipo interdepartamental está liderando los esfuerzos para utilizar el aprendizaje automático con el fin de aumen...

Inteligencia Artificial

Las prácticas de contraseña obsoletas están extendidas

Los investigadores dicen que la mayoría de los sitios web más populares del mundo ponen en riesgo a los usuarios y su...

Inteligencia Artificial

Conoce GPT Crawler una herramienta de IA que puede rastrear un sitio para generar archivos de conocimiento y crear un GPT personalizado a partir de una o varias URL.

Qué maravilloso sería construir modelos únicos de GPT extrayendo conocimiento de páginas web. Conoce GPT Crawler: una...

Ciencias de la Computación

El Aprendizaje Automático Revela una Sorpresa del COVID

Investigadores que utilizaron el aprendizaje automático para analizar los casos diarios de neumonía en una unidad de ...

Inteligencia Artificial

Inteligencia Artificial vs. Inteligencia Humana Top 7 Diferencias

Introducción La inteligencia artificial ha recorrido un largo camino desde el personaje ficticio de IA JARVIS hasta e...