KI-basierte Diagnoseunterstützung in der Medizin mit »Pneumo.AI«

»Pneumo.AI« ist eine KI-gestützte Diagnosesoftware, die medizinisches Fachpersonal mittels intelligenter Bilderkennung bei der eindeutigen Identifikation von Lungenentzündungen (Pneumonie) unterstützt.

Wo bietet die KI-Anwendung den größten Nutzen?

Der Demonstrator »Pneumo.AI« wurde entwickelt, um spielerisch zu verdeutlichen, wie KI-Technologien und medizinisches Fachpersonal zusammenarbeiten können. Die Krankheit Pneumonie, besser bekannt als Lungenentzündung, beschäftigt in vielen Krankenhäusern spezialisierte Fachärztinnen und Fachärzte. Bislang mussten mögliche Erkrankungen unter anderem anhand von Röntgenbildern manuell identifiziert werden, um rechtzeitig entsprechende Behandlungen einzuleiten. Heute können Bilderkennungssysteme bei einer Diagnose unterstützen. Das spart Zeit und kann Fehleinschätzungen vermeiden.

Was ist Pneumonie?

Bei der Pneumonie handelt es sich um eine akute Entzündung der unteren Atemwege, gemeinläufig wird sie auch als Lungenentzündung bezeichnet. Anders als man gegenwärtig vermuten würde, stellt die Lungenentzündung in vielen Regionen der Erde auch heute noch eine schwerwiegende Erkrankung dar. Insbesondere in Entwicklungsländern sind Pneumonien eine der häufigsten Krankheits- und Todesursachen von Kindern im Alter von unter fünf Jahren.

Wie KI bei der Diagnose helfen kann?

Systeme der Künstlichen Intelligenz können Ärzt*innen bei der Diagnosestellung unterstützen. In diesem Fall hilft die sogenannte Computer Vision, also das Maschinelle Sehen, dabei, Erkrankungsmerkmale auf Thorax-Scans zu erkennen.

Wie sieht die Zukunft von KI in der Medizin aus?

Sowohl Ärzt*innen als auch Data Scientists sehen großes Potenzial für KI in der Medizin. In vielen Krankenhäusern liegen große Mengen an Daten vor, die für eine verbesserte Diagnoseunterstützung genutzt werden könnten. Wichtig ist dabei allerdings, dass die KI-Systeme immer nur als Assistenztools verstanden werden und das medizinische Personal stets die Entscheidungshoheit hat. Medizinische Daten sind zudem sehr sensibel und müssen besonders geschützt werden.

Was sind die Qualitätsmerkmale von »Pneumo.AI«?

  • Geringer Aufwand: Da die Annotation von medizinischen Bilddatensätzen meist einen hohen Aufwand darstellt, ist es wichtig, dateneffiziente Algorithmen zu entwickeln, um einen möglichst geringen Annotationsaufwand zu erreichen.
  • Direkte Auswertung: Die Verwendung von KI-Technologien macht eine direkte Auswertung des Scans/Röntgenbilds nach der Aufnahme möglich – ohne menschliche Interaktion. Darin zeigt sich das Potenzial, die Arbeitsprozesse in Kliniken zu optimieren, beispielsweise durch die Entwicklung eines Priorisierungssystems. Wichtig ist jedoch, dass die KI immer als Assistenzsystem für Ärzt*innen fungiert und niemals allein entscheidet.  
  • Sichere Datenverarbeitung: Bei sensiblen Daten wie Patient*innendaten ist es essenziell, dass die angewandten KI-Verfahren sicher sind. Alle Daten müssen auf deutschen Servern liegen oder dürfen ausschließlich vor Ort bei Fachärzt*innen bzw. an Kliniken verarbeitet werden. 
  • Leistungsstarke KI: Künftig wird bei der Auswertung von medizinischen Bilddaten auch die KI-basierte multimodale Analyse eine wichtige Rolle spielen, da einem Arzt / einer Ärztin während der Diagnose viele verschiedene Informationen zur Verfügung stehen, die den Gesundheitszustand bzw. Krankheitsverlauf von Patient*innen betreffen.     
»Eine enge Zusammenarbeit zwischen medizinischen Expert*innen und Data Scientists stellt die wichtigste Grundlage für den Einsatz von Künstlicher Intelligenz in der Medizin dar.«
Helen Schneider
Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Welche KI-Technologie steckt im KI.NRW-Demonstrator?

Deep Learning

Der Demonstrator Pneumo.AI beruht auf tiefen Künstlichen Neuronalen Faltungsnetzwerken (Convolutional Neural Network, kurz CNN), die für die Verarbeitung von größeren Bilddatensätzen besonders gut geeignet sind. Hierbei kann die verwendete Technologie auch auf andere Krankheiten und Use Cases übertragen werden.

Informed Machine Learning

Bei dieser Art des Maschinellen Lernens werden zur Verfügung stehende Vorkenntnisse und Expert*innenwissen in das Modell integriert, um beispielsweise dateneffizientere Algorithmen zu entwickeln. Für Pneumo.AI wurden die Elemente der bilateralen Symmetrie des Lungenfeldes innerhalb der Modellierung berücksichtigt.

Computer Vision

Um eine gute Generalisierungsfähigkeit des trainierten Netzwerkes zu gewährleisten, werden verschiedene Augmentationstechniken implementiert. Durch das Rotieren und Zoomen der Trainingsbilddaten erreicht das Netzwerk eine bessere Leistung, Overfitting wird vermieden.

Was zeigt der KI-Demonstrator?

Der Demonstrator »Pneumo.AI« zeigt, wie KI-Technologien in Zukunft Ärzt*innen in Praxen und Kliniken in ihrem Alltag unterstützen können. Hierbei ist es wichtig zu betonen, dass die Künstliche Intelligenz dem medizinischen Fachpersonal als Assistenztool zur Verfügung steht, die Endscheidungshoheit aber beim Menschen bleibt. Außerdem verdeutlicht der Demonstrator das hohe Potenzial von KI in der medizinischen Bildverarbeitung.

Jetzt unverbindliches Gespräch mit unseren Expert*innen anfragen!

Neugierig geworden? Hier geht es zum Demonstrator!

Wo sind weitere Informationen zu finden?

KI.Landkarte mit Einträgen im medizinischen Bereich

KI-Anbieter, Anwendungen und KI-Produkte »made in NRW« mit dem gleichen KI-Schwerpunkt finden Sie über die Filter- und Suchfunktion der KI.Landkarte, die aktuell mehr als 1000 Einträge umfasst.

Vortrag zu Pneumo.AI auf der Messe MEDICA 2022

Auf der internationalen Medizin-Fachmesse MEDICA 2022 hielten KI.NRW und das Fraunhofer IAIS einen Vortrag über »Künstliche Intelligenz im Gesundheitswesen am Beispiel Pneumo.AI«

SmartHospital: Einsatz von KI im Krankenhaus der Zukunft

Im KI.NRW-Flagship-Projekt SmartHospital.NRW werden Werkzeuge entwickelt, um Krankenhäuser bei der digitalen Transformation und dem Einsatz von KI zu unterstützen. Ermitteln Sie jetzt den KI-Reifegrad Ihres Krankenhauses.

Kontakt zum Team der Entwickler*innen

Helen Schneider

Data Scientist – Computer Vision

Fraunhofer IAIS
Schloss Birlinghoven
53757 Sankt Augustin

Telefon +49 2241 14-2735

E-Mail senden

Dr. Rafet Sifa

Geschäftsfeldleiter Cognitive Business Optimization

Fraunhofer IAIS
Schloss Birlinghoven
53757 Sankt Augustin

Telefon +49 2241 14-2405

E-Mail senden

»Sustain.AI« – Das KI-Tool zur Analyse von Nachhaltigkeitsberichten

Mehr Transparenz und schnellere Erfassung von wichtigen Indikatoren: Sustain.AI befähigt Wirtschaftsprüfer*innen und Controlling-Abteilungen, Nachhaltigkeitsberichte in kurzer Zeit strukturiert zu erfassen und zentrale Kriterien zuverlässig zu bewerten.

Wo bietet die KI-Anwendung den größten Nutzen?

Nachhaltigkeitsberichte sind ein wichtiger Bestandteil der Informationspolitik von Unternehmen. Sie geben einer interessierten Öffentlichkeit Auskunft über Aktivitäten und Leistungen der Organisation im Hinblick auf die nachhaltige Entwicklung. Seit 2017 müssen alle börsennotierten Unternehmen ab einer Größe von 500 Mitarbeitenden solche Berichte publizieren. Dabei orientieren sie sich an der sogenannten CSR-Richtlinie (Corporate Social Responsibility steht für gesellschaftliche Unternehmensverantwortung). Ziel dieser Richtlinie ist es insbesondere, die Transparenz über ökologische und soziale Aspekte von Unternehmen in der EU zu erhöhen. Dabei geht es um Informationen zu Umwelt-, Sozial- und Arbeitnehmer*innenbelangen sowie um die Achtung der Menschenrechte und die Bekämpfung von Korruption.

Nachhaltigkeitsberichte werden zudem, ähnlich wie Geschäftsberichte, als Grundlage für wichtige Kauf- oder Investitionsentscheidungen herangezogen. Die dazu nötige Identifizierung aller relevanten Kriterien und Informationen ist jedoch meist mit einem hohen Arbeits- und Zeitaufwand verbunden. Mit der von der EU umgesetzten Verschärfung der CSR-Richtlinie im Jahr 2023, die Berichtsvorgaben auf weitere Aspekte sowie einen größeren Kreis an Unternehmen ausweitet, wird diese Arbeit noch komplexer – insbesondere dann, wenn Berichte manuell ausgewertet werden.

Mit dem KI-basierten Tool Sustain.AI wird diese Arbeit erleichtert. Mithilfe der maschinellen Texterkennung können Nachhaltigkeitsberichte jetzt sehr effizient und strukturiert analysiert werden. Die Technologie hinter Sustain.AI richtet sich insbesondere an Wirtschaftsprüfer*innen und Controller*innen, die das Tool in ihrem Arbeitsalltag nutzen können.

Was sind die Qualitätsmerkmale von »Sustain.AI«?

  • Zeitersparnis: Der KI.NRW-Demonstrator ermöglicht einen schnellen und effizienten Umgang mit Nachhaltigkeitsberichten und der Analyse der zu erfüllenden CSR-Kriterien. Mithilfe von KI-Sprachmodellen werden die relevanten Textpassagen zu den jeweiligen Kriterien herausgefiltert. Prüfer*innen können somit ihren Fokus auf diejenigen Abschnitte richten, die für das jeweilige Kriterium die höchste Relevanz haben.
  • Übersicht und Kontext: Der integrierte PDF-Viewer bietet die Möglichkeit, sich jederzeit die extrahierten Textelemente im Bericht anzeigen zu lassen. So können Benutzer*innen den Kontext der Passage auf einen Blick erfassen.  
  • Integriertes Feedback und Anpassungsfähigkeit: Durch das eingebaute Feedbacksystem können Benutzer*innen die Vorschläge des Systems bewerten. Damit können wir das KI-Modell weiter trainieren und die Qualität stetig verbessern. Es ist auch in der Lage, neue Kriterien zu erlernen.
»Nachhaltigkeit rückt immer stärker in den öffentlichen Fokus. Mit dem KI-gestützten Tool Sustain.AI ist es möglich, Nachhaltigkeitsberichte effizient zu analysieren und zu durchsuchen.«
Maren Pielka
Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Welche KI-Technologie steckt im KI.NRW-Demonstrator?

Sprachmodelle

Bei modernen Sprachmodellen handelt es sich um Neuronale Netze, die darauf trainiert werden, ein Wort dadurch vorherzusagen, in welchem Kontext es steht. So lernt es eine wirksame Repräsentation für alle Wörter des Textes und ist in der Lage, Textpassagen semantisch zu vergleichen und einzuordnen.

Bilderkennung

PDF ist ein weit verbreitetes unstrukturiertes Dateiformat. Das heißt, obwohl Überschriften und Tabellen für Leser*innen visuell erkennbar sind, ist intern keine Struktur vorhanden. Um maschinell mit PDFs arbeiten zu können, bedarf es intelligenter Bildverarbeitungsalgorithmen, die diese Struktur aus den Bildern extrahieren und Objekte wie zum Beispiel Tabellen und Paragrafen richtig klassifizieren.

Was zeigt der KI-Demonstrator?

Bei dem KI-gestützten Vorschlagssystem handelt es sich um eine intelligente, intuitive Suchmaschine. Man kann sowohl eigene Dokumente hochladen als auch vorhandene Berichte anschauen. Die Berichte sind anhand einer hinterlegten Checkliste der »Global Reporting Initiative« – ein weit verbreitetes Reporting-Rahmenwerk zur Nachhaltigkeitsberichterstattung – durchsuch- und analysierbar.

Jetzt unverbindliches Gespräch mit unseren Expert*innen anfragen!

Neugierig geworden? Hier geht es zum Demonstrator!

Wo sind weitere Informationen zu finden?

KI.Landkarte mit Einträgen im Bereich Datenanalyse und Prognose

KI-Anbieter, Anwendungen und KI-Produkte »made in NRW« mit dem gleichen KI-Schwerpunkt finden Sie über die Filter- und Suchfunktion der KI.Landkarte, die aktuell mehr als 1000 Einträge umfasst.

Studie »Moderne Sprachtechnologien«

Erfahren Sie, an welchen Stellen moderne Sprachtechnologien uns im Alltag und Beruf begegnen und welche wirtschaftlichen Möglichkeiten damit verbunden sind.

Fraunhofer IAIS: Media Engineering

Mehr über die Themenfelder »Cognitive Business Optimization«, »Smart Coding and Learning« sowie KI-basierte industrielle Bildverarbeitung lernen Sie auf der Internetseite der IAIS-Institutsabteilung Media Engineering kennen.

Kontakt zum Team der Entwickler*innen

Maren Pielka

Data Scientist und Teamleiterin Cognitive Text Analytics,
Geschäftsfeld Cognitive Business Optimization,
Abteilung Media Engineering

Fraunhofer IAIS
Schloss Birlinghoven
53757 Sankt Augustin

Telefon +49 2241 14-2871

E-Mail senden

Lars Patrick Hillebrand

Doktorand / Wissenschaftlicher Mitarbeiter in Machine Learning
Abteilung Media Engineering

Fraunhofer IAIS
Schloss Birlinghoven
53757 Sankt Augustin

Telefon +49 2241 14-1920

E-Mail senden

Chatbot mit Wissensgraph
»Covid Q&A«

Der Chatbot führt die Funktionsweise eines Online-Dialogsystems vor, welches die Stärken eines Wissensgraphen nutzt.

Wo bietet die KI-Anwendung den größten Nutzen?

Ein KI-unterstützter Chatbot bietet vielfältige Anwendungsmöglichkeiten und kann Unternehmen branchenunabhängig in jeglichen Bereichen der Kommunikation mit der Belegschaft oder Kund*innen unterstützen. Ein klassisches Beispiel sind kundenorientierte Dienstleistungsangebote, die rund um die Uhr zur Verfügung gestellt werden. Unternehmen setzen sie auf Internetseiten, in Onlineshops, auf Support-Seiten, in Apps oder in Instant-Messaging-Systemen ein, um die Navigation auf Internetseiten zu vereinfachen, konkrete Anfragen von Kunden zu beantworten oder den Zugang zu Service und Kundendienst zu strukturieren.

Doch nicht nur in der externen, auch in der internen Unternehmenskommunikation können Chatbots erfolgreich eingesetzt werden. Anwendungsbeispiele ergeben sich beim Onboarding neuer Mitarbeitender, in HR- oder Verwaltungsprozessen wie Fragen zu Urlaubsanträgen oder Lohnsteuerabrechnungen sowie auch in der Begleitung komplexer Montageanweisungen in der Produktion.

Werden Chatbots um die Komponente der akustischen Spracherkennung sowie der akustischen Sprachsynthese ergänzt, sprechen wir in dieser erweiterten Form von Sprachassistenten (Voicebot), ähnlich Siri oder Alexa.

Was sind die Qualitätsmerkmale bei solchen KI-Anwendungen?

Texte verstehen mit Natural Language Understanding (NLU)

NLU-Methoden basieren auf semantischen Repräsentationen von Texten. Diese können Zusammenhänge zwischen Wörtern verstehen und abbilden. Diese semantischen Repräsentationen übersteigen die Möglichkeiten der klassisch regelbasierten Verfahren des Text Minings.

Auf Informationen zurückgreifen und Dialoge vorbereiten mit Dialog Management (DM) und Knowledge Graph (KG)

Wissensgraphen strukturieren Daten und Wissen, ermöglichen eine semantische Verknüpfung und sind in vielen Fällen die Basis dafür, dass Anwendungen der Künstlichen Intelligenz erklärbar werden und für den Menschen nachvollziehbare Ergebnisse liefern.

Texte generieren mit Natural Language Generation (NLG)

Die Textsynthese ist das Gegenstück zum Textverstehen. Hier wird automatisiert Text generiert, der anschließend in Sprachsignale verwandelt werden kann.

„Wissensgraphen, die verschiedene Datenquellen integrieren,
bilden die Grundlage für viele KI-Anwendungen und -Assistenten.“
Prof. Dr. rer. nat Jens Lehmann
Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Was zeigt der KI.NRW-Demonstrator?

Ein KI-basiertes Dialogsystem (»question answering system«) gestaltet die Suche nach Informationen effizienter und komfortabler für den Nutzenden. Der KI.NRW-Demonstrator zeigt einen solchen KI-gestützten Chatbot zur Abfrage von Corona Fallzahlen weltweit. Die Animationen erläutern Ihnen schrittweise seine Funktionsweise.

Schritt 1: Natürliche Sprache verstehen

Durch den Einsatz von KI ist die Spracherkennung an realen Unterhaltungen von Menschen und der so genannten natürlichen Sprache orientiert (»natural language understanding NLU«). Die eingesetzten Verfahren extrahieren aus dem Text Informationen, die sie intern so darstellen, dass sie weiterverarbeitet werden können. Das System kann dadurch auch weniger gängige Begriffe, Dialekte oder Umgangssprache verstehen. Auch Assoziationen und Zusammenhänge zwischen Wörtern werden angemessen berücksichtigt, also beispielsweise, dass das Wort Rechnung mit dem Wort Zahlung inhaltlich verwandt ist.

Schritt 2: Daten und Wissen strukturieren

Wissensgraphen strukturieren Daten und Wissen, ermöglichen eine semantische Verknüpfung und sind in vielen Fällen die Basis dafür, dass Anwendungen der Künstlichen Intelligenz erklärbar Ein Wissensgraph (»knowledge graph«) ist in der Lage, unterschiedlichste Informationsquellen zu einer dynamischen Wissensbasis zusammen zu führen. Im Fall des KI.NRW-Demonstrators werden die Corona Fallzahlen von der Johns Hopkins University und vom Robert-Koch Institut einbezogen. Sie werden mit Stand vom Vortag über einen Wissensgraphen zugänglich gemacht.

Schritt 3: Antwort erzeugen

Zuletzt wird eine Antwort passend zur gestellten Frage erzeugt. Dadurch ist dieser Vorgang das passende Gegenstück zum ersten Schritt, dem Verstehen von Sprache. Die strukturierten Daten werden nun in Text umgewandelt und ausgegeben. Auch die Ausgabe als akustisches Signal kann hier anschließen (so beispielsweise bei den so genannten Voicebots).

Der KI-Chatbot in Aktion

Probieren Sie den KI-Chatbot selbst aus: Der Chatbot wurde beispielhaft auf Daten aufgesetzt, die die weltweiten Fallzahlen rund um die Corona-Pandemie abbilden. Wer über das Chatfenster eine entsprechende Frage auf Englisch stellt, erhält unmittelbar Antwort.

Testfragen für die Wissensabfrage können folgende sein:

  • »Are there new cases in Mexico?«
  • »How many cases were there in total in Germany until 25th October 2020?«
  • »How many new cases were found in Argentina on 10th November 2020?«
  • »Which country had the highest number of cases on 8th November 2020?«

Wo sind weitere Informationen zu finden?

KI-Anbieter aus NRW

Unsere KI-Landkarte zeigt Ihnen, wer die KI-Schwerpunkte »Wissen und Inferenz« in seinem Portfolio hat

KI-Methoden rund um Wissen und Schlussfolgerung

Viele Good-Practice-Beispiele als Inspiration für die Anwendungsmöglichkeiten dieser KI

KI-Produkte »made in NRW«

Filtern Sie unsere KI-Landkarte nach dem Schwerpunkt »Wissen und Inferenz«

Kontakt rund um den Demonstrator

Roman Teucher

Research Engineer

Fraunhofer IAIS
Zwickauer Str. 46
01069 Dresden

Telefon +49 351 85477961

E-Mail senden

Zum Seitenanfang