KI-basierte Diagnoseunterstützung in der Medizin mit »Pneumo.AI«

»Pneumo.AI« ist eine KI-gestützte Diagnosesoftware, die medizinisches Fachpersonal mittels intelligenter Bilderkennung bei der eindeutigen Identifikation von Lungenentzündungen (Pneumonie) unterstützt.

Wo bietet die KI-Anwendung den größten Nutzen?

Der Demonstrator »Pneumo.AI« wurde entwickelt, um spielerisch zu verdeutlichen, wie KI-Technologien und medizinisches Fachpersonal zusammenarbeiten können. Die Krankheit Pneumonie, besser bekannt als Lungenentzündung, beschäftigt in vielen Krankenhäusern spezialisierte Fachärztinnen und Fachärzte. Bislang mussten mögliche Erkrankungen unter anderem anhand von Röntgenbildern manuell identifiziert werden, um rechtzeitig entsprechende Behandlungen einzuleiten. Heute können Bilderkennungssysteme bei einer Diagnose unterstützen. Das spart Zeit und kann Fehleinschätzungen vermeiden.

Was ist Pneumonie?

Bei der Pneumonie handelt es sich um eine akute Entzündung der unteren Atemwege, gemeinläufig wird sie auch als Lungenentzündung bezeichnet. Anders als man gegenwärtig vermuten würde, stellt die Lungenentzündung in vielen Regionen der Erde auch heute noch eine schwerwiegende Erkrankung dar. Insbesondere in Entwicklungsländern sind Pneumonien eine der häufigsten Krankheits- und Todesursachen von Kindern im Alter von unter fünf Jahren.

Wie KI bei der Diagnose helfen kann?

Systeme der Künstlichen Intelligenz können Ärzt*innen bei der Diagnosestellung unterstützen. In diesem Fall hilft die sogenannte Computer Vision, also das Maschinelle Sehen, dabei, Erkrankungsmerkmale auf Thorax-Scans zu erkennen.

Wie sieht die Zukunft von KI in der Medizin aus?

Sowohl Ärzt*innen als auch Data Scientists sehen großes Potenzial für KI in der Medizin. In vielen Krankenhäusern liegen große Mengen an Daten vor, die für eine verbesserte Diagnoseunterstützung genutzt werden könnten. Wichtig ist dabei allerdings, dass die KI-Systeme immer nur als Assistenztools verstanden werden und das medizinische Personal stets die Entscheidungshoheit hat. Medizinische Daten sind zudem sehr sensibel und müssen besonders geschützt werden.

Was sind die Qualitätsmerkmale von »Pneumo.AI«?

  • Geringer Aufwand: Da die Annotation von medizinischen Bilddatensätzen meist einen hohen Aufwand darstellt, ist es wichtig, dateneffiziente Algorithmen zu entwickeln, um einen möglichst geringen Annotationsaufwand zu erreichen.
  • Direkte Auswertung: Die Verwendung von KI-Technologien macht eine direkte Auswertung des Scans/Röntgenbilds nach der Aufnahme möglich – ohne menschliche Interaktion. Darin zeigt sich das Potenzial, die Arbeitsprozesse in Kliniken zu optimieren, beispielsweise durch die Entwicklung eines Priorisierungssystems. Wichtig ist jedoch, dass die KI immer als Assistenzsystem für Ärzt*innen fungiert und niemals allein entscheidet.  
  • Sichere Datenverarbeitung: Bei sensiblen Daten wie Patient*innendaten ist es essenziell, dass die angewandten KI-Verfahren sicher sind. Alle Daten müssen auf deutschen Servern liegen oder dürfen ausschließlich vor Ort bei Fachärzt*innen bzw. an Kliniken verarbeitet werden. 
  • Leistungsstarke KI: Künftig wird bei der Auswertung von medizinischen Bilddaten auch die KI-basierte multimodale Analyse eine wichtige Rolle spielen, da einem Arzt / einer Ärztin während der Diagnose viele verschiedene Informationen zur Verfügung stehen, die den Gesundheitszustand bzw. Krankheitsverlauf von Patient*innen betreffen.     
»Eine enge Zusammenarbeit zwischen medizinischen Expert*innen und Data Scientists stellt die wichtigste Grundlage für den Einsatz von Künstlicher Intelligenz in der Medizin dar.«
Helen Schneider
Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Welche KI-Technologie steckt im KI.NRW-Demonstrator?

Deep Learning

Der Demonstrator Pneumo.AI beruht auf tiefen Künstlichen Neuronalen Faltungsnetzwerken (Convolutional Neural Network, kurz CNN), die für die Verarbeitung von größeren Bilddatensätzen besonders gut geeignet sind. Hierbei kann die verwendete Technologie auch auf andere Krankheiten und Use Cases übertragen werden.

Informed Machine Learning

Bei dieser Art des Maschinellen Lernens werden zur Verfügung stehende Vorkenntnisse und Expert*innenwissen in das Modell integriert, um beispielsweise dateneffizientere Algorithmen zu entwickeln. Für Pneumo.AI wurden die Elemente der bilateralen Symmetrie des Lungenfeldes innerhalb der Modellierung berücksichtigt.

Computer Vision

Um eine gute Generalisierungsfähigkeit des trainierten Netzwerkes zu gewährleisten, werden verschiedene Augmentationstechniken implementiert. Durch das Rotieren und Zoomen der Trainingsbilddaten erreicht das Netzwerk eine bessere Leistung, Overfitting wird vermieden.

Was zeigt der KI-Demonstrator?

Der Demonstrator »Pneumo.AI« zeigt, wie KI-Technologien in Zukunft Ärzt*innen in Praxen und Kliniken in ihrem Alltag unterstützen können. Hierbei ist es wichtig zu betonen, dass die Künstliche Intelligenz dem medizinischen Fachpersonal als Assistenztool zur Verfügung steht, die Endscheidungshoheit aber beim Menschen bleibt. Außerdem verdeutlicht der Demonstrator das hohe Potenzial von KI in der medizinischen Bildverarbeitung.

Jetzt unverbindliches Gespräch mit unseren Expert*innen anfragen!

Neugierig geworden? Hier geht es zum Demonstrator!

Wo sind weitere Informationen zu finden?

KI.Landkarte mit Einträgen im medizinischen Bereich

KI-Anbieter, Anwendungen und KI-Produkte »made in NRW« mit dem gleichen KI-Schwerpunkt finden Sie über die Filter- und Suchfunktion der KI.Landkarte, die aktuell mehr als 1000 Einträge umfasst.

Vortrag zu Pneumo.AI auf der Messe MEDICA 2022

Auf der internationalen Medizin-Fachmesse MEDICA 2022 hielten KI.NRW und das Fraunhofer IAIS einen Vortrag über »Künstliche Intelligenz im Gesundheitswesen am Beispiel Pneumo.AI«

SmartHospital: Einsatz von KI im Krankenhaus der Zukunft

Im KI.NRW-Flagship-Projekt SmartHospital.NRW werden Werkzeuge entwickelt, um Krankenhäuser bei der digitalen Transformation und dem Einsatz von KI zu unterstützen. Ermitteln Sie jetzt den KI-Reifegrad Ihres Krankenhauses.

Kontakt zum Team der Entwickler*innen

Helen Schneider

Data Scientist – Computer Vision

Fraunhofer IAIS
Schloss Birlinghoven
53757 Sankt Augustin

Telefon +49 2241 14-2735

E-Mail senden

Dr. Rafet Sifa

Geschäftsfeldleiter Cognitive Business Optimization

Fraunhofer IAIS
Schloss Birlinghoven
53757 Sankt Augustin

Telefon +49 2241 14-2405

E-Mail senden

»Sustain.AI« – Das KI-Tool zur Analyse von Nachhaltigkeitsberichten

Mehr Transparenz und schnellere Erfassung von wichtigen Indikatoren: Sustain.AI befähigt Wirtschaftsprüfer*innen und Controlling-Abteilungen, Nachhaltigkeitsberichte in kurzer Zeit strukturiert zu erfassen und zentrale Kriterien zuverlässig zu bewerten.

Wo bietet die KI-Anwendung den größten Nutzen?

Nachhaltigkeitsberichte sind ein wichtiger Bestandteil der Informationspolitik von Unternehmen. Sie geben einer interessierten Öffentlichkeit Auskunft über Aktivitäten und Leistungen der Organisation im Hinblick auf die nachhaltige Entwicklung. Seit 2017 müssen alle börsennotierten Unternehmen ab einer Größe von 500 Mitarbeitenden solche Berichte publizieren. Dabei orientieren sie sich an der sogenannten CSR-Richtlinie (Corporate Social Responsibility steht für gesellschaftliche Unternehmensverantwortung). Ziel dieser Richtlinie ist es insbesondere, die Transparenz über ökologische und soziale Aspekte von Unternehmen in der EU zu erhöhen. Dabei geht es um Informationen zu Umwelt-, Sozial- und Arbeitnehmer*innenbelangen sowie um die Achtung der Menschenrechte und die Bekämpfung von Korruption.

Nachhaltigkeitsberichte werden zudem, ähnlich wie Geschäftsberichte, als Grundlage für wichtige Kauf- oder Investitionsentscheidungen herangezogen. Die dazu nötige Identifizierung aller relevanten Kriterien und Informationen ist jedoch meist mit einem hohen Arbeits- und Zeitaufwand verbunden. Mit der von der EU umgesetzten Verschärfung der CSR-Richtlinie im Jahr 2023, die Berichtsvorgaben auf weitere Aspekte sowie einen größeren Kreis an Unternehmen ausweitet, wird diese Arbeit noch komplexer – insbesondere dann, wenn Berichte manuell ausgewertet werden.

Mit dem KI-basierten Tool Sustain.AI wird diese Arbeit erleichtert. Mithilfe der maschinellen Texterkennung können Nachhaltigkeitsberichte jetzt sehr effizient und strukturiert analysiert werden. Die Technologie hinter Sustain.AI richtet sich insbesondere an Wirtschaftsprüfer*innen und Controller*innen, die das Tool in ihrem Arbeitsalltag nutzen können.

Was sind die Qualitätsmerkmale von »Sustain.AI«?

  • Zeitersparnis: Der KI.NRW-Demonstrator ermöglicht einen schnellen und effizienten Umgang mit Nachhaltigkeitsberichten und der Analyse der zu erfüllenden CSR-Kriterien. Mithilfe von KI-Sprachmodellen werden die relevanten Textpassagen zu den jeweiligen Kriterien herausgefiltert. Prüfer*innen können somit ihren Fokus auf diejenigen Abschnitte richten, die für das jeweilige Kriterium die höchste Relevanz haben.
  • Übersicht und Kontext: Der integrierte PDF-Viewer bietet die Möglichkeit, sich jederzeit die extrahierten Textelemente im Bericht anzeigen zu lassen. So können Benutzer*innen den Kontext der Passage auf einen Blick erfassen.  
  • Integriertes Feedback und Anpassungsfähigkeit: Durch das eingebaute Feedbacksystem können Benutzer*innen die Vorschläge des Systems bewerten. Damit können wir das KI-Modell weiter trainieren und die Qualität stetig verbessern. Es ist auch in der Lage, neue Kriterien zu erlernen.
»Nachhaltigkeit rückt immer stärker in den öffentlichen Fokus. Mit dem KI-gestützten Tool Sustain.AI ist es möglich, Nachhaltigkeitsberichte effizient zu analysieren und zu durchsuchen.«
Maren Pielka
Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Welche KI-Technologie steckt im KI.NRW-Demonstrator?

Sprachmodelle

Bei modernen Sprachmodellen handelt es sich um Neuronale Netze, die darauf trainiert werden, ein Wort dadurch vorherzusagen, in welchem Kontext es steht. So lernt es eine wirksame Repräsentation für alle Wörter des Textes und ist in der Lage, Textpassagen semantisch zu vergleichen und einzuordnen.

Bilderkennung

PDF ist ein weit verbreitetes unstrukturiertes Dateiformat. Das heißt, obwohl Überschriften und Tabellen für Leser*innen visuell erkennbar sind, ist intern keine Struktur vorhanden. Um maschinell mit PDFs arbeiten zu können, bedarf es intelligenter Bildverarbeitungsalgorithmen, die diese Struktur aus den Bildern extrahieren und Objekte wie zum Beispiel Tabellen und Paragrafen richtig klassifizieren.

Was zeigt der KI-Demonstrator?

Bei dem KI-gestützten Vorschlagssystem handelt es sich um eine intelligente, intuitive Suchmaschine. Man kann sowohl eigene Dokumente hochladen als auch vorhandene Berichte anschauen. Die Berichte sind anhand einer hinterlegten Checkliste der »Global Reporting Initiative« – ein weit verbreitetes Reporting-Rahmenwerk zur Nachhaltigkeitsberichterstattung – durchsuch- und analysierbar.

Jetzt unverbindliches Gespräch mit unseren Expert*innen anfragen!

Neugierig geworden? Hier geht es zum Demonstrator!

Wo sind weitere Informationen zu finden?

KI.Landkarte mit Einträgen im Bereich Datenanalyse und Prognose

KI-Anbieter, Anwendungen und KI-Produkte »made in NRW« mit dem gleichen KI-Schwerpunkt finden Sie über die Filter- und Suchfunktion der KI.Landkarte, die aktuell mehr als 1000 Einträge umfasst.

Studie »Moderne Sprachtechnologien«

Erfahren Sie, an welchen Stellen moderne Sprachtechnologien uns im Alltag und Beruf begegnen und welche wirtschaftlichen Möglichkeiten damit verbunden sind.

Fraunhofer IAIS: Media Engineering

Mehr über die Themenfelder »Cognitive Business Optimization«, »Smart Coding and Learning« sowie KI-basierte industrielle Bildverarbeitung lernen Sie auf der Internetseite der IAIS-Institutsabteilung Media Engineering kennen.

Kontakt zum Team der Entwickler*innen

Maren Pielka

Data Scientist und Teamleiterin Cognitive Text Analytics,
Geschäftsfeld Cognitive Business Optimization,
Abteilung Media Engineering

Fraunhofer IAIS
Schloss Birlinghoven
53757 Sankt Augustin

Telefon +49 2241 14-2871

E-Mail senden

Lars Patrick Hillebrand

Doktorand / Wissenschaftlicher Mitarbeiter in Machine Learning
Abteilung Media Engineering

Fraunhofer IAIS
Schloss Birlinghoven
53757 Sankt Augustin

Telefon +49 2241 14-1920

E-Mail senden

Roberta SPEAKER – Dialogassistenten einfach selbst gestalten

Intuitiv einen eigenen Dialogassistenten entwickeln – mit der visuellen, No-Code Programmieroberfläche »Open Roberta®«!

Wo bietet die KI-Anwendung den größten Nutzen?

Sprachtechnologien spielen in der Entwicklung neuer digitaler Dienste und Technologien eine wesentliche Rolle und stellen heute schon den verlässlichen Assistenten für zu Hause dar. Ob Alexa oder Siri, im privaten Alltag ist die Kommunikation per Sprache mit Computern längst angekommen: Die schnelle Frage nach der Regenwahrscheinlichkeit oder der Staugefahr auf dem Heimweg sowie die Steuerung von Musik oder Licht in den eigenen vier Wänden – immer häufiger findet Kommunikation mit Sprachassistenten statt. Aber wie lassen sich Sprachassistenten im Unternehmen oder gar in Schulen einsetzen?

Datensicher, individuell anpassbar – Roberta SPEAKER für Unternehmen und in der Bildung

Der KI.NRW-Demonstrator »Roberta SPEAKER« ermöglicht es selbst Programmierneulingen, Dialog- Funktionen einfach und intuitiv selbständig zu entwickeln. Davon können Nutzer*innen unterschiedlicher Branchen profitieren: Unternehmen erhalten mit der Technologie die Möglichkeit, eigene Dialogassistenten zu entwickeln, um zum Beispiel ihre Maschinen mit Sprachbefehlen zu steuern. Zu den Vorteilen gehört neben der autarken Ausgestaltung der Dialoge auch die Datensicherheit, denn anders als viele kommerzielle Sprachassistenten benötigt Roberta SPEAKER keinen Internetanschluss – die Daten werden lokal verarbeitet. Darüber hinaus können auch Lehrkräfte und Bildungsakteur*innen künftig Roberta SPEAKER einsetzen, um jungen Menschen den Einsatz von KI-Technologien im Alltag besser zu vermitteln und deren Digitalkompetenzen aufzubauen.

Als Programmiersprache für die Dialogsteuerung dient NEPO®, die auf der Open-Source-Plattform Open Roberta des Fraunhofer IAIS per »drag and drop« zusammengesteckt wird und so Einstiegshürden, wie z. B. Tipp- oder Syntaxfehler, vermeidet. Das Spracherkennungsmodell kann speziell auf den eigenen Bedarf angepasst und somit auf einem Mikrocomputer ausgeführt werden. Auf kostspielige und aufwändige Hardware wird damit verzichtet. Darüber hinaus sind für die Kommunikation zwischen Anwender*innen und Sprachassistenten zusätzliche Elemente, wie z. B. Mikrofon und Lautsprecher, enthalten. 

Der Demonstrator wurde im Rahmen des vom Bundesministerium für Wirtschaft und Klimaschutz (BMWK) geförderten SPEAKER-Projekts entwickelt. Ziel des SPEAKER-Projektes ist der Aufbau einer führenden Sprachassistenzplattform »made in Germany« für Business-to-Business-Anwendungen (B2B). Die Plattform soll offen, modular und skalierbar sein und Technologien, Dienste und Daten über Serviceschnittstellen bereitstellen. Konsortialführer sind die Fraunhofer-Institute IAIS und IIS.

Was sind die Qualitätsmerkmale von Roberta SPEAKER?

  • Geringer Aufwand: Der KI.NRW Demonstrator zeigt, dass KI-Sprachmodelle selbst auf einem kleinen (portablen) Prozessor funktionsfähig sind. Dadurch werden innovative Funktionsmöglichkeiten eröffnet. Ein Vorteil: Die KI-Modelle arbeiten lokal, sodass eine Internetverbindung nicht zwingend notwendig ist. Damit demonstriert die Roberta SPEAKER-Box, dass Sprachassistenten ohne großen Aufwand nahezu überall implementiert werden können, um mit Menschen zu interagieren und einfache Arbeiten zu übernehmen. 
  • Intuitiv und individuell gestaltbar: Eine intuitive Programmieroberfläche erlaubt es allen Menschen, mit einfachen Griffen funktionierende Programmabläufe zu entwickeln, sodass im Rahmen des Demonstrators gerade Schüler*innen in der Lage sind, eigene Sprachbefehle zu generieren. Bei der Programmieroberfläche handelt es sich um das Open Roberta Lab, eine frei verfügbare, datensichere wie offene Programmierplattform der Bildungsinitiative »Roberta® – Lernen mit Robotern« des Fraunhofer IAIS.  
  • Einfache Kommunikation: Durch den Einsatz von Künstlicher Intelligenz sind Nutzer*innen in der Lage, mit den Sprachassistenten über gesprochene Sprache zu kommunizieren. Der Dialogassistent versteht Fragen und Befehle, ist in der Lage Aktionen aus der Absicht der Nutzer*innen abzuleiten und kann Antworten formulieren und diese über den Lautsprecher ausgeben oder Handlungen ableiten. 
  • Leistungsstark und ressourcenschonend: Die sprachgesteuerte Box ist erst einsatzfähig, wenn die Technologien der Künstlichen Intelligenz, die KI-Modelle, auch auf einem kleinen Prozessor funktionsfähig sind. Die Entwickler*innen legen deshalb den Fokus auf eine ressourcenschonende KI-Technologie.       
»Dialogsysteme sind allgegenwärtig. Mit ›Roberta Speaker‹ ermöglichen wir es jedem,
nahezu ohne Vorkenntnisse eigene Dialoge zur Steuerung von IoT-Geräten per Drag-and-drop zu erstellen.«
Thorsten Leimbach
Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Welche KI-Technologie steckt im KI.NRW-Demonstrator?

Automated Speech Recognition (ASR)

Technische Systeme, die gesprochene Kommandos verstehen, ermöglichen eine natürliche Kommunikation zwischen Mensch und Maschine. Die Spracherkennung wandelt gesprochene Informationen zuverlässig und in Echtzeit in digitalen Text um – auch unter schwierigen Bedingungen, etwa bei Störgeräuschen, wie sie zum Beispiel im industriellen Umfeld auftreten können oder wenn regionale Dialekte gesprochen werden.

Intent Recognition

Erst das domänenspezifische Wissen macht das Sprachsystem nützlich in bestimmten Anwendungsbereichen. Hierbei spielt die Intent Recognition, die Erkennung der Absichten aus dem gesprochenen Text eine wesentliche Rolle. So erkennt ein Intent Classifier das Thema des Textes und sucht die faktische Antwort. Mithilfe von Verbalisierungstechniken sorgt das System anschließend dafür, dass die Antwort ausformuliert ausgegeben wird.

Text-to-Speech (TTS)

In der Mensch-Maschine-Interaktion ist es oftmals von Vorteil, wenn Textinformationen nicht – etwa von einem Display – abgelesen werden müssen, sondern mit natürlicher Sprache übermittelt werden. Auf Basis von Deep Learning-Technologie erzeugen State of the Art-Algorithmen sehr natürlich klingende Sprachausgaben mit hervorragender Verständlichkeit und flüssiger Betonung.

Was zeigt der KI-Demonstrator?

Der KI.NRW-Demonstrator »Roberta SPEAKER« ermöglicht es sowohl Unternehmen als auch Schüler*innen unterschiedlicher Schulformen, wie etwa der weiterführenden Schule oder der Berufsschule, mit einer einfachen Programmieroberfläche einen eigenen Sprachassistenten zu entwickeln. Hier findet der Ausdruck »do it yourself« eine neue Bedeutung und das Erlernen von KI-Technologien kann auch ohne Vorkenntnisse beginnen.

Jetzt unverbindliches Gespräch mit unseren Expert*innen anfragen!

Wo sind weitere Informationen zu finden?

Studie »Moderne Sprachtechnologien«

Erfahren Sie, an welchen Stellen moderne Sprachtechnologien uns im Alltag und Beruf begegnen und welche wirtschaftlichen Möglichkeiten damit verbunden sind.

Roberta SPEAKER für Unternehmen

Sie wollen mit Roberta SPEAKER KI-Qualifizierungsmaßnahmen in Ihrem Unternehmen durchführen oder möchten wissen, wie Sie die Fraunhofer-Sprachtechnologie in Ihre Prozesse integrieren können?

Roberta SPEAKER in der Bildung

Sie wollen Roberta SPEAKER im Bildungskontext verwenden?

Kontakt zum Entwicklerteam

Thorsten Leimbach

Geschäftsfeldleiter
Smart Coding and Learning

Fraunhofer IAIS
Schloss Birlinghoven
53757 Sankt Augustin

Telefon +49 2241 142404

E-Mail senden

Beate Jost

Technische Leiterin bei Roberta

Fraunhofer IAIS
Schloss Birlinghoven
53757 Sankt Augustin

Telefon +49 2241 142441

E-Mail senden

Dr.-Ing. Oliver Walter

Teamleiter
Real Time Speech Recognition

Fraunhofer IAIS
Schloss Birlinghoven
53757 Sankt Augustin

Telefon +49 2241 2541

E-Mail senden

Kevin Reich

Wissenschaftlicher Mitarbeiter

Fraunhofer IAIS
Schloss Birlinghoven
53757 Sankt Augustin

Telefon +49 2241 2552

E-Mail senden

Zum Seitenanfang