Pipeline to Detect PHI for Deidentification (Generic)

Description

This pretrained pipeline is built on the top of ner_deid_generic model.

Copy S3 URI

How to use

from sparknlp.pretrained import PretrainedPipeline

pipeline = PretrainedPipeline("ner_deid_generic_pipeline", "de", "clinical/models")

text = '''Michael Berger wird am Morgen des 12 Dezember 2018 ins St. Elisabeth-Krankenhaus in Bad Kissingen eingeliefert. Herr Berger ist 76 Jahre alt und hat zu viel Wasser in den Beinen.'''

result = pipeline.fullAnnotate(text)
import com.johnsnowlabs.nlp.pretrained.PretrainedPipeline

val pipeline = new PretrainedPipeline("ner_deid_generic_pipeline", "de", "clinical/models")

val text = "Michael Berger wird am Morgen des 12 Dezember 2018 ins St. Elisabeth-Krankenhaus in Bad Kissingen eingeliefert. Herr Berger ist 76 Jahre alt und hat zu viel Wasser in den Beinen."

val result = pipeline.fullAnnotate(text)
import nlu
nlu.load("de.med_ner.deid_generic.pipeline").predict("""Michael Berger wird am Morgen des 12 Dezember 2018 ins St. Elisabeth-Krankenhaus in Bad Kissingen eingeliefert. Herr Berger ist 76 Jahre alt und hat zu viel Wasser in den Beinen.""")

Results

|    | ner_chunks                |   begin |   end | ner_label   |   confidence |
|---:|:--------------------------|--------:|------:|:------------|-------------:|
|  0 | Michael Berger            |       0 |    13 | NAME        |     0.99555  |
|  1 | 12 Dezember 2018          |      34 |    49 | DATE        |     0.999967 |
|  2 | St. Elisabeth-Krankenhaus |      55 |    79 | LOCATION    |     0.797267 |
|  3 | Bad Kissingen             |      84 |    96 | LOCATION    |     0.90785  |
|  4 | Berger                    |     117 |   122 | NAME        |     0.935    |
|  5 | 76                        |     128 |   129 | AGE         |     1        |

Model Information

Model Name: ner_deid_generic_pipeline
Type: pipeline
Compatibility: Healthcare NLP 4.3.0+
License: Licensed
Edition: Official
Language: de
Size: 1.3 GB

Included Models

  • DocumentAssembler
  • SentenceDetectorDLModel
  • TokenizerModel
  • WordEmbeddingsModel
  • MedicalNerModel
  • NerConverterInternalModel