German Public Health Mention Sequence Classifier (German-MedBERT) ONNX

Description

This model is a German-MedBERT based sequence classification model that can classify public health mentions in German social media text.

Predicted Entities

non-health, health-related

Copy S3 URI

How to use

document_assembler = DocumentAssembler() \
    .setInputCol("text") \
    .setOutputCol("document")

tokenizer = Tokenizer() \
    .setInputCols(["document"]) \
    .setOutputCol("token")

sequence_classifier = MedicalBertForSequenceClassification.pretrained("bert_sequence_classifier_health_mentions_medbert_onnx", "en", "clinical/models")\
  .setInputCols(["document", "token"])\
  .setOutputCol("class")

pipeline = Pipeline(stages=[
    document_assembler, 
    tokenizer,
    sequence_classifier    
])

data = spark.createDataFrame([
      ["Diabetes habe ich schon seit meiner Kindheit, seit der Pubertätch nehme Insulin."],
      ["Die Hochzeitszeitung ist zum Glück sehr schön geworden. Das Brautpaar gat sich gefreut."]
    ]).toDF("text")

model = pipeline.fit(data)
result = model.transform(data)
document_assembler = nlp.DocumentAssembler() \
    .setInputCol("text") \
    .setOutputCol("document")

tokenizer = nlp.Tokenizer() \
    .setInputCols(["document"]) \
    .setOutputCol("token")

sequenceClassifier = medical.BertForSequenceClassification.pretrained("bert_sequence_classifier_health_mentions_medbert_onnx", "en", "clinical/models")\
    .setInputCols(["document","token"])\
    .setOutputCol("classes")

pipeline = nlp.Pipeline(stages=[
    document_assembler,
    tokenizer,
    sequenceClassifier
])

data = spark.createDataFrame([
      ["Diabetes habe ich schon seit meiner Kindheit, seit der Pubertätch nehme Insulin."],
      ["Die Hochzeitszeitung ist zum Glück sehr schön geworden. Das Brautpaar gat sich gefreut."]
    ]).toDF("text")

model = pipeline.fit(data)
result = model.transform(data)

val document_assembler = new DocumentAssembler() 
    .setInputCol("text") 
    .setOutputCol("document")

val tokenizer = new Tokenizer() 
    .setInputCols(Array("document")) 
    .setOutputCol("token")

val sequenceClassifier = MedicalBertForSequenceClassification.pretrained("bert_sequence_classifier_health_mentions_medbert_onnx", "en", "clinical/models")
  .setInputCols(Array("document","token"))
  .setOutputCol("class")

val pipeline = new Pipeline().setStages(Array(document_assembler, tokenizer, sequenceClassifier))

val data = Seq(Array("Diabetes habe ich schon seit meiner Kindheit, seit der Pubertätch nehme Insulin.",
                     "Die Hochzeitszeitung ist zum Glück sehr schön geworden. Das Brautpaar gat sich gefreut.")).toDF("text")

val model = pipeline.fit(data)
val result = model.transform(data)

Results


+---------------------------------------------------------------------------------------+----------------+
|text                                                                                   |result          |
+---------------------------------------------------------------------------------------+----------------+
|Diabetes habe ich schon seit meiner Kindheit, seit der Pubertätch nehme Insulin.       |[health-related]|
|Die Hochzeitszeitung ist zum Glück sehr schön geworden. Das Brautpaar gat sich gefreut.|[non-health]    |
+---------------------------------------------------------------------------------------+----------------+

Model Information

Model Name: bert_sequence_classifier_health_mentions_medbert_onnx
Compatibility: Healthcare NLP 6.1.1+
License: Licensed
Edition: Official
Input Labels: [document, token]
Output Labels: [label]
Language: de
Size: 440.8 MB
Case sensitive: true