Sentence Detection in Russian Text

Description

SentenceDetectorDL (SDDL) is based on a general-purpose neural network model for sentence boundary detection. The task of sentence boundary detection is to identify sentences within a text. Many natural language processing tasks take a sentence as an input unit, such as part-of-speech tagging, dependency parsing, named entity recognition or machine translation.

Download

How to use

documenter = DocumentAssembler()\
    .setInputCol("text")\
    .setOutputCol("document")
    
sentencerDL = SentenceDetectorDLModel\
  .pretrained("sentence_detector_dl", "ru") \
  .setInputCols(["document"]) \
  .setOutputCol("sentences")

sd_model = LightPipeline(PipelineModel(stages=[documenter, sentencerDL]))
sd_model.fullAnnotate("""Ищете отличный источник абзацев для чтения на английском? Вы пришли в нужное место. Согласно недавнему исследованию, привычка к чтению у современной молодежи стремительно сокращается. Они не могут сосредоточиться на данном абзаце для чтения на английском дольше нескольких секунд! Кроме того, чтение было и остается неотъемлемой частью всех конкурсных экзаменов. Итак, как улучшить свои навыки чтения? Ответ на этот вопрос на самом деле представляет собой другой вопрос: какова польза от навыков чтения? Основная цель чтения - «понять смысл».""")


val documenter = DocumentAssembler()
    .setInputCol("text")
    .setOutputCol("document")

val model = SentenceDetectorDLModel.pretrained("sentence_detector_dl", "ru")
	.setInputCols(Array("document"))
	.setOutputCol("sentence")

val pipeline = new Pipeline().setStages(Array(documenter, model))
val data = Seq("Ищете отличный источник абзацев для чтения на английском? Вы пришли в нужное место. Согласно недавнему исследованию, привычка к чтению у современной молодежи стремительно сокращается. Они не могут сосредоточиться на данном абзаце для чтения на английском дольше нескольких секунд! Кроме того, чтение было и остается неотъемлемой частью всех конкурсных экзаменов. Итак, как улучшить свои навыки чтения? Ответ на этот вопрос на самом деле представляет собой другой вопрос: какова польза от навыков чтения? Основная цель чтения - «понять смысл».").toDF("text")
val result = pipeline.fit(data).transform(data)

nlu.load('ru.sentence_detector').predict("Ищете отличный источник абзацев для чтения на английском? Вы пришли в нужное место. Согласно недавнему исследованию, привычка к чтению у современной молодежи стремительно сокращается. Они не могут сосредоточиться на данном абзаце для чтения на английском дольше нескольких секунд! Кроме того, чтение было и остается неотъемлемой частью всех конкурсных экзаменов. Итак, как улучшить свои навыки чтения? Ответ на этот вопрос на самом деле представляет собой другой вопрос: какова польза от навыков чтения? Основная цель чтения - «понять смысл».", output_level ='sentence')  

Results

+-----------------------------------------------------------------------------------------------------+
|result                                                                                               |
+-----------------------------------------------------------------------------------------------------+
|[Ищете отличный источник абзацев для чтения на английском?]                                          |
|[Вы пришли в нужное место.]                                                                          |
|[Согласно недавнему исследованию, привычка к чтению у современной молодежи стремительно сокращается.]|
|[Они не могут сосредоточиться на данном абзаце для чтения на английском дольше нескольких секунд!]   |
|[Кроме того, чтение было и остается неотъемлемой частью всех конкурсных экзаменов.]                  |
|[Итак, как улучшить свои навыки чтения?]                                                             |
|[Ответ на этот вопрос на самом деле представляет собой другой вопрос:]                               |
|[какова польза от навыков чтения?]                                                                   |
|[Основная цель чтения - «понять смысл».]                                                             |
+-----------------------------------------------------------------------------------------------------+


Model Information

Model Name: sentence_detector_dl
Compatibility: Spark NLP 3.2.0+
License: Open Source
Edition: Official
Input Labels: [document]
Output Labels: [sentences]
Language: ru

Benchmarking

Accuracy:      0.98
Recall:        1.00
Precision:     0.96
F1:            0.98