Sentence Detection in Malayalam Text

Description

SentenceDetectorDL (SDDL) is based on a general-purpose neural network model for sentence boundary detection. The task of sentence boundary detection is to identify sentences within a text. Many natural language processing tasks take a sentence as an input unit, such as part-of-speech tagging, dependency parsing, named entity recognition or machine translation.

Open in Colab Download Copy S3 URI

How to use

documenter = DocumentAssembler()\
    .setInputCol("text")\
    .setOutputCol("document")
    
sentencerDL = SentenceDetectorDLModel\
  .pretrained("sentence_detector_dl", "ml") \
  .setInputCols(["document"]) \
  .setOutputCol("sentences")

sd_model = LightPipeline(PipelineModel(stages=[documenter, sentencerDL]))

sd_model.fullAnnotate("""ഇംഗ്ലീഷ് വായിക്കുന്ന ഖണ്ഡികകളുടെ മികച്ച ഉറവിടം തേടുകയാണോ? നിങ്ങൾ ശരിയായ സ്ഥലത്ത് എത്തിയിരിക്കുന്നു. അടുത്തിടെ നടത്തിയ ഒരു പഠനമനുസരിച്ച്, ഇന്നത്തെ യുവാക്കളിൽ വായനാശീലം അതിവേഗം കുറഞ്ഞുവരികയാണ്. ഒരു നിശ്ചിത സെക്കൻഡിൽ കൂടുതൽ ഒരു ഇംഗ്ലീഷ് വായന ഖണ്ഡികയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ അവർക്ക് കഴിയില്ല! കൂടാതെ, വായന എല്ലാ മത്സര പരീക്ഷകളുടെയും അവിഭാജ്യ ഘടകമായിരുന്നു. അതിനാൽ, നിങ്ങളുടെ വായനാ കഴിവുകൾ എങ്ങനെ മെച്ചപ്പെടുത്താം? ഈ ചോദ്യത്തിനുള്ള ഉത്തരം യഥാർത്ഥത്തിൽ മറ്റൊരു ചോദ്യമാണ്: വായനാ വൈദഗ്ധ്യത്തിന്റെ ഉപയോഗം എന്താണ്? വായനയുടെ പ്രധാന ലക്ഷ്യം 'അർത്ഥവത്താക്കുക' എന്നതാണ്.""")

val documenter = DocumentAssembler()
    .setInputCol("text")
    .setOutputCol("document")

val model = SentenceDetectorDLModel.pretrained("sentence_detector_dl", "ml")
	.setInputCols(Array("document"))
	.setOutputCol("sentence")

val pipeline = new Pipeline().setStages(Array(documenter, model))

val data = Seq("ഇംഗ്ലീഷ് വായിക്കുന്ന ഖണ്ഡികകളുടെ മികച്ച ഉറവിടം തേടുകയാണോ? നിങ്ങൾ ശരിയായ സ്ഥലത്ത് എത്തിയിരിക്കുന്നു. അടുത്തിടെ നടത്തിയ ഒരു പഠനമനുസരിച്ച്, ഇന്നത്തെ യുവാക്കളിൽ വായനാശീലം അതിവേഗം കുറഞ്ഞുവരികയാണ്. ഒരു നിശ്ചിത സെക്കൻഡിൽ കൂടുതൽ ഒരു ഇംഗ്ലീഷ് വായന ഖണ്ഡികയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ അവർക്ക് കഴിയില്ല! കൂടാതെ, വായന എല്ലാ മത്സര പരീക്ഷകളുടെയും അവിഭാജ്യ ഘടകമായിരുന്നു. അതിനാൽ, നിങ്ങളുടെ വായനാ കഴിവുകൾ എങ്ങനെ മെച്ചപ്പെടുത്താം? ഈ ചോദ്യത്തിനുള്ള ഉത്തരം യഥാർത്ഥത്തിൽ മറ്റൊരു ചോദ്യമാണ്: വായനാ വൈദഗ്ധ്യത്തിന്റെ ഉപയോഗം എന്താണ്? വായനയുടെ പ്രധാന ലക്ഷ്യം 'അർത്ഥവത്താക്കുക' എന്നതാണ്.").toDF("text")

val result = pipeline.fit(data).transform(data)

import nlu

nlu.load('ml.sentence_detector').predict("ഇംഗ്ലീഷ് വായിക്കുന്ന ഖണ്ഡികകളുടെ മികച്ച ഉറവിടം തേടുകയാണോ? നിങ്ങൾ ശരിയായ സ്ഥലത്ത് എത്തിയിരിക്കുന്നു. അടുത്തിടെ നടത്തിയ ഒരു പഠനമനുസരിച്ച്, ഇന്നത്തെ യുവാക്കളിൽ വായനാശീലം അതിവേഗം കുറഞ്ഞുവരികയാണ്. ഒരു നിശ്ചിത സെക്കൻഡിൽ കൂടുതൽ ഒരു ഇംഗ്ലീഷ് വായന ഖണ്ഡികയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ അവർക്ക് കഴിയില്ല! കൂടാതെ, വായന എല്ലാ മത്സര പരീക്ഷകളുടെയും അവിഭാജ്യ ഘടകമായിരുന്നു. അതിനാൽ, നിങ്ങളുടെ വായനാ കഴിവുകൾ എങ്ങനെ മെച്ചപ്പെടുത്താം? ഈ ചോദ്യത്തിനുള്ള ഉത്തരം യഥാർത്ഥത്തിൽ മറ്റൊരു ചോദ്യമാണ്: വായനാ വൈദഗ്ധ്യത്തിന്റെ ഉപയോഗം എന്താണ്? വായനയുടെ പ്രധാന ലക്ഷ്യം 'അർത്ഥവത്താക്കുക' എന്നതാണ്.", output_level ='sentence')  

Results

+----------------------------------------------------------------------------------------------------+
|result                                                                                              |
+----------------------------------------------------------------------------------------------------+
|[ഇംഗ്ലീഷ് വായിക്കുന്ന ഖണ്ഡികകളുടെ മികച്ച ഉറവിടം തേടുകയാണോ?]                                         |
|[നിങ്ങൾ ശരിയായ സ്ഥലത്ത് എത്തിയിരിക്കുന്നു.]                                                         |
|[അടുത്തിടെ നടത്തിയ ഒരു പഠനമനുസരിച്ച്, ഇന്നത്തെ യുവാക്കളിൽ വായനാശീലം അതിവേഗം കുറഞ്ഞുവരികയാണ്.]       |
|[ഒരു നിശ്ചിത സെക്കൻഡിൽ കൂടുതൽ ഒരു ഇംഗ്ലീഷ് വായന ഖണ്ഡികയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ അവർക്ക് കഴിയില്ല!]|
|[കൂടാതെ, വായന എല്ലാ മത്സര പരീക്ഷകളുടെയും അവിഭാജ്യ ഘടകമായിരുന്നു.]                                   |
|[അതിനാൽ, നിങ്ങളുടെ വായനാ കഴിവുകൾ എങ്ങനെ മെച്ചപ്പെടുത്താം?]                                          |
|[ഈ ചോദ്യത്തിനുള്ള ഉത്തരം യഥാർത്ഥത്തിൽ മറ്റൊരു ചോദ്യമാണ്:]                                           |
|[വായനാ വൈദഗ്ധ്യത്തിന്റെ ഉപയോഗം എന്താണ്?]                                                            |
|[വായനയുടെ പ്രധാന ലക്ഷ്യം 'അർത്ഥവത്താക്കുക' എന്നതാണ്.]                                               |
+----------------------------------------------------------------------------------------------------+


Model Information

Model Name: sentence_detector_dl
Compatibility: Spark NLP 3.2.0+
License: Open Source
Edition: Official
Input Labels: [document]
Output Labels: [sentences]
Language: ml

Benchmarking

label  Accuracy  Recall   Prec   F1  
0      0.98      1.00     0.96   0.98