লোকাল ট্রেন পরিষেবা চালু করার জন্য দীর্ঘদিন ধরেই সরব হয়েছেন বহু নেতা নেত্রী।
How can I remove the "|" sign from the Bangla Sentence? and then tokenize it?
in this format "নেত্রী" instead of "নেত্রী।"
I am using python language.
Asked
Active
Viewed 31 times
-1
Dharman
- 26,923
- 21
- 73
- 125
NobinPegasus
- 77
- 4
-
Does `str.rstrip` not work? – inspectorG4dget Apr 12 '21 at 15:29
-
1If you need to remove, did you try `.replace('|', '')`? What is the problem you have when tokenizing the string? – Wiktor Stribiżew Apr 12 '21 at 15:29
-
@WiktorStribiżew Thanks it worked! – NobinPegasus Apr 12 '21 at 21:05
1 Answers
0
To remove the ending "।", you can use string .replace() method: sentence.replace('।', '').
To tokenize the sentence, there are many libraries available, you can use any of inltk, indicnlp, stanfordnlp, bnlp. Here's a complete example using bnlp:
from bnlp import NLTKTokenizer
bnltk = NLTKTokenizer()
sentence = "লোকাল ট্রেন পরিষেবা চালু করার জন্য দীর্ঘদিন ধরেই সরব হয়েছেন বহু নেতা নেত্রী।"
sentence = sentence.replace('।', '') // remove ending "।"
word_tokens = bnltk.word_tokenize(sentence)
1-2-3-4
- 637
- 9
- 19