้ถไพ่ณดใ็ด่ฆๅ็ไธญๆๆจ้ป็ฌฆ่่ชๅๆขๅพฉๅทฅๅ ท
ๅฐ็บ ASR๏ผ่ช้ณ่พจ่ญ๏ผ่ผธๅบ่จญ่จ๏ผๅฐ็กๆจ้ป็ไธญๆๆๆฌ่ฝๆ็บๆๆจ้ป็ๅฏ่ฎๆๆฌใ
from biaodian import add_punctuation
text = "ๆ่ทไฝ ่ชชๅ้ๅๆฑ่ฅฟ็็ๅพๅฒๅฎณไฝ ไธไฟก็่ฉฑไฝ ่ชๅทฑ่ฉฆ่ฉฆ็"
result = add_punctuation(text)
# ่ผธๅบ: "ๆ่ทไฝ ่ชชๅ๏ผ้ๅๆฑ่ฅฟ็็ๅพๅฒๅฎณ๏ผไฝ ไธไฟก็่ฉฑ๏ผไฝ ่ชๅทฑ่ฉฆ่ฉฆ็ใ"| ๆทฑๅบฆๅญธ็ฟๆนๆก | Biaodian | |
|---|---|---|
| ไพ่ณด | PyTorch/TensorFlow | ๅช้ re (Python ๅ
งๅปบ) |
| ๆจกๅๅคงๅฐ | 200MB ~ 2GB | 5KB |
| ้ๅบฆ | ้่ฆ GPU ๆจ็ | ๅณๆ่็ |
| ๅฏ่งฃ้ๆง | ้ป็ๆจกๅ | ๆฏๆข่ฆๅ้ฝ็ๅพๆ |
| ๅฏ่ชฟๆด | ้่ฆ้ๆฐ่จ็ทด | ๆน่ฉ่กจๅณๅฏ |
| ้ข็ทไฝฟ็จ | ้่ฆไธ่ผๆจกๅ | ้็ฎฑๅณ็จ |
| ้ ็ฎ | ๆนๅผ | ๅ้ก |
|---|---|---|
| FunASR ct-punc | Transformer | ้่ฆ 500MB+ ๆจกๅ |
| punctuator | RNN + Attention | ่ฑๆ็บไธป |
| BERT-CNN-RNN | BERT | ้่ฆ GPU |
Biaodian ๆฏ็ฎๅๅฏไธ็็ด่ฆๅไธญๆๆจ้ปๆขๅพฉๆนๆกใ
pip install biaodianๆ็ดๆฅ่ค่ฃฝ biaodian.py ๅฐไฝ ็ๅฐๆกใ
from biaodian import add_punctuation, add_punctuation_batch
# ๅฎๅฅ่็
result = add_punctuation("ๆ่ทไฝ ่ชชๅ้ๅๆฑ่ฅฟ็็ๅพๅฒๅฎณ")
# "ๆ่ทไฝ ่ชชๅ๏ผ้ๅๆฑ่ฅฟ็็ๅพๅฒๅฎณใ"
# ๆน้่็
results = add_punctuation_batch([
"้ๅๅทฅๅ
ทๅฎๅ
จๅ
่ฒป",
"ไฝ ็้ๆจฃๆฏไธๆฏๆฏ่ผๅฅฝ"
])
# ็ๅๅฅ่ชๅ่ญๅฅ
result = add_punctuation("ไฝ ็ฅ้้ๆฏไป้บผๅ")
# "ไฝ ็ฅ้้ๆฏไป้บผๅ๏ผ"# ็ดๆฅ่็
python -m biaodian "ๆ่ทไฝ ่ชชๅ้ๅๆฑ่ฅฟ็็ๅพๅฒๅฎณ"
# ไบๅๆจกๅผ
python -m biaodianfrom biaodian import add_particle, add_sentence_starter, add_question_word
# ๆทปๅ ่ชๆฐฃ่ฉ๏ผๅพ้ขๆๅ ้่๏ผ
add_particle("่ถ")
# ๆทปๅ ้ฃๆฅ่ฉ๏ผๅ้ขๆๅ ้่๏ผ
add_sentence_starter("็ตๆ")
# ๆทปๅ ็ๅ่ฉ๏ผๅฅๅญๆ่ฎๅๅฅ๏ผ
add_question_word("้ฃ้")Biaodian ไฝฟ็จๅ็จฎ่ฆๅ้กๅ๏ผ
ๅใๅฆใๅใๅใๅใๅใๅฏใๅ...
็ถๅพใไฝๆฏใๆไปฅใ้็ถใๅ
ถๅฏฆใ้ฆๅ
ใๅฆๅค...
ๆๅฐฑใไฝ ไนใไปๆใๅฅน้ฝ...๏ผไธป่ฉ+ๅฏ่ฉ็ตๅ๏ผ
็ถ...็ๆๅ โ ๅพ้ขๅ ้่
ๅฆๆ...็่ฉฑ โ ๅพ้ขๅ ้่
ๆฏ็ถใๆฏๆฌกใๆฏๅ โ ๅ้ขๅ ้่
ๅซ็ๅ่ฉ๏ผไป้บผใๆ้บผใ็บไป้บผ...๏ผโ ๅ ๅ่
ๅ
ถไป โ ๅ ๅฅ่
ๅฎๆด่ฆๅๆๆช๏ผRULES.md
| ่ผธๅ ฅ | ่ผธๅบ |
|---|---|
| ๆ่ทไฝ ่ชชๅ้ๅๆฑ่ฅฟ็็ๅพๅฒๅฎณ | ๆ่ทไฝ ่ชชๅ๏ผ้ๅๆฑ่ฅฟ็็ๅพๅฒๅฎณใ |
| ้ๅๅทฅๅ ทๅฎๅ จๅ ่ฒปไฝๆฏๆๆฏๅคฉไธ่ฌๅญ็้กๅบฆ | ้ๅๅทฅๅ ทๅฎๅ จๅ ่ฒป๏ผไฝๆฏๆๆฏๅคฉไธ่ฌๅญ็้กๅบฆใ |
| ไฝ ็้ๆจฃๆฏไธๆฏๆฏ่ผๅฅฝๅฆๆไธ่ก็่ฉฑๆๅๅๆน | ไฝ ็้ๆจฃๆฏไธๆฏๆฏ่ผๅฅฝ๏ผๅฆๆไธ่ก็่ฉฑ๏ผๆๅๅๆน๏ผ |
| ๆฏ็ถๆๆณ่ตทไฝ ็ๆๅๅฟ่ฃกๅฐฑๆ้ฃ้ | ๆฏ็ถๆๆณ่ตทไฝ ็ๆๅ๏ผๅฟ่ฃกๅฐฑๆ้ฃ้ใ |
- ่ฆๅๅผๆจ้ปๆขๅพฉ
- ็น็ฐก้ซไธญๆๆฏๆด
- Python API
- ๅฝไปคๅๅทฅๅ ท
- Web ไป้ข๏ผๅณๆๆธฌ่ฉฆๆจ้ปๆๆ
- ่ฆๅ็ทจ่ผฏๅจ๏ผ่ฆ่ฆบๅๆทปๅ /ไฟฎๆน่ฆๅ
- ็ตฑ่จ้ขๆฟ๏ผ้กฏ็คบๅ่ฆๅ็่งธ็ผ้ ป็
- ๅฐ่ชช็ฌ่ฒ๏ผ่ชๅ็ฌๅๅฐ่ชช็ถฒ็ซ
- ๆจกๅผๆๅ๏ผ็ตฑ่จใ่ฉ+ๆจ้ปใๅบ็พ้ ป็
- ไบบๅทฅๅฏฉๆ ธ๏ผๅ้ธ่ฆๅๅฏฉๆ ธไป้ข
- ่ชๅๆดๆฐ๏ผ้้ๅฏฉๆ ธ็่ฆๅ่ชๅๅ ๅ ฅ่ฉ่กจ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๆจ้ป่ฆๅ่จ็ทด็ณป็ตฑ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ็ฌ่ฒๆจก็ต Web ไป้ข ่ฆๅๅผๆ โ
โ โโโโโโโโโโโโโ โโโโโโโโโโโโโ โโโโโโโโโโโโโ โ
โ โ ๅฐ่ชช็ถฒ็ซ โโโโโถโ ๆจ่จปไป้ข โโโโโโถโ biaodian โ โ
โ โ ่ตท้ป/ๆๆฑ โ โ ๅฏฉๆ ธ่ฆๅ โ โ .py โ โ
โ โ ... โ โ ็ตฑ่จๅๆ โ โ โ โ
โ โโโโโโโโโโโโโ โโโโโโโโโโโโโ โโโโโโโโโโโโโ โ
โ โ
โ ๆต็จ๏ผ โ
โ ็ฌๅฐ่ชช โ ๆๅใ่ฉ+ๆจ้ปใๆจกๅผ โ ไบบๅทฅๅฏฉๆ ธ โ ๅ ๅ
ฅ่ฆๅ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
- ๅผ่้ ๅฐ๏ผ่ญๅฅๅฐ่ฉฑ๏ผ่ชๅๅ ๅผ่
- ้ ่่็๏ผๅ่้ ็ฎ้็จ้ ่
- ๅ่่็๏ผไธฆๅ้ทๅฅ็จๅ่
- ่ช่จ่ฆๅๆช๏ผๆฏๆด JSON/YAML ๆ ผๅผ่ผๅ ฅ
- ่ช้ณ่พจ่ญๅพ่็๏ผASR ่ผธๅบ้ๅธธๆฒๆๆจ้ป
- ๅญๅน็ๆ๏ผ่ชๅ็บๅญๅนๆทปๅ ๆจ้ป
- ๆๆฌๆธ ็๏ผ่็ๆฒๆๆจ้ป็่ๆๆช
- ่ผธๅ ฅๆณๅชๅ๏ผ่ช้ณ่ผธๅ ฅๅพ่ชๅๅ ๆจ้ป
| ๅฐๆก | ่ชชๆ |
|---|---|
| Sherpa_ASR | ้ข็ทไธญๆ่ช้ณ่พจ่ญๆๅๅจ๏ผๅ งๅปบ punctuation.py |
| ClaudeBot | Telegram AI ๆๆฎไธญๅฟ๏ผ่ช้ณ่พจ่ญๅพ่็็จ biaodian ๅ ๆจ้ป |
- GB/T 15834-2011 ๆจ้ป็ฌฆ่็จๆณ - ไธญๅๅๅฎถๆจๆบ
- W3C CLREQ ไธญๆๆ็้ๆฑ - ๆจ้ป็ฌฆ่็ซ ็ฏ
- ๆ่ฒ้จ้่จๆจ้ป็ฌฆ่ๆๅ - ๅฐ็ฃๆจๆบ
ๆญก่ฟ่ฒข็ปๆฐ็ๆจ้ป่ฆๅ๏ผ
- Fork ้ๅๅฐๆก
- ๅจ
biaodian.py็ๅฐๆ่ฉ่กจไธญๆทปๅ ๆฐ่ฉ - ๅจ
tests/ไธญๆทปๅ ๆธฌ่ฉฆ็จไพ - ๆไบค Pull Request
MIT License
ๆจ้ป - ่ฎๆๅญๅผๅธใ