140 lines
7.2 KiB
Python
140 lines
7.2 KiB
Python
import re
|
||
|
||
class TextSplitter:
|
||
def __init__(self, min_length=100, max_length=300):
|
||
"""
|
||
初始化文本分段器
|
||
:param min_length: 目标段落最小长度
|
||
:param max_length: 目标段落最大长度
|
||
"""
|
||
self.min_length = min_length
|
||
self.max_length = max_length
|
||
# 匹配标点符号的正则表达式，作为分段点（中文和英文标点）
|
||
# 这些标点符号通常表示一个完整句子的结束
|
||
self.sentence_ending_punct = re.compile(r'([。？！.!?])')
|
||
|
||
def split_text(self, text):
|
||
"""
|
||
将文本分割成符合长度要求的段落，仅使用标点符号分割
|
||
:param text: 待分割的原始文本
|
||
:return: 分割后的段落列表
|
||
"""
|
||
if not text:
|
||
return []
|
||
|
||
# 自动判断原始文本长度
|
||
original_length = len(text)
|
||
print(f"原始文本长度: {original_length} 字符")
|
||
|
||
# 如果原始文本长度小于最小长度，直接返回
|
||
if original_length <= self.min_length:
|
||
return [text.strip()]
|
||
|
||
# 将文本分割成完整句子（保留标点符号）
|
||
parts = self.sentence_ending_punct.split(text)
|
||
sentences = []
|
||
|
||
# 重组句子，确保标点符号与前面的文本在一起
|
||
for i in range(0, len(parts)-1, 2):
|
||
sentence = (parts[i] + parts[i+1]).strip()
|
||
if sentence: # 跳过空句子
|
||
sentences.append(sentence)
|
||
|
||
# 如果没有找到任何标点符号，将整个文本作为一个段落
|
||
if not sentences:
|
||
return [text.strip()]
|
||
|
||
# 合并句子形成段落，确保在长度范围内
|
||
paragraphs = []
|
||
current_paragraph = ""
|
||
|
||
for sentence in sentences:
|
||
# 尝试添加当前句子
|
||
temp = current_paragraph + (" " if current_paragraph else "") + sentence
|
||
|
||
# 检查添加后是否超出最大长度
|
||
if len(temp) > self.max_length:
|
||
# 如果当前段落不为空，先保存当前段落
|
||
if current_paragraph:
|
||
paragraphs.append(current_paragraph)
|
||
current_paragraph = sentence
|
||
else:
|
||
# 如果单个句子就超过最大长度，也必须接受（避免分割句子）
|
||
paragraphs.append(sentence)
|
||
current_paragraph = ""
|
||
else:
|
||
current_paragraph = temp
|
||
|
||
# 添加最后一个段落
|
||
if current_paragraph:
|
||
paragraphs.append(current_paragraph)
|
||
|
||
# 检查是否有段落短于最小长度，如果有则与下一段合并
|
||
i = 0
|
||
while i < len(paragraphs) - 1:
|
||
if len(paragraphs[i]) < self.min_length:
|
||
# 合并当前段落和下一段落
|
||
paragraphs[i] = paragraphs[i] + " " + paragraphs[i+1]
|
||
del paragraphs[i+1]
|
||
else:
|
||
i += 1
|
||
|
||
print(f"分割后段落数量: {len(paragraphs)}")
|
||
return paragraphs
|
||
|
||
# 使用示例
|
||
if __name__ == "__main__":
|
||
# 示例文本
|
||
sample_text = """
|
||
最近，晓蕾又上热搜了！
|
||
|
||
咋回事呢？原来，她和老公刘剑一起开了直播带货的副业。但特意声明：她早就离开了上海电视台的编制，也不拿电视台的工资。换句话说，现在卖东西，完全是私营业态。
|
||
|
||
这事儿一下子引爆了大家的八卦魂。毕竟，明星主持扎堆直播间，也不算新鲜事。但还是挺多人纳闷：这些当年的 "话筒头牌"，是不是集体选择摆烂了？
|
||
|
||
其实，晓蕾和刘剑干脆落落大方，在直播间直接回应了这点。俩人意思很明确：“我们不是来拉低职业口碑的”。而且还耐心解释了自己转行的理由。
|
||
曾经的大佬，变成了烟火气
|
||
|
||
说到晓蕾，不了解点她背景都不好意思讨论人家。当年上视新闻部的 "当家花旦"，光学历和气质，足够秒杀隔壁主持圈的八条街。而刘剑，早年可是 "台柱子"，播音腔精致到令人耳膜怀孕。照理来说，这样一对，在编制铁饭碗里躺平一辈子没毛病。
|
||
|
||
可人家偏不。
|
||
|
||
晓蕾说过这样一句话：“其实，我就是个普通人。” 真的那么普通吗？她不这么说，没人敢忘了她的标杆履历啊！她离开台里后，居然一头扎进了童语言教育这个赛道，一干就是十年，让机构做到了业内小圈子的爆款水准。
|
||
|
||
而这次直播，打的商品也不混乱，主打性价比和实用属性，晓蕾每件商品还得亲测过。如果你觉得她自吹自擂，建议去看看她直播间的粉丝评论。大家的意思是：晓蕾推品 = 放心买。
|
||
刘剑这枚 “前一哥”，更狠！
|
||
|
||
说晓蕾牛，别忘了，刘剑十年前也上演了一场 “豪赌”。那个年代，辞去电视台稳定工作，和 “打水漂” 差不多。
|
||
|
||
可是刘剑敢把梭全下，为啥？因为他看中了播音考生和辅导课程的市场，那时还没有多少人扎堆干这块，他觉得这是个机会。
|
||
|
||
果然，就这么辞了职，工作的腰板从跟组织吃工资，摇身变成了名副其实的事业单位 —— 自己家老板。虽然后来也是磕磕绊绊，但终究从试验田里掘出了一片肥沃地。
|
||
主持人的 “下海”，是换方向走
|
||
|
||
有人觉得，曾经的新闻人、主持人 “跑去带货”，肯定是混不下去了。你要放在十年前，这种联想不稀奇，可现在不一样了。大环境变了，传统媒体是真的在互联网时代被打败得找不到调。
|
||
|
||
原来电视频道的观众，现在早转移到手机端，看知乎、刷短视频，甚至晚上蹲个带货直播会。你说新闻节目的高冷主播，现在换脸做带货主持，是不是 “落魄”？未必。
|
||
|
||
晓蕾夫妻这一波，实际上是转型很成功的范例。不管带啥网红货，他们俩把品质第一的逻辑摆明白了。这样的主播，不止卖产品，更卖信誉，靠着时间积攒了观众的信任。
|
||
直播间哪门子 LOW？明明是主战场
|
||
|
||
网友说得有趣：“谁嫌直播带货 LOW，谁就输定了。” 道理没跑儿，移动互联网成了咱生活重心，生意也跟着迁移。这是明显趋势，看不懂的还真不想赚钱了。
|
||
|
||
而且，做直播一点不轻松。站几个小时口播、随时照顾弹幕情绪，这比坐着念提词器辛苦多了。像晓蕾和刘剑这样的 “摸鱼资历”，能转过身来赚饭钱，这不是 “混”，是 “拼” 啊。
|
||
|
||
别说传统意义的职业崇拜消失殆尽，你觉得稳如狗的岗位，说散架就散。老一辈金饭碗情结，对于下一代新创别说香，而是种被淘汰跑赢速度内心创新积极点。
|
||
|
||
我不是电视台员工了，早就离职 10 年了。"""
|
||
|
||
# 创建分段器实例，设置目标段落长度范围
|
||
splitter = TextSplitter(min_length=10, max_length=20)
|
||
|
||
# 分割文本
|
||
paragraphs = splitter.split_text(sample_text)
|
||
|
||
# 打印结果
|
||
print("\n分割结果:")
|
||
for i, para in enumerate(paragraphs, 1):
|
||
|
||
print(para)
|
||
|