GLM-4-9B-Chat-1M长文本理解能力测试：红楼梦全文分析

1. 开场白：当AI遇上古典名著

最近测试了一个挺有意思的大模型——GLM-4-9B-Chat-1M，这个名字听起来有点复杂，但它的能力确实让人眼前一亮。最吸引我的是它号称能处理100万tokens的超长文本，换算成中文大概就是200万字左右。

这让我突然想到个点子：用它来读《红楼梦》会怎么样？要知道，《红楼梦》全书大约73万字，里面人物关系错综复杂，情节线索千丝万缕，正好可以考验一下这个模型的长文本理解能力。

于是我花了几天时间，把整部《红楼梦》喂给模型，看看它到底能理解到什么程度。结果还挺让人惊喜的，下面就跟大家分享一下我的测试过程和发现。

2. 测试准备：怎么让AI读完整本红楼梦

2.1 模型选择和环境搭建

GLM-4-9B-Chat-1M是智谱AI推出的开源模型，支持超长上下文处理。我选择它主要是因为：

• 支持1M tokens上下文长度（约200万中文字符）
• 90亿参数规模，在性能和资源消耗间取得平衡
• 开源可用，可以本地部署

部署过程比想象中简单，主要用到了transformers库：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "THUDM/glm-4-9b-chat-1m"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

2.2 数据处理技巧

把整本《红楼梦》输入模型需要一些技巧：

# 读取红楼梦全文
with open("hongloumeng.txt", "r", encoding="utf-8") as f:
    full_text = f.read()

# 模型输入格式
prompt = f"""请分析《红楼梦》的以下内容：
{full_text}

请回答以下问题：
1. 主要人物关系梳理
2. 核心情节概括
3. 主题思想分析"""

3. 人物关系分析：AI眼中的红楼众生相

3.1 主要人物图谱

模型首先梳理了四大家族的主要人物关系，绘制出了一个相当清晰的关系网。它准确识别出：

• 贾家：贾母、贾政、贾宝玉、王熙凤等核心人物
• 林家：林黛玉及其父母关系
• 薛家：薛宝钗、薛姨妈等
• 王家：王夫人、王熙凤的关联

特别让我惊讶的是，模型不仅列出了人物关系，还指出了其中微妙的情感纽带。比如它提到贾宝玉与林黛玉的"木石前盟"，与薛宝钗的"金玉良缘"，这种深层的象征关系很多读者第一次读都可能忽略。

3.2 关系动态变化

模型还注意到了人物关系随着情节发展而变化的过程。比如王熙凤从掌权到失势的过程，贾宝玉从受宠到出家的转变，这些动态关系都被准确捕捉。

它甚至指出了一些容易被忽略的次要人物关系，比如贾芸和小红的情感线索，这种细节处理能力确实令人印象深刻。

4. 情节理解：AI如何把握故事脉络

4.1 核心情节提取

模型将120回的《红楼梦》梳理出了几个核心故事线：

• 宝黛爱情主线：从相识、相知到悲剧结局
• 家族兴衰线：贾府从繁华到没落的过程
• 社会百态线：通过大观园展现的清代社会图景

每一条线都概括得相当准确，没有出现情节混淆或时间线错乱的问题。

4.2 关键事件分析

我特意测试了模型对几个关键事件的理解：

元妃省亲：模型准确指出这是贾府权势的顶峰，也是衰落的开始 宝玉挨打：理解这是父子价值观冲突的集中体现 抄检大观园：认识到这是贾府内部矛盾的总爆发

最让我意外的是，模型还能指出这些事件之间的因果关系，比如元妃省亲的奢华花费如何加剧了贾府的经济危机。

5. 主题深度分析：AI的文学洞察力

5.1 主要主题识别

模型从文本中提炼出了几个核心主题：

• 爱情悲剧：宝黛爱情的宿命感和无奈感
• 家族衰亡：封建大家族不可避免的没落命运
• 人生虚幻："好了歌"和"太虚幻境"体现的虚无思想
• 女性命运：大观园中众多女性的悲剧命运

5.2 象征意义理解

在象征意义方面，模型的表现超出预期：

"通灵宝玉"：理解为宝玉性格和命运的象征 "大观园"：看出这是理想世界与现实世界的交界 "诗词歌赋"：认识到这些不仅是文学装饰，更是人物性格和命运的表达

模型甚至注意到了"冷香丸"、"金锁"等细节物品的象征意义，这种深度的文本理解确实难得。

6. 长文本处理能力验证

6.1 上下文保持测试

为了验证模型是否真的读懂了全文，我设计了一些测试问题：

test_questions = [
    "贾宝玉梦游太虚幻境是在第几回？",
    "林黛玉的《葬花吟》表达了她怎样的心情？",
    "王熙凤是如何管理宁国府的？"
]

模型全部回答正确，而且答案都基于全文上下文，不是孤立的片段信息。

6.2 细节回忆能力

我随机挑选了一些细节进行测试：

• 刘姥姥三进大观园的不同情景
• 各次诗社活动的具体内容
• 不同人物的服饰描写

模型都能准确回忆并分析，说明它确实处理了全文信息，而不是只抓取了关键片段。

7. 实际应用价值

7.1 文学研究辅助

这种长文本理解能力在文学研究领域很有价值：

• 快速梳理长篇文学作品的人物关系
• 自动提取情节发展和主题脉络
• 辅助进行文本分析和比较研究

7.2 教育应用场景

在教学领域也很有用：

• 帮助学生理解复杂文学作品
• 自动生成学习指南和复习材料
• 提供个性化的文学分析辅助

8. 测试总结

通过这次《红楼梦》全文分析测试，我对GLM-4-9B-Chat-1M的长文本处理能力有了直观的认识。整体来说，它的表现相当出色，不仅能够处理超长文本，还能进行深度的理解和分析。

模型在人物关系梳理、情节把握、主题分析等方面都展现出了令人惊喜的能力。特别是对一些深层象征和细节的理解，甚至超过了一些人类读者的水平。

当然也有一些小局限，比如对某些诗词的解读还不够深入，对一些文化背景的理解还有提升空间。但考虑到这是完全自动化的分析，已经很难得了。

这种长文本处理能力为很多实际应用打开了可能性，无论是学术研究、教育辅助，还是内容分析，都有很大的应用潜力。如果你也需要处理长文本任务，这个模型值得一试。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。