文本挖掘实战Practical SQL教你用正则表达式分析总统演讲文本【免费下载链接】practical-sqlCode and Data for the First Edition of Practical SQL by Anthony DeBarros, published by No Starch Press (2018).项目地址: https://gitcode.com/gh_mirrors/pr/practical-sql在数据驱动的时代文本挖掘已成为揭示隐藏信息的强大工具。Practical SQL作为一本面向初学者的SQL实战指南通过真实案例展示了如何利用正则表达式和全文搜索技术从非结构化文本中提取有价值的数据。本文将以美国总统一系列演讲文本为例详细介绍如何使用PostgreSQL的正则表达式功能进行文本分析帮助你掌握从文本中挖掘 insights 的实用技能。为什么选择正则表达式进行文本挖掘正则表达式Regular Expression是一种强大的模式匹配工具能够在复杂文本中精准定位特定格式的信息。在处理总统演讲这类非结构化数据时正则表达式展现出三大优势灵活性可自定义匹配规则适应不同格式的文本内容高效性直接在数据库层面处理文本无需导出到外部工具精准性通过捕获组提取关键信息减少人工筛选成本Practical SQL在Chapter_13/Chapter_13.sql中提供了完整的正则表达式应用示例从基础语法到高级技巧循序渐进地引导读者掌握文本挖掘技能。从总统演讲文本中提取关键信息1. 数据准备创建演讲文本表首先需要创建存储演讲数据的表结构。Practical SQL提供了完整的建表语句包含总统姓名、演讲标题、日期和文本内容等字段CREATE TABLE president_speeches ( sotu_id serial PRIMARY KEY, president varchar(100) NOT NULL, title varchar(250) NOT NULL, speech_date date NOT NULL, speech_text text NOT NULL, search_speech_text tsvector );演讲数据来源于Chapter_13/sotu-1946-1977.csv文件包含1946年至1977年间的美国总统演讲记录。2. 基础正则提取日期和时间信息在处理演讲文本时首先需要提取时间信息。Practical SQL展示了如何使用regexp_match()函数匹配日期格式-- 提取演讲日期格式MM/DD/YY SELECT regexp_match(speech_text, \d{1,2}\/\d{1,2}\/\d{2}) AS speech_date FROM president_speeches;通过调整正则表达式模式可以匹配不同格式的时间信息。例如使用-\d{1,2}\/\d{1,2}\/\d{1,2}可以提取带有连字符前缀的日期。3. 高级技巧使用捕获组提取结构化数据正则表达式的强大之处在于能够通过捕获组Capture Group精准提取所需信息。以下示例展示了如何从演讲文本中同时提取案件编号、日期、犯罪类型和城市等信息SELECT regexp_match(speech_text, (?:C0|SO)[0-9]) AS case_number, regexp_match(speech_text, \d{1,2}\/\d{1,2}\/\d{2}) AS date_1, regexp_match(speech_text, \n(?:\w \w|\w)\n(.*):) AS crime_type, regexp_match(speech_text, (?:Sq.|Plz.|Dr.|Ter.|Rd.)\n(\w \w|\w)\n) AS city FROM president_speeches;这里的(...)定义了捕获组(?:...)表示非捕获组用于分组但不返回结果使表达式更加简洁高效。正则表达式与全文搜索的结合应用Practical SQL不仅介绍了正则表达式还展示了如何将其与PostgreSQL的全文搜索功能结合使用实现更强大的文本分析1. 创建全文搜索向量将演讲文本转换为全文搜索向量提高搜索效率UPDATE president_speeches SET search_speech_text to_tsvector(english, speech_text);2. 创建GIN索引加速搜索为搜索向量创建GIN索引显著提升查询性能CREATE INDEX search_idx ON president_speeches USING gin(search_speech_text);3. 高级搜索查找特定主题的演讲结合正则表达式和全文搜索可以快速定位讨论特定主题的演讲。例如查找包含Vietnam越南的演讲SELECT president, speech_date FROM president_speeches WHERE search_speech_text to_tsquery(Vietnam) ORDER BY speech_date;还可以使用ts_headline()函数突出显示匹配内容便于快速浏览关键信息SELECT president, speech_date, ts_headline(speech_text, to_tsquery(Vietnam), StartSel , StopSel , MinWords5, MaxWords7) FROM president_speeches WHERE search_speech_text to_tsquery(Vietnam);实用正则表达式函数速查表Practical SQL在Chapter_13/Chapter_13.sql中详细介绍了PostgreSQL常用的正则表达式函数以下是关键函数汇总函数名功能描述示例regexp_match()返回第一个匹配结果regexp_match(text, \d{4})regexp_matches()返回所有匹配结果需加g标志regexp_matches(text, \d{4}, g)regexp_replace()替换匹配的文本regexp_replace(text, 2018, 2019)regexp_split_to_table()将文本按匹配规则拆分为多行regexp_split_to_table(text, ,)regexp_split_to_array()将文本按匹配规则拆分为数组regexp_split_to_array(text, )实战练习分析演讲中的关键词频率作为实践你可以尝试使用正则表达式分析总统演讲中特定关键词的出现频率。例如统计freedom自由和democracy民主在不同总统演讲中的出现次数SELECT president, COUNT(regexp_matches(speech_text, freedom, gi)) AS freedom_count, COUNT(regexp_matches(speech_text, democracy, gi)) AS democracy_count FROM president_speeches GROUP BY president ORDER BY freedom_count DESC;这个练习将帮助你理解如何将正则表达式与SQL聚合函数结合从文本数据中提取有意义的统计信息。总结文本挖掘的价值与扩展通过Practical SQL的Chapter_13章节学习我们掌握了使用正则表达式进行文本挖掘的核心技能。这些技术不仅适用于总统演讲分析还可广泛应用于客户评论情感分析社交媒体内容监控法律文档关键信息提取新闻文章主题分类随着数据量的爆炸式增长文本挖掘能力将成为数据分析人员的重要技能。Practical SQL通过实战案例为初学者提供了一条快速掌握文本挖掘技术的路径。无论是处理总统演讲还是其他文本数据正则表达式都将是你工具箱中不可或缺的强大工具。要开始你的文本挖掘之旅只需克隆Practical SQL项目仓库git clone https://gitcode.com/gh_mirrors/pr/practical-sql然后参考Chapter_13中的示例代码开始你的文本挖掘实践吧【免费下载链接】practical-sqlCode and Data for the First Edition of Practical SQL by Anthony DeBarros, published by No Starch Press (2018).项目地址: https://gitcode.com/gh_mirrors/pr/practical-sql创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考