随着互联网的快速发展数据采集与可视化分析在各行业中的应用越来越广泛。特别是在电商领域对于服装类商品的信息爬取与展示具有极大的市场需求。在此背景下开发一款数据采集与可视化分析系统。通过该平台管理员可以爬取小红书的服装信息封装之后展示到自己的系统之中用户则可以查看管理员爬取的服装信息和公告信息。为了更好的使用爬取的服装信息数据系统提供给管理员可视化面板查看功能管理员可以查看爬取的服装信息数量的总数商品最高价直播场次店名等可视化数据方便管理员做相应的决策。总的来说系统后台使用Python语言和Django框架进行系统的开发系统前台页面使用vue-cli技术实现动态网页的展示数据库管理系统使用MySQL存储和管理数据使用scrapy爬虫框架爬取相应的服装信息。在开发过程中注重系统的可扩展性和可维护性保证了系统的稳定性和性能。经过测试系统功能完整符合预定的系统开发目标。系统功能结构图根据以上的功能需求情况整体的功能模块包括有前台vue项目模块后台django后台项目和爬虫项目。前台vue的页面主要页面包括注册与登录页面服装信息详情页公告详情页后台管理主操作页可视化面板等爬虫模块主要用来爬取小红书网站相关数据信息的网页然后提取需要的数据最后通过hadoop保存到mysql中服装信息详情界面用户可以查看管理员爬取的服装详情信息就是图片最高价点名等信息。这是通过服装信息的id查到整个服务信息展示的。