自动控制 发表于 2023-1-20 15:23:26

自动读取数据分析,生成数据分析报告

      首先我们用来分析数据的工具仅仅是一个浏览器,也许你觉得愕然,觉得不可思议。但我们真的做到了,而且是一个通用的数据分析工具。不管你是库存数据、销售数据、金融数据还是行政统计都可以快速分析数据,并生成数据分析报告。如下图所示,只需点击书签就能启动数据分析,报告内容以网页的形式显示在浏览器页面。      

      分析数据之前,需要获得数据。而木头浏览器支持多种数据获取方式,甚至可以同时从多个不同的数据源获取数据,这样适用范围更广泛。
      使用浏览器可以从网页抓取数据,这样可以获得实时数据,比如抓取实时订单。从网页抓取数据时 ,在浏览器项目管理器中,添加抓取内容步骤,定位需要抓取的html元素,并获取元素的属性值,保存到浏览器变量中。


      除了从网页抓取数据外,浏览器还支持直接向服务器发送数据请求,一般使用Post或Get请求,同时可以设置Http请求头数据,如果获取需要登录验证的数据,可以把Cookie添加到Http请求头部数据中。得到服务器的返回数据后,保存到浏览器的变量。


      如果数据来自Excel文档,则在浏览器的项目管理中添加自定义变量步骤,设置Excel文档路径和字段名,项目在执行时就会自动读取Excel文档。获取数据后保存为浏览器变量,以供后续步骤分析调用。


      如果数据保存在txt文档,或者以json、xml格式保存的数据,也可以在处定义变量步骤中读取。可以选择每次读取一行或者直接读取整个文件内容,获得内容后保存为浏览器变量。


      如果从第三方系统获取数据,可以直接访问它的数据库,通过执行数据库查询SQL语句获取数据表,数据表内容自动转换为JSON格式保存为浏览器变量。支持Sqlserver、Mysql、Sqlite、Access等常见关系数据库。

      不管通过什么途径获得数据,都可能会有意外情况发生,比如:文件被删除找不到数据文件,或者数据库连接失败等情况。浏览器无法获取完整的数据,就无法执行后续分析数据步骤,或者分析后得到不完整的结果。为避免这种错误的发生,需要检查获取的数据是否完整。
      获取到的数据保存在浏览器变量中,可以在JS脚本代码中直接引用,通过JS判断数据是否存在。

      添加一个监控变量的步骤,当判断获取数据完整时,执行Yes节点分支,对数据做下一步分析。当未能获取完整数据时,执行No节点,终止数据分析,并在弹出窗口中给出错误提示。

      实际上数据分析过程是通过JavaScript或JQuery来实现的,浏览器在执行脚本前,会把浏览器变量替换为它的值。由于脚本编程的灵活性,可以完成各种复杂的数据处理,并把最终结果嵌入HTML代码。


      因为使用的浏览器,可以把html代码直接嵌入网页显示,这样就可以在浏览器上直接查看数据分析报告了。就像本文开头一样生成数据分析报告,甚至可以用脚本调用相关组件,在网页上生成各种统计图表。生成报告的格式,完全由脚本代码控制。


      以上所有配置,包括JavaScript脚本代码,都可以保存为项目文件。下次使用时,只要运行这个项目文件即可。也可以添加多个项目,以不同的角度分析数据,得到多份数据分析报告。分析报告可自动保存为Html、Txt或Excel文档格式,甚至可以把结果重新写入数据库,只需要构建相应的SQL语句执行。
      对于某些周期性数据分析,比如每天18点生成当天的生产数据报告,可以在项目第一个步骤前插入一个定时控制步骤,设置每天18点自动生成报告,还可以把报告内容通过邮件发送公司经理。也可以调用webapi,实现微信或钉钉app定时接收数据分析报告。


页: [1]
查看完整版本: 自动读取数据分析,生成数据分析报告