一个COVID-19数据网站CoronaTracker网络上提供新冠病毒数据的网站非常多，霍普金斯大学的、谷歌的、头条、百度，各种各样的，今天给大家介绍这个CoronaTracker是个开源数据：界面很简洁，但是主要的元素都有，数据摘要、地图、趋势图、条形图、数据表。我们在做数据仪表的时候就可以参考这些网站的图表风格及布局。相比霍普金斯或者谷歌的看起来没那么精致、高端大气，但是数据内容足够。如果我们点选国家会进入国家的界面：除了提供数据，还有最近的相关新闻。我们今天要仿制的不是数据地图，是这个带有国旗图标的数据表：前几天写的那个股票数据抓取，网友评论说过程太简略，这个数据获取相对简单，但关于网站分析、数据抓取的过程基本是一致的，今天就详细的记录一下过程：网站分析我们要用到谷歌浏览器来做网站分析，网页上右键->检查，或者直接快捷键F12：打开检查页面：F12直接打开的是network，根据提示按CTRL+R就能重新加载网页，network中就会显示出网页加载过程中产生的数据：在这个页面中all标签下会显示全部数据，包括图片、js、css、以及数据，一般情况下我们在XHR中就会找到我们想要的数据，怎么来查看呢？我们随意点选一行：在右侧会显示出这个页面的详细信息，我们先看预览（preview），预览中显示的是格式数据，像上图这样的就是一份json数据，应该是100行的趋势数据。我们点开就能看到三个数据以及数据更新时间。这个数据不是我们想要的，我们要各个国家的数据，我们点开topCountry：果然这个数据就是全部国家和地区的最新数据。接下来我们打开Headers标签：然后认真查看这个页面的信息，通常情况这个Headers有4个部分：GeneralResponse HeadersRequest HeadersQuery String Parameters 或 Data Form比较重要的是1、3、4项，我们今天这个Headers只有3项，说明比较简单，不需要传递查询条件，如果到了具体国家的页面就有查询条件，像下图：这样的查询也不一定就复杂，这个查询的字符串也可能直接在url中就传递过去了，不需要通过Content传递，通常情况下GET方法的直接url传递就可以，但也有的需要url与Content同时传递；POST方式的基本都需要Content或者Query来传递，有的时候需要Content与Query同时传递。回到我们的主题，我们在Headers中要找的第一重要的信息就是Request URL，很多时候这个Request URL与浏览器地址栏中的URL是不同的，这就是很多朋友直接使用地址栏中的URL抓取不到数据的主要原因：我们只有通过这个Request URL才能抓取到有用的数据，这个Request URL就是我们常说的真实网址。然后是Request Method，这个网站是GET方法，如果是POST方法，我们还要去看Request Headers中的更多的参数，这里不做介绍了。我们查看了数据，数据之中并没有国家图标的信息，我们需要找出图标的存放位置的规律：打开all标签：找到很多svg的图标文件，查看这些文件的Request URL：看起来就是用国家代码命名的图标。确定了是使用GET方法，并且找到图标存放位置，我们就可以开始尝试数据抓取了，先复制Request URL。抓取我们打开Excel或者Power BI Desktop软件，然后找到从网站获取数据：Excel中是这样的：我们为了仿制带图标的数据表，需要用Power BI Desktop，后面的都用Power BI Desktop来演示：然后：确定之后自动转到Power Query编辑器：数据自动抓取并解析出来，如果是在Excel中就需要自己手动展开：看起来Power BI Desktop中的Power Query要比Excel中的更加智能一些。我们要添加一列图标的网址，自定义列：这样我们就做好了图标的URL：加载数据。数据表加载数据后我们要做一个动作，在表格视图下，修改图标列的数据类型为图片URL：然后就可以制作了，单行表直接拖放字段就可以了，然后调整一下图片高度：
本文出自快速备案，转载时请注明出处及相应链接。
