Csv介绍在记事本中直接编辑保存csv文件其中不同的列用逗号分隔并且编码方式要用ANSI就是与系统相同因为这里我们中文编码都是用GBK格式用utf-8保存后再用excel打开会乱码Csv操作原始方式一写若是多加一个爱好则显示会多一列因为这里分隔符就是逗号所以会多开一列只需要加个引号括起来即可读方式二最推荐的方式csv操作可以用字典的方式去赋值操作会发现中间都多了一行这是由于open写的时候会换行和writerow重复了只需要把属性newline设置为空即可读可以利用字典的键去读特定的数据案例思路分析解析response可以看到点击进去详情都是在主页面的基础上加上这些网站后缀名进入目标网页因此可以将主页面设置为一个url后续的url都依靠拼接来获得先进行整个案例的框架搭建发送请求转换格式解析数据其中一个div对应一个模块遍历列表获得网址后要再次请求数据并将所有数据保存到空列表中保存到csv文件中整个框架测试发送请求函数成功返回结果接下来加入需要的内容并测试与网页内容显示一致封装成字典并返回因为前面所学字典是符合csv的保存格式的便于转换保存为csv文件功能实现运行结果但这里只是前20个想要全部的数据还需要点击最下面的载入更多本质上还是翻页操作完善程序无法访问全部数据解析响应内容打开载入更多发现返回items使用的是POST请求查看其内容在payload中查看请求内容发现与第一页的url不同而剩下的url都统一使用这个url因此需要修改使其适配后续页面的url查看发现page是变化项翻页就会使page改变查看响应体发现一个页面有20部电影修改url并添加新的urlXpath路径需要修改每个页面的id不同修改xpath路径因为请求时修改的是page的值因此只修改data中page的值即可加入循环访问前5页以访问排名前100的电影详情并针对不同的页面选择不同的url运行结果可以看到共有100个电影详情被保存为csv文件了