python 基础自学系列 （2023-6-15）

[yaogengzhu]

如何读取excel 文件内容

import openpyxl

# 打开 Excel 文件并获取表格
wb = openpyxl.load_workbook('day.xlsx')
sheet = wb['Sheet1']

# 组装每行数据为字典
data = []
# 自定义键名
keys = ['name', 'date']
for row in sheet.iter_rows(min_row=2, values_only=True):
    # 拿到每行的数据
    name = str(row[0])
    date = str(row[1])
    # 插入数据到字典里
    data.append(dict(zip(keys, [name, date])))

with open('new.js', 'w') as file:
    str1 = 'const data =' + str(data)
    file.write(str1)
    

收获知识点 对比JS

py 如何安装依赖

pip install openpyxl

py 查看依赖列表

pip freeze > requirements.txt

pip install -r requirements.txt

py的依赖网站

[yaogengzhu]

dict 是 Python 内置的数据类型之一，用于表示键值对的映射关系。字典是一个无序的集合，其中每个键都唯一对应一个值。通常用于管理和组织通常由键标识的数据。

例如，假设您正在处理一个员工列表，并且化繁为简，将每个员工的ID和姓名组成一个字典，以便随后更轻松地管理数据，在Python中可以使用字典类型来表示这样的数据结构。

以下是一个简单示例，用于将员工 ID 和姓名 组成的字典：

# 创建一个包含员工ID和姓名的字典
employee_dict = {'001': 'Alice', '002': 'Bob', '003': 'Charlie'}

# 获取指定ID的员工姓名
employee_name = employee_dict.get('002')
print(employee_name)

在这个示例中，我们使用大括号 {} 来定义字典。每个键和值之间用冒号 : 进行分隔，每对键值对之间用逗号 , 进行分隔。

zip 函数则是 Python 内置的函数之一，用于将两个可迭代对象（列表、元组等）中的数据配对。zip 函数将两个可迭代对象的元素一一配对、组合在一起，并返回一个包含这些组合的迭代器。

例如，假如我们有两个列表，一个是员工名字列表，另一个是员工工资列表，我们可以使用 zip() 函数，将他们一一配对，变成一个新的元组列表。代码示例如下：

# 创建员工名字和工资列表
employee_names = ['Alice', 'Bob', 'Charlie']
employee_salaries = [5000, 6000, 8000]

# 使用zip函数将两个列表一一配对
employee_data = zip(employee_names, employee_salaries)

# 打印每个员工的名字和工资
for employee in employee_data:
    print(employee[0], employee[1])

在这个示例中，我们首先定义了员工名字列表和员工工资列表，然后使用 zip() 函数将它们配对。这里，employee_data 是一个迭代器，它包含将这两个列表元素一一配对后的元组。最后我们使用 for 循环来遍历每个员工在 employee_data 中的元组，打印每个员工的名字和工资。

请注意，一个字典由键值对组成，而 zip() 函数返回一个元组列表。因此，在之前的代码示例中，我们在用 zip() 函数将值配对后使用了dict()构造函数创建字典。实际上，dict()方法可以使用一个或多个元组构成的序列来创建一个字典。

简而言之，在 Python 中，字典用于管理和组织键值对，而 zip() 函数用于结合来自两个或多个序列的元素，并将其转换为元组种类的列表。

[yaogengzhu]

如何压缩图片

from PIL import Image
import os

# 定义输入和输出文件夹
input_folder = '壁纸'
output_folder = 'output'

# 如果输出文件夹不存在则创建
if not os.path.exists(output_folder):
    os.mkdir(output_folder)

# 遍历输入文件夹中的所有文件
try:
    for file in os.listdir(input_folder):
        if file.endswith(('jpg','png', 'svg')):
            # 读取图片
            img = Image.open(os.path.join(input_folder, file))
            # 设置压缩量
            quality = 50
            # 保存图片
            img.save(os.path.join(output_folder, file), optimize=True, quality=quality)
            print(img, '处理完成')
except Exception as e:
    print(e)
    

[yaogengzhu]

读取高新区房价

import requests
import parsel
import openpyxl

# 创建一个新的Excel工作簿
workbook = openpyxl.Workbook()
worksheet = workbook.active

# 设置表头
worksheet.cell(row=1, column=1, value="Title")
worksheet.cell(row=1, column=2, value="Price")
worksheet.cell(row=1, column=3, value="Unit")

# 初始化行号
row_num = 2

# 遍历多个页面
for page in range(1, 4):  # 从第1页到第3页
    url = f'https://wh.fang.lianjia.com/loupan/donghugaoxin/pg{page}/#donghugaoxin'
    response = requests.get(url)
    selector = parsel.Selector(response.text)

    # 使用 CSS 选择器查找节点
    titles = selector.css('.resblock-name a::text').getall()
    prices = selector.css('.main-price > .number::text').getall()
    unit = selector.css('.main-price > .desc::text').getall()

    # 将数据写入Excel
    for title, price, unit in zip(titles, prices, unit):
        worksheet.cell(row=row_num, column=1, value=title)
        worksheet.cell(row=row_num, column=2, value=price)
        worksheet.cell(row=row_num, column=3, value=unit)
        row_num += 1

# 自适应列宽
for column_cells in worksheet.columns:
    length = max(len(str(cell.value)) for cell in column_cells)
    # 使用一个调整因子来更好地适应列宽
    adjusted_width = length + 2
    worksheet.column_dimensions[column_cells[0].column_letter].width = adjusted_width

# 保存Excel文件
workbook.save("output.xlsx")

[yaogengzhu]

豆瓣电影

import requests
import bs4
import time
import openpyxl

# 创建一个新的Excel工作簿
workbook = openpyxl.Workbook()
worksheet = workbook.active

# 设置表头
worksheet.cell(row=1, column=1, value="排名")
worksheet.cell(row=1, column=2, value="电影名称")
worksheet.cell(row=1, column=3, value="电影评分")
worksheet.cell(row=1, column=4, value="slogan")

# 初始化行号
row_num = 2
for page in range(0, 9):
    resp = requests.get(
        url=f'https://movie.douban.com/top250?start={page * 25}',
        headers={'User-Agent': 'BaiduSpider'}
    )
    soup = bs4.BeautifulSoup(resp.text, 'html')
    rank = soup.select('.pic em')
    title = soup.select('div.info > div.hd > a > span:nth-child(1)')
    score = soup.select('div.info > div.bd > div > span.rating_num')
    desc = soup.select('.quote >.inq')
    for rank, title, score, desc in zip(rank, title, score, desc):
        print(rank.text, rank.text, score.text, desc.text)
        worksheet.cell(row=row_num, column=1, value=rank.text)
        worksheet.cell(row=row_num, column=2, value=title.text)
        worksheet.cell(row=row_num, column=3, value=score.text)
        worksheet.cell(row=row_num, column=4, value=desc.text)
        row_num += 1
    print(f'第{(row_num - 2) / 25}行写入完成！')
    time.sleep(10)

# 保存Excel文件
workbook.save("豆瓣250部高分电影.xlsx")

[yaogengzhu]

python 处理map 数据

def format_list(self, origin):
    newList = map(lambda x:{"title": x['target']['title'], "excerpt": x['target']['excerpt'], origin)
    return list(newList)

[yaogengzhu]

对比JS 的map, python 列表的推导式 , 很有意思。

列表

[表达式 for 变量 in 列表] 
[out_exp_res for out_exp in input_list]

或者 

[表达式 for 变量 in 列表 if 条件]
[out_exp_res for out_exp in input_list if condition]

字典

{ key_expr: value_expr for value in collection }

或

{ key_expr: value_expr for value in collection if condition }

[yaogengzhu]

Python 的的管理工具( 类似对比pm2)

https://circus.readthedocs.io/en/latest/for-devs/

此代码片段将运行myprogram的四个实例并为您监视它们，如果它们意外死亡则重新启动它们。

import sys
from circus import get_arbiter

myprogram = {"cmd": f"{sys.executable} test.py", "numprocesses": 4}

arbiter = get_arbiter([myprogram])
try:
    arbiter.start()
finally:
    arbiter.stop()

Python中的定时任务

import schedule
import time

def job():
    print("I'm working...")

# job() 
job()
schedule.every(1).minutes.do(job)

while True:
    schedule.run_pending()
    time.sleep(1)