博三上-中国石油大学（华东）党委学生工作部（武装部）官网通知实时归档

…

2024-08-10 为什么需要对中国石油大学（华东）党委学生工作部（武装部）官网通知进行归档？

…

实现关键词的系统追溯，

…

分为三块：新闻咨询，通知公告，院部动态，

20240810231139

20240810231305

20240810231323

20240810231336

…

WPS 个人文件夹+文件链接目录,

…

(重要) 基于脚本，对博客归档的…，进行实时更新,

…


/1t/Data-Assimilation-for-Ocean-Current-Forecasts/anaconda3/envs/py-ev-ERA5/bin/python /1t/Data-Assimilation-for-Ocean-Current-Forecasts/Liu-Jincan.github.io/scripts/csun_upc_4442_list.py

/1t/Data-Assimilation-for-Ocean-Current-Forecasts/anaconda3/envs/py-ev-ERA5/bin/python /1t/Data-Assimilation-for-Ocean-Current-Forecasts/Liu-Jincan.github.io/scripts/csun_upc_4443_list.py

…

通知公告-学生资助归档, https://csun.upc.edu.cn/4442/list.htm ，

…

python 实现获取文章链接，执行 csun_upc_4442_list.py脚本，

/1t/Data-Assimilation-for-Ocean-Current-Forecasts/anaconda3/envs/py-ev-ERA5/bin/python /1t/Data-Assimilation-for-Ocean-Current-Forecasts/Liu-Jincan.github.io/scripts/csun_upc_4442_list.py

csun_upc_4442_list.py脚本，


import os
import requests
from bs4 import BeautifulSoup
import re
import time

### blog 参数
blog_md_url_flag = '<!--- https://csun.upc.edu.cn/4442/list1.htm --->'
blog_md_output = '/1t/Data-Assimilation-for-Ocean-Current-Forecasts/Liu-Jincan.github.io/Liu-Jincan.github.io/source/_posts/研究生JustTry_target/博三上-中国石油大学（华东）党委学生工作部（武装部）官网通知实时归档.md'


###
article_list = []
basic_url = 'https://csun.upc.edu.cn/'
# txt_output = '/1t/Data-Assimilation-for-Ocean-Current-Forecasts/Liu-Jincan.github.io/scripts/tmp'

for i in range(1,30): # 只获取最近 30 个 list 的文章， 
    # breakpoint()
    url = 'https://csun.upc.edu.cn/4442/list'+str(i)+'.htm'
    print(url)
    response = requests.get(url)
    # 如果需要，可以手动设置编码（通常 requests 会自动处理）
    response.encoding = 'utf-8' # 识别中文


    # 检查请求是否成功
    if response.status_code == 200:
        # 使用 BeautifulSoup 解析 HTML 内容
        soup = BeautifulSoup(response.text, 'html.parser')
      
        # 查找具有特定类名的 <span> 元素
        # title_span = soup.find('span', class_='news_title')
        title_spans = soup.find_all('span', class_='news_title')
        PublishDate_spans = soup.find_all('span', class_='news_meta')
        # breakpoint()
        # 如果未找到任何元素
        assert title_spans, f'{url} 未找到具有类名 "Article_Title" 的 <span> 元素。'

        # 遍历每个元素并提取文本内容
        for index, title_span in enumerate(title_spans):
            a_tag = title_span.find('a')  # 找到 <span> 内的 <a> 标签
          
            ### 文章链接
            href = a_tag['href']  # 获取 href 属性
            if href[0]=='/':
                href = basic_url+href
            print(href)
          
            ### 日期
            # Date = href[1:5]+'-'+href[6:8]+'-'+href[8:10] # href[0]=='/'
            # date_pattern = r'\b\d{4}[/-]\d{2}\d{2}\b'
            # Date = re.findall(date_pattern, href)[0]
            Date = PublishDate_spans[index].get_text()
            #
          
            ### 文章名称
            article_title = title_span.get_text()
            #
            # breakpoint()
            string = Date+': ['+article_title+']'+'('+href+')'
            article_list.append(string)
            # print(f'文章标题 {index + 1}: {article_title}')
            # breakpoint()
            pass
      
        # breakpoint()
    else:
        print(f'{url} 请求失败，状态码: {response.status_code}')
        time.sleep(20)
        # exit()
        pass


# 将 article_list 的每个元素从大到小排序，每个元素一行，输出到 txt_output 文件下
# 将列表中的元素按从大到小排序
sorted_articles = sorted(article_list, reverse=True)


# 读取 blog_md_output = '/1t/博三上-中国石油大学（华东）理学院官网通知归档.md' 的文本内容， 
# 判断文本内容是否存在两行的字符串为 blog_md_url_flag 变量， blog_md_url_flag= '<!--- https://csun.upc.edu.cn/4442/list1.htm --->' 
# 删除文本内容中原先 blog_md_url_flag 之间的内容， 将 sorted_articles 输出到该位置，文件中，每个元素一行

'''
# 将排序后的元素输出到 txt_output.txt 文件中，每个元素一行
with open(txt_output, 'w', encoding='utf-8') as file: # 覆盖， 
    for article in sorted_articles:
        file.write(article + '\n')
print("排序后的文章标题已写入 txt_output.txt 文件。")
'''

# 读取文件内容
with open(blog_md_output, 'r', encoding='utf-8') as file:
    content = file.read()

# breakpoint()

# 检查标记是否存在
if blog_md_url_flag in content:
    # 查找标记的位置
    start_idx = content.find(blog_md_url_flag)
    end_idx = content.find(blog_md_url_flag, start_idx + len(blog_md_url_flag))
  
    if start_idx != -1 and end_idx != -1:
        # 构建新内容：保留标记前的内容 + 新的文章列表 + 保留标记后的内容
        new_content = (
            content[:start_idx + len(blog_md_url_flag)] + '\n' +
            '\n'.join(sorted_articles) + '\n' +
            content[end_idx:]
        )
      
        # 将新内容写回文件
        with open(blog_md_output, 'w', encoding='utf-8') as file:
            file.write(new_content)
      
        print(f"已更新 {blog_md_output} 文件中以下内容: \n {blog_md_url_flag}")
    else:
        print(f" {blog_md_output} 未找到两个标记 {blog_md_url_flag}。")
else:
    print(f" {blog_md_output} 文件中未找到标记 {blog_md_url_flag}。")

执行末尾会自动更新博客md文件中 <!--- https://csun.upc.edu.cn/4442/list1.htm之间的部分，（有点前后端开发的感觉了），更新内容仅包括 list30.htm前的文章（可调整），更新文章结果如下（按时间从大到小排序）：

…

通知公告-学生管理归档, https://csun.upc.edu.cn/4443/list.htm ，

…

/1t/Data-Assimilation-for-Ocean-Current-Forecasts/anaconda3/envs/py-ev-ERA5/bin/python /1t/Data-Assimilation-for-Ocean-Current-Forecasts/Liu-Jincan.github.io/scripts/csun_upc_4443_list.py

…