python 爬虫+notion API实现定时更新基于指定算法的基金排行榜

发布日期: 2022-02-14 10:28:04

喜欢量: 0 个

阅读次数: 857

最近经过朋友介绍在用notion，上手就感觉惊为天作，满满的程序员思维，是真的好用。看到notion有api，就想着能不能把之前用python写的基金排行榜算法的结果输出到notion的database上，之前是每两三个月才会生成一次，都是excel，感觉很麻烦，也不易留档，好在notion api也还给力，最终实现了基金排行榜。

> 这里需要说明下，本文是原创，图片来自博主自己csdn上，所以有水印，懒得再次截图，勿怪勿怪！

![image.png](/uploads/images/20220214/602ab53bc433fd6fe38266fdd838c33f.png)

### 1.基金数据来源和基金算法思维

因为我写的python代码，自己看着都觉得“丑陋”，实在没脸放出来，这里就说一下思路。
基金的数据，是通过python从天天基金网上爬来的。

> https://fund.eastmoney.com/data/fundrating.html

这里有所有基金和相关数据的表格，还有一些数据是根据基金代码从独立页面里爬取的，总的来说没有太复杂的地方，会一些基础爬虫知识就可以拿到。

基金排行的主要思路是量化一些基础信息，然后通过量化后的总分从大到小排序。

> 我这里主要根据三大机构对基金的评级、基金经理任职时间、基金规模、基金类型、基金购买原则（4433）原则等对基金做了个量化评分。

### 2.如何将数据通过api导入到notion

1. 首先，需要获取Token和database_id，具体流程如下：
My integrations（集成机器人）的Internal Integration Token（内部集成令牌）：你对于notion的操作是通过它来代替完成的。获取步骤如下（也可以跟着官网步骤一起来）：
① 进入：https://www.notion.com/my-integrations
② 点击“+ New integration”按钮
③ 为集成 integration指定一个名称
④ 选择要安装此集成的工作空间（一般人一般只有一个工作空间）。
⑤ 点击“Submit”创建集成。
⑥ 在下一页复制你的Internal Integration Token（内部集成令牌）（后面会用到）
⑦ 一开始，集成不能访问工作空间中的任何页面(或数据库)。用户必须与集成共享特定的页面，以便使用API访问这些页面。这有助于确保Notion中的信息安全。
![image.png](/uploads/images/20220214/ea897867601a9934bd737ff37b538a3d.png)
[图片来源：https://developers.notion.com/docs/getting-started]

2. database_id：你要处理的notion对象的唯一标识符，notion通过该号码定位你要处理的对象，该号码是一串32个字符的随机字符。 官方给出的方法如下：
![image.png](/uploads/images/20220214/27729c2e86445b553bd5379c12da70ca.png)
![image.png](/uploads/images/20220214/c3b884900a69019408a999b4a5e4548d.png)

这一步其实看着复杂，实际操作还简单的，就是复制database页面的链接，域名后的第一个32位字符串就是database_id。如果复制的是page页面的链接，域名后的第一个32位字符串就是page_id。如下链接，database_id就是cf7ee313848942dd8b697ebcdce330c5。
> https://www.notion.so/cf7ee313848942dd8b697ebcdce330c5?v=d6eac15804954aaf9c03102fb9591652

拿到token和database_id，就可以开始写Python啦，老规矩，先设置好配置。
```
### --------------------- notion配置 ---------------------- ###
    token = 'secret_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
    headers = {
        'Notion-Version': '2021-05-13',  # 在新版中必须加入版本信息
        'Authorization': 'Bearer ' + token,  # 这一行也必须要有
    }
    database_id = 'cf7ee313848942dd8b697ebcdce330c5'
### --------------------- notion配置 ---------------------- ###
```
notion保存数据函数，这里数据都在body_properties里：
```
def DataBase_additem(database_id, body_properties, station):
    body = {
        'parent': {'type': 'database_id', 'database_id': database_id},
    }
    body.update(body_properties)

url_notion_additem = 'https://api.notion.com/v1/pages'
    notion_additem = requests.post(url_notion_additem, headers=headers, json=body)

if notion_additem.status_code == 200:
        print(station + '·更新成功')
    else:
        print(station + '·更新失败')
```

body_properties格式如下，这里需要注意的是，根据database每个字段的属性，一定要设置好数据类型，否则导入会失败。

```
body = {
   'properties': {
        '基金名称': {
            'id': 'title', 'type': 'title',
            'title': [{'type': 'text', 'text': {'content': jj[1]}, 'plain_text': jj[1]}]
        },
        '基金代码': {'type': 'rich_text',
                 'rich_text': [{'type': 'text', 'text': {'content': jj[0]}, 'plain_text': jj[0]}]},
        "总得分": {"type": "number", "number": int(allscore)},
        "五星个数": {"type": "number", "number": int(jj[7])},
        "上海证券": {"type": "number", "number": int(jj[10])},
        "招商证券": {"type": "number", "number": int(jj[12])},
        "济安金信": {"type": "number", "number": int(jj[16])},
        "手续费": {'type': 'rich_text',
                'rich_text': [{'type': 'text', 'text': {'content': jj[18]}, 'plain_text': jj[18]}]},
        "基金经理": {'type': 'rich_text',
                'rich_text': [{'type': 'text', 'text': {'content': jj[3]}, 'plain_text': jj[3]}]},
        "任职日期": {'type': 'rich_text',
                 'rich_text': [{'type': 'text', 'text': {'content': mdate}, 'plain_text': mdate}]},
        "基金评级评分": {"type": "number", "number": int(score)},
        "任职年数评分": {"type": "number", "number": int(timescore)},
        "规模评分": {"type": "number", "number": int(guimoscore)},
        "基金类型": {'type': 'rich_text',
                 'rich_text': [{'type': 'text', 'text': {'content': jj[2]}, 'plain_text': jj[2]}]},
        "优质程度评分": {"type": "number", "number": int(rankscore)},
    }
}
```
执行导入：
```
DataBase_additem(database_id, body, '基金数据导入')
```
其实，只是导入数据整体没有太复杂的地方，就是获取database和数据包处理上存在难点。
至此，数据存入的功能已经实现，没看懂数据操作的，这里推荐大家看一下[notion API命令-个性化再封装](https://zhuanlan.zhihu.com/p/395219868)，作者很好的封装了api。

### 3.结束语

最终的基金排行榜的notion链接我已经放在文章开始的引用里了，感兴趣的朋友可以看看。
其实很多朋友都好奇这排行榜到底有没有用，从我的角度里来看，有用，至少比银行推荐和无脑瞎买感觉靠谱的多。
但是基金排行榜的作用只是辅助你选出合适的基金，能否赚钱，我觉得最核心的因素就是***能否坚持你的规则***。
我之前还用python写过一套每天自动提醒是否操作基金、如何操作的程序，如下图，因为没有坚持后来也不了了之了。
所以我觉得买基金最重要的还是：坚持原则！
![image.png](/uploads/images/20220214/c4c5159ea927fb649d4c981a0c58cece.png)

chenhao

http://chenhaoblog.com/show/MTk=

本博客所有文章除特別声明外,转载请注明来源 chenhaoBlog !