Python实战：逐笔高频因子构建与回测全流程解析

最新推荐文章于 2026-07-19 09:29:15 发布

原创

最新推荐文章于 2026-07-19 09:29:15 发布 · 348 阅读

1. 从零开始：为什么逐笔数据是量化研究的“金矿”

如果你在量化投资领域摸索过一段时间，肯定会经常听到“高频因子”、“Alpha挖掘”这些词。但很多朋友，尤其是刚入门的朋友，会觉得这些东西离自己很远，要么是数据太贵，要么是代码太复杂。今天，我就想用一个最接地气的例子，带你亲手挖一挖这座“金矿”。咱们不谈虚的，就拿一个具体的因子——“大买成交金额占比”来开刀，用Python从原始数据一直做到回测验证，把整个链条给你跑通。

你可能要问，为什么是逐笔数据？它和日线、分钟线数据有什么不同？我打个比方，日线数据就像看一部电影的简介，只知道开头和结尾；分钟线数据像是看了电影的关键片段剪辑；而逐笔数据，就是这部电影的每一帧画面，包含了每一笔成交的精确时间、价格、成交量以及买卖方向（如果能区分的话）。这种极致微观的数据，蕴含着大量关于市场微观结构、投资者行为甚至情绪的信息。比如，同样是上涨1%，是无数小单慢慢推上去的，还是几笔巨额买单瞬间拉起来的？背后的市场含义完全不同。我们这次要做的“大买成交金额占比”因子，就是想捕捉后一种情况——大资金的主动买入意愿。

听起来很高级，但实现起来真有那么难吗？其实不然。整个流程可以拆解成几个清晰的模块：数据获取与清洗、因子逻辑编码、因子预处理与正交化、最后扔进回测框架里看看效果。每个模块都有成熟的Python库（比如pandas, numpy, statsmodels）可以依赖，我们要做的就是把业务逻辑用代码清晰地表达出来。我见过很多新手卡在第一步，面对几个G的原始tick数据不知道如何下手；或者因子算出来了，但一和市值、行业这些传统因子一比较，发现相关性太高，效果被“污染”了；又或者回测的时候没考虑停牌、涨跌停，导致结果严重失真。别担心，这些“坑”我在实战中都踩过，接下来我会在每一步都给你指出来，并且给出经过验证的解决方案。

2. 实战第一步：原始逐笔数据的“洗剪吹”

拿到原始的逐笔数据（Tick Data），通常是CSV或者数据库格式，第一步不是急着写因子公式，而是“数据清洗”。这一步没做好，后面所有分析都是空中楼阁。原始数据常见的问题包括：重复记录、价格或成交量为0或负数的异常记录、非交易时间的记录（比如集合竞价阶段的数据混入了连续竞价）、以及股票停牌期间依然有成交的“幽灵数据”。我们的目标，是把这些“脏数据”过滤掉，得到一份干净、可用于计算的切片。

我们先看看一份典型的逐笔数据可能包含哪些字段。通常会有：timestamp（时间戳，精确到毫秒甚至微秒）、symbol（股票代码）、price（成交价格）、volume（成交数量）、amount（成交金额，有时是price*volume计算得出）、bs_flag（买卖方向，B表示买方主动，S表示卖方主动，有时没有这个字段就需要自己推断）。有的数据源还会提供order_no（订单号），这对于识别同一笔委托下的多次成交非常有用。

import pandas as pd
import numpy as np

# 假设我们读取了一个CSV文件，这里用模拟数据演示清洗流程
# 真实数据量巨大，建议使用pandas的chunksize分块读取
def load_and_clean_tick_data(file_path):
    # 读取数据，指定数据类型以节省内存
    dtypes = {
        'timestamp': 'str',
        'symbol': 'str',
        'price': 'float64',
        'volume': 'int64',
        'bs_flag': 'str'
    }
    df = pd.read_csv(file_path, dtype=dtypes, parse_dates=['timestamp'])

    print(f"原始数据量: {len(df)}")

    # 1. 去重：基于时间、股票、价格、成交量，假设完全相同的记录为重复
    df = df.drop_duplicates(subset=['timestamp', 'symbol', 'price', 'volume'])

    # 2. 基础异常值过滤
    # 价格和成交量必须为正数
    df = df[(df['price'] > 0) & (df['volume'] > 0)]
    # 过滤掉买卖标志不是'B'或'S'的记录（如果字段存在）
    if 'bs_flag' in df.columns:
        df = df[df['bs_flag'].isin(['B', 'S'])]

    # 3. 过滤非连续交易时段：只保留上午9:30-11:30，下午13:00-15:00的数据
    # 注意：需要根据具体交易所规则调整，这里以A股为例
    df['time_only'] = df['timestamp'].dt.time
    morning_start = pd.to_datetime('09:30:00').time()
    morning_end = pd.to_datetime('11:30:00').time()
    afternoon_start = pd.to_datetime('13:00:00').time()
    afternoon_end = pd.to_datetime('15:00:00').time()
    df = df[
        ((df['time_only'] >= morning_start) & (df['time_only'] <= morning_end)) |
        ((df['time_only'] >= afternoon_start) & (df['time_only'] <= afternoon_end))
    ]
    df = df.drop(columns=['time_only'])

    # 4. 处理停牌和涨跌停（需要额外的日线数据辅助）
    # 这里假设我们有一个daily_status_df，包含日期、股票、是否停牌、涨停价、跌停价
    # 我们需要将逐笔数据的日期与daily_status_df对齐
    df['trade_date'] = df['timestamp'].dt.date
    # 假设daily_status_df是一个MultiIndex (date, symbol)的DataFrame
    # df = df.merge(daily_status_df, how='left', left_on=['trade_date', 'symbol'], right_index=True)
    # df = df[df['is_suspended'] == False] # 过滤停牌日数据
    # df = df[(df['price'] < df['up_limit']) & (df['price'] > df['down_limit'])] # 过滤涨跌停价格上的成交（谨慎使用，因为涨跌停板上也可能有真实成交）

    print(f"清洗后数据量: {len(df)}")
    return df

# 注意：以上代码中，停牌和涨跌停处理部分需要你根据实际拥

标签