双色球 python

对双色球数据探索

数据准备
爬取双色球的数据

# -*- coding: utf-8 -*-
import os
import os.path
import sys
reload(sys)
sys.setdefaultencoding("utf-8")  #开奖日期中的字符需要引入
import urllib2
from bs4 import BeautifulSoup

# 创建/打开一个文件放数据
def  fetchLottery():
 if os.path.exists("lottery.csv"):
    os.remove("lottery.csv")
 f = open("lottery.csv", "a")
 for i in range(3,16):
  print("正在获取"+"{:0>2d}".format(i)+"年数据")
  url = "http://www.lecai.com/lottery/draw/list/50?type=range_date&start=20"+"{:0>2d}".format(i)+"-01-01&end=20"+"{:0>2d}".format(i)+"-12-31"
  page = urllib2.urlopen(url)                                 # 打开目标url
  soup = BeautifulSoup(page,"html.parser")# 格式化标签
        #print(soup.find_all(attrs={"class":"historylist"}))
  foundAllTbody = soup.findAll(attrs={"class":"balls"})
  foundDate = soup.findAll("tbody")[0]
  num = 1
  if(foundAllTbody):
    for foundBalls in foundAllTbody[0:]:    
     foundAllTr = foundBalls.findAll("em")
     if(foundAllTr):
       ballStr = ""
       for foundTd in foundAllTr[0:]:
        if(foundTd):
            ballStr += ","
            ballStr += foundTd.string
              #print(foundTd.string)  
     date = foundDate.findAll("td")[(num-1)*10+num].string   #开奖日期
     print type(date)
     f.write(date +','+ ballStr+'\n')
     print(foundDate.findAll("td")[(num-1)*10+num].string)
     num = num + 1    
 print "数据抓取完成"
 f.close()

fetchLottery()

%matplotlib inline
import pandas as pd
from pandas import DataFrame

lottery=pd.read_csv('lottery.csv')
lottery.index=[date[:-9] for date in lottery.date]
lottery=lottery.drop(['date'],axis=1)
lottery.index.name='date'

lottery.to_csv('lottery_change.csv')
lottery.head(10)

转换成pandas.DataFrame格式

lottery.hist()
lottery.shape

(1899, 7)

进行简单的数据探索，可以看书B{蓝色球}的分布让人很是蛋疼，然而R1-R6{红色球}的数据分布是傻子都能看的出来，R1一般比较小，R6一般分布在25-33之间。

lottery.ix[:,:'B'].sum(axis=1).hist()

<matplotlib.axes._subplots.AxesSubplot at 0x114319e8>

B的R1-R6之和的数据分布，看着貌似还是有点小规律，基本上分布在90-110之间。可是只又有什么卵用—-和下面随机选择的基本上算一致的（随机选择若是按照概率生成的话也许结果更有说服力）

import random
from pandas import DataFrame
seed=range(1,33)
random_select=[]
for i in range(1899):
    lotter=random.sample(seed,6)
    random_select.append(lotter)
sns.distplot(DataFrame(random_select).sum(axis=1))

import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd
sns.set_style('darkgrid')
g=sns.pairplot(lottery)

这是R1的概率密度分布图到10基本上到达0.9.

ax=sns.kdeplot(lottery.R1,shade=True,color='r',cumulative=True)

ax=sns.kdeplot(lottery.R2,shade=True,color='r',cumulative=True)

这是R2的概率密度分布图

sns.jointplot('R1','R4',data=lottery,kind='reg')

<seaborn.axisgrid.JointGrid at 0x2f0d2da0>

ax=sns.kdeplot(lottery.ix[:,:'B'].sum(axis=1))

ax=sns.kdeplot(lottery.ix[:,-3:-1].sum(axis=1))

ax = sns.distplot(lottery.ix[:,-3:-1].sum(axis=1))

观察尾和

lottery_sort=pd.read_csv('lottery_change.csv',index_col=0,parse_dates=0)
roll_mean=pd.rolling_mean(lottery_sort,20).dropna()
import  matplotlib.pyplot as plt


for i in range(1,7):
    plt.subplot(230+i)
    a='R'+str(i)
    sns.distplot(roll_mean[a])

观察R1-R6的概率密度分布图

sns.distplot(roll_mean['R1'])

<matplotlib.axes._subplots.AxesSubplot at 0x2bf19da0>

sns.distplot(lottery.R1)

<matplotlib.axes._subplots.AxesSubplot at 0x3000f9e8>

import numpy as np
tim=np.zeros((1899,50))
lottery_sort['BL']=lottery_sort.B.values+33
lottery_sort=lottery_sort.drop('B',axis=1)
loc=lottery_sort.values
lottery_sort.head()

运用文本的分类的模式进行计算：

• 将矩阵转换成词袋模型 就是[1,3,6]转换成[1,0,1,0,0,1]的形式
• 计算每个feature出现的概率，或者设置窗口观察出现概率的变化
• 简单的差分或者也可以采用其他你认为好的方法，目前所做的只能增加你的机会

窗口为33 R1概率的变化率，你会发现有一定的规律，对啥号有一定的帮助。

for i in range(1899):
    tim[i,loc[i]]=1
from pandas import DataFrame
# sns.jointplot(np.arange(34),tim.sum(axis=0)/1899.0,kind='reg')
def prob(x):
    prom=x.sum()/float(x.shape[0])
    return prom
for window in range(10,12,2):
    print "Window=:",window
    probBR=DataFrame(pd.rolling_apply(tim,window,prob),index=lottery_sort.index).dropna().diff(1)
    choose_blue=[]

    for i in range(probBR.shape[0]):
        max6=probBR.ix[i,:33].argsort()[-6:].tolist()
        maxB=probBR.ix[i,33:].argmax()
        choose_blue.append(sorted(max6)+[maxB])

    # print choose_blue
    prob33=DataFrame(choose_blue,index=probBR.index,columns=['R1','R2','R3','R4','R5','R6','BL']).shift(1).dropna()
    eq=(lottery_sort - prob33).ix[:,:-1].dropna()
    eq_count=eq[eq==0].count(axis=1)
    cnt=0.0
    print eq
    for i in eq[eq==0].count(axis=1):
        if i>4:
            cnt+=1.0
    print cnt/float(eq_count.shape[0])

#     scoring=eq_count.sum()/eq_count.shape[0]
#     print scoring

lottery_sort.shift(1)

import itertools  
list(itertools.permutations([1,2,3,4],2))   #排列
list(itertools.combinations([1,2,3,4],2))    #组合

总结

只是做了一下简单的数据探索，通过数据来看可预测性不强，但是可以通过转换的思路去理解数据（以窗口33为例）：

• 建立窗口，通过观察前后窗口概率的变化（差分）可以得出某个数字出现的概率的变化趋势（分析过中国的股市，变化的规律跟彩票差不多。。。。。不过有些基本面的信息做支撑）
• 可以贝叶斯的思想模型，从第一部得出窗口概率，对33个数据的组合中找出最有可能出现的组合（双色球的组选模式）
• 马尔科夫模型大部分是用在文本分析上面，可以用于彩票的预测
• 神经网络模型入度6出度为6
  （11选5,10分钟开一次奖能更好的验证方法）
  以上只是谈疼的思考，若有不当之处，多批评。。。