weixin_46180512的博客

赛题简介 赛题以新闻APP中的新闻推荐为背景，要求选手根据用户历史浏览点击新闻文章的数据信息预测用户未来点击行为，即用户的最后一次点击的新闻文章，测试集对最后一次点击行为进行了剔除。 赛题数据 赛题以预测用户未来点击新闻文章为任务，数据集报名后可见并可下载，该数据来自某新闻APP平台的用户交互数据，包括30万用户，近300万次点击，共36万多篇不同的新闻文章，同时每篇新闻文章有对应的embedding向量表示。为了保证比赛的公平性，将会从中抽取20万用户的点击日志数据作为训练集，5万用户的点击日志数据作为测

逻辑回归&线性回归

SQL进阶及工作中常用SQL1.工作中常用sql排行2.工作中常用sql小技巧3.SQL进阶(这是重点)1.关于null值null值常见问题null值克星(重点): 1.工作中常用sql排行 ①group by(用来聚合也时常用来去重注意用groupby select 后要跟聚合字段) ②where(SQL计算之前进行过滤,对性能是极大的提高,代码测试阶段where条件下尽量跟分区) ③having(SQL计算之后进行过滤,它的使用会极大提升的代码的简洁性,同样它的功能十分强大) ④时间函数(时间与我们息息

1、概述 异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。 即利用统计学方法建立一个模型，然后考虑对象有多大可能符合该模型。 根据如何指定和学习模型，异常检测的统计学方法可以划分为两个主要类型：参数方法和非参数方法。 参数方法假定正常的数据对象被一个以Θ为参数的参数分布产生。该参数分布的概率密度函数f(x,Θ)给出对象x被该分布产生的概率。该值越小，x越可能是异常点。 非参数方法并不假定先验统计模型，而是试图从输入数据确定模型。非参数方

什么是异常检测 异常检测（Outlier Detection），顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据。识别如信用卡欺诈，工业生产异常，网络流里的异常（网络侵入）等问题，针对的是少数的事件。 1.1 异常的类别 点异常（point anomalies）指的是少数个体实例是异常的，大多数个体实例是正常的，例如正常人与病人的健康指标； 条件异常（conditional anomalies），又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例如在特定时间下的温度

rank()over()、dense_rank() over()、row_number() over()区别 区别 （1）rank() over()例子 （2）dense_rank() over()例子 （3）row_number() over()例子

import pandas as pd import os import gc import lightgbm as lgb import xgboost as xgb from catboost import CatBoostRegressor from sklearn.linear_model import SGDRegressor,LinearRegression,Ridge from sklearn.preprocessing import MinMaxScaler import math impo

import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import datetime import warnings warnings.filterwarnings('ignore') #在python中代码可以正常运行但是会提示警告，我们可以通过警告过滤器进行控制是否发出警告消息。 data_train=pd.read_csv('train.csv') data_test_

Task01：赛题理解 本次新人赛是Datawhale与天池联合发起的金融风控之贷款违约预测挑战赛。 赛题以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这是一个典型的分类问题。通过这道赛题来引导大家了解金融风控中的一些业务背景，解决实际问题，帮助竞赛新人进行自我练习、自我提高。 1.1 学习目标 理解赛题数据和目标，清楚评分体系。 完成相应报名，下载数据和结果提交打卡，熟悉比赛流程。 1.2 了解赛题 1.2.1赛题概况 比赛要求参赛选手根据

此部分为零基础入门金融风控的 Task4 建模调参部分，带你来了解各种模型以及模型的评价和调参策略 4.1学习目标 学习在金融风控领域常见的机器学习模型 学习机器学习模型的建模任务与调参流程 完成相应的学习打卡任务 4.2内容介绍 逻辑回归模型 理解逻辑回归模型； 逻辑回归模型的应用； 逻辑回归的优缺点； 树模型 理解树模型； 树模型的应用； 树模型的优缺点； 集成模型 基于bagging思想的集成模型 随机森林模型 基于boosting思想的集成模型 XGBoost模型 Lig

3.1学习目标 学习特征预处理、缺失值、异常值处理、数据分桶等特征处理方法 学习特征交互、编码、选择的相应方法 完成相应学习打卡任务 3.2内容介绍 数据预处理 缺失值的填充 时间格式处理 对象类型特征转换到数值 异常值处理 基于3segama原则 基于箱型图 数据分箱 固定宽度分箱 分位数分箱 离散数值型数据分箱 连续数值型数据分箱 卡方分箱（选做作业） 特征交互 特征和特征之间组合 特征和特征之间衍生 其他特征衍生的尝试（选做作业） 特征编码 one-hot编码 l

https://www.matongxue.com/madocs/7

一、 证明：由上图可知， 即 二、 证明：首先证明此极限存在 构造数列 而对于n+1 ...

清华大学-数据挖掘：理论与算法（国家级精品课） B站地址https://www.bilibili.com/video/BV154411Q7mG?p=38 笔记地址https://blog.csdn.net/qq_43724306/article/details/104531299

5.1学习目标 将之前建模调参的结果进行模型融合。 尝试多种融合方案，提交融合结果。（模型融合一般用于A榜比赛的尾声和B榜比赛的全程） 5.2内容介绍 模型融合是比赛后期上分的重要手段，特别是多人组队学习的比赛中，将不同队友的模型进行融合，可能会收获意想不到的效果哦，往往模型相差越大且模型表现都不错的前提下，模型融合后结果会有大幅提升，以下是模型融合的方式。 平均 简单平均 加权平均 投票 简单投票法 加权投票法 综合 排序融合 log融合 stacking 构建多层模型 blen