Typer数据仓库：数据仓库管理和查询工具
项目地址: https://gitcode.com/GitHub_Trending/ty/typer 痛点：数据仓库管理的复杂性
在现代数据驱动业务中，数据仓库（Data Warehouse）已成为企业决策的核心基础设施。然而，传统的数据仓库管理面临诸多挑战：
- 命令行操作复杂：需要记忆大量SQL命令和参数
- 缺乏统一接口：不同数据库系统命令差异大
- 自动化程度低：重复性操作需要手动执行
- 错误处理困难：缺乏友好的错误提示和帮助信息
Typer基于Python类型提示构建，能够轻松创建高质量的命令行接口（CLI）程序，完美解决上述痛点。
Typer核心优势
类型安全的CLI开发
Typer利用Python的类型提示系统，自动生成命令行参数验证：
import typer
from typing import Optional
from datetime import datetime
from enum import Enum
class DatabaseType(str, Enum):
POSTGRES = "postgres"
MYSQL = "mysql"
SNOWFLAKE = "snowflake"
BIGQUERY = "bigquery"
app = typer.Typer()
@app.command()
def query_warehouse(
database: DatabaseType = typer.Option(..., help="数据库类型"),
query: str = typer.Argument(..., help="SQL查询语句"),
limit: Optional[int] = typer.Option(100, help="结果限制数量"),
output_format: str = typer.Option("table", help="输出格式: table/json/csv")
):
"""执行数据仓库查询"""
# 查询逻辑实现
typer.echo(f"执行 {database.value} 查询: {query}")
自动生成帮助文档
Typer自动为每个命令生成完整的帮助信息：
数据仓库管理工具实战
项目结构设计
datawarehouse-cli/
├── __init__.py
├── main.py # 主入口文件
├── commands/
│ ├── query.py # 查询命令
│ ├── manage.py # 管理命令
│ └── export.py # 导出命令
├── models/
│ └── database.py # 数据模型
└── utils/
└── formatters.py # 输出格式化
核心功能实现
1. 多数据库连接管理
from typing import Dict, Any
import typer
from pydantic import BaseSettings
class DatabaseConfig(BaseSettings):
postgres_url: str = ""
mysql_url: str = ""
snowflake_account: str = ""
bigquery_project: str = ""
app = typer.Typer()
config = DatabaseConfig()
@app.command()
def connect(
db_type: DatabaseType = typer.Option(..., help="数据库类型"),
host: str = typer.Option(..., help="数据库主机"),
port: int = typer.Option(5432, help="端口号"),
username: str = typer.Option(..., help="用户名"),
password: str = typer.Option(..., prompt=True, hide_input=True, help="密码"),
database: str = typer.Option(..., help="数据库名")
):
"""连接数据仓库"""
# 连接逻辑
typer.secho(f"成功连接到 {db_type.value} 数据库", fg=typer.colors.GREEN)
2. 智能查询执行
@app.command()
def execute_query(
query_file: typer.FileText = typer.Option(None, help="查询文件路径"),
query: str = typer.Option(None, help="直接输入查询语句"),
params: Dict[str, Any] = typer.Option({}, help="查询参数"),
timeout: int = typer.Option(30, help="查询超时时间(秒)")
):
"""执行SQL查询"""
if query_file and query:
typer.echo("错误: 不能同时指定查询文件和查询语句", err=True)
raise typer.Exit(1)
if query_file:
query_content = query_file.read()
elif query:
query_content = query
else:
typer.echo("错误: 必须提供查询内容", err=True)
raise typer.Exit(1)
# 执行查询逻辑
results = run_query(query_content, params, timeout)
display_results(results)
3. 数据导出功能
from pathlib import Path
@app.command()
def export_data(
query: str = typer.Argument(..., help="导出数据的查询语句"),
output_file: Path = typer.Option(..., help="输出文件路径"),
format: str = typer.Option("csv", help="导出格式: csv/json/parquet"),
chunk_size: int = typer.Option(10000, help="分块大小")
):
"""导出查询结果到文件"""
with typer.progressbar(length=chunk_size, label="导出数据") as progress:
for chunk in export_in_chunks(query, chunk_size):
save_chunk(chunk, output_file, format)
progress.update(len(chunk))
typer.secho(f"数据已导出到 {output_file}", fg=typer.colors.GREEN)
4. 数据质量检查
class DataQualityMetric(str, Enum):
NULL_COUNT = "null_count"
UNIQUE_COUNT = "unique_count"
DATA_TYPE = "data_type"
@app.command()
def check_quality(
table: str = typer.Argument(..., help="表名"),
metrics: List[DataQualityMetric] = typer.Option([], help="质量指标"),
threshold: float = typer.Option(0.95, help="质量阈值")
):
"""检查数据质量"""
results = {}
for metric in metrics:
result = calculate_metric(table, metric)
results[metric] = result
color = typer.colors.GREEN if result >= threshold else typer.colors.RED
typer.echo(f"{metric.value}: {result:.2%}", color=color)
return results
高级特性应用
1. 自动补全支持
Typer提供完整的Shell自动补全功能：
# 安装自动补全
datawarehouse --install-completion
# 使用Tab键自动补全
datawarehouse query --[TAB]
# 显示: --database --query --limit --output-format --help
2. 丰富的输出格式化
def display_results(results, format: str = "table"):
"""格式化显示查询结果"""
if format == "table":
# 表格形式输出
headers = results[0].keys() if results else []
rows = [list(row.values()) for row in results]
typer.echo(tabulate(rows, headers=headers))
elif format == "json":
typer.echo(json.dumps(results, indent=2))
elif format == "csv":
output = StringIO()
writer = csv.DictWriter(output, fieldnames=results[0].keys())
writer.writeheader()
writer.writerows(results)
typer.echo(output.getvalue())
3. 错误处理与日志
import logging
from typing import NoReturn
def setup_logging(verbose: bool = False):
"""配置日志系统"""
level = logging.DEBUG if verbose else logging.INFO
logging.basicConfig(level=level, format="%(asctime)s - %(levelname)s - %(message)s")
@app.callback()
def main(verbose: bool = typer.Option(False, "--verbose", "-v", help="详细输出")):
"""数据仓库管理CLI工具"""
setup_logging(verbose)
def handle_database_error(error: Exception) -> NoReturn:
"""处理数据库错误"""
typer.secho(f"数据库错误: {error}", fg=typer.colors.RED, err=True)
logging.error("Database error occurred", exc_info=True)
raise typer.Exit(1)
性能优化策略
查询性能监控
from time import perf_counter
@app.command()
def benchmark_query(
query: str = typer.Argument(..., help="基准测试查询"),
iterations: int = typer.Option(5, help="测试迭代次数"),
warmup: int = typer.Option(2, help="预热次数")
):
"""查询性能基准测试"""
times = []
for i in range(warmup + iterations):
start = perf_counter()
execute_query(query)
elapsed = perf_counter() - start
if i >= warmup: # 只记录正式测试的数据
times.append(elapsed)
typer.echo(f"迭代 {i-warmup+1}: {elapsed:.3f}s")
avg_time = sum(times) / len(times)
typer.secho(f"平均执行时间: {avg_time:.3f}s", fg=typer.colors.BLUE)
内存使用优化
import psutil
import os
def monitor_memory_usage():
"""监控内存使用情况"""
process = psutil.Process(os.getpid())
return process.memory_info().rss / 1024 / 1024 # MB
@app.command()
def optimize_query(
query: str = typer.Argument(..., help="需要优化的查询"),
memory_limit: float = typer.Option(1024, help="内存限制(MB)")
):
"""查询内存优化"""
initial_memory = monitor_memory_usage()
results = execute_query(query)
final_memory = monitor_memory_usage()
memory_used = final_memory - initial_memory
if memory_used > memory_limit:
typer.secho(f"警告: 查询使用 {memory_used:.1f}MB 内存", fg=typer.colors.YELLOW)
# 建议优化策略
部署与集成
Docker容器化部署
FROM python:3.9-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY . .
RUN pip install --no-cache-dir .
ENTRYPOINT ["datawarehouse"]
CI/CD集成示例
name: Data Warehouse CI
on:
push:
branches: [ main ]
pull_request:
branches: [ main ]
jobs:
test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v2
- name: Set up Python
uses: actions/setup-python@v2
with:
python-version: '3.9'
- name: Install dependencies
run: |
pip install -r requirements.txt
pip install -r requirements-test.txt
- name: Run tests
run: |
python -m pytest tests/ -v
- name: Build package
run: |
python setup.py sdist bdist_wheel
最佳实践指南
1. 命令设计原则
2. 错误处理策略
| 错误类型 | 处理策略 | 用户反馈 |
|---|---|---|
| 数据库连接失败 | 重试机制 | 友好的错误消息 |
| 查询语法错误 | 语法检查 | 具体的错误位置 |
| 权限不足 | 权限验证 | 清晰的权限要求 |
| 超时错误 | 超时控制 | 建议优化查询 |
3. 性能优化建议
- 查询优化：使用参数化查询避免SQL注入
- 内存管理：分批处理大数据集
- 连接池：重用数据库连接
- 缓存机制：缓存频繁查询的结果
总结
Typer为数据仓库管理提供了强大的CLI开发能力：
- 🚀 开发效率：基于类型提示的自动CLI生成
- 🎯 用户体验：自动补全和丰富的帮助信息
- 🔧 扩展性：模块化的命令结构设计
- 📊 监控能力：内置性能监控和错误处理
- 🐳 部署友好：完整的容器化支持
通过Typer构建的数据仓库管理工具，不仅提升了开发效率，更为终端用户提供了专业、易用的命令行体验。无论是简单的数据查询还是复杂的数据管道管理，Typer都能帮助您构建出高质量的CLI应用程序。
立即开始使用Typer，打造您专属的数据仓库管理工具！
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
