生成合成数据的秘诀：安全又高效的创新方法

关注

最新推荐文章于 2026-08-11 10:45:13 发布 · 689 阅读

原创 ·

本内容遵循 CC 4.0 BY-SA 版权协议

· GEO检测

什么是合成数据 (Synthetic Data)？企业在部署人工智能时，往往会遇到数据获取困难、成本高昂，或采集的数据根本不可用等挑战。研究人员在2018年曾发现，顶尖的面部识别软件在识别肤色较深的人时，错误率高达34%。原因就在于用于训练这些模型的数据缺少一整个种群的子集。在这种情况下，合成数据可以提供一种令人信服的解决方案。合成数据是通过计算机程序人工生成的数据，而不是由真实事件产生的数据。企业可以通过使用合成数据填补潜在或边缘的使用场景、节省数据采集成本及满足隐私要求。随着计算能力的提高和云数据存储的崛起，比以往更容易获取的合成数.. 阅读详情

生成合成数据的秘诀：安全又高效的创新方法

在现代数据驱动的世界中，合成数据的生成比以往任何时候都更加重要。合成数据是一种人工生成的数据，与从现实世界事件中收集的数据相对立。它的应用场景非常广泛，尤其在隐私保护和数据稀缺的环境中尤为重要。

引言

本篇文章旨在揭示如何利用合成数据进行安全且有效的机器学习训练和测试。我们将深入探讨如何利用 langchain 库生成合成的医疗账单记录，帮助开发者在不使用真实患者数据的情况下进行算法开发和测试。

合成数据的优势

隐私和安全性：不涉及真实个人数据，从而降低泄露风险。
数据扩充：能为机器学习扩展数据集。
灵活性：可创建特定或罕见场景的数据。
成本效益：通常比收集真实数据更加经济。
法规遵从：有助于遵循严格的数据保护法律。
模型健壮性：可能会使AI模型具有更好的泛化能力。
快速原型：允许在没有真实数据的情况下快速测试。
受控实验：模拟特定条件。
数据获取：当真实数据不可用时的替代方案。

注意：尽管合成数据有众多优势，但其可能无法全面捕捉真实世界的复杂性，需要谨慎使用。

主要内容：合成数据生成步骤

1. 安装和设置

首先，我们需要安装 langchain 库及其依赖项。由于我们将使用 OpenAI 的生成链，安装时需要包括 langchain_experimental。

%pip install --upgrade --quiet langchain langchain_experimental langchain-openai
# 设置环境变量 OPENAI_API_KEY 或从 .env 文件加载：
# import dotenv
# dotenv.load_dotenv()

2. 定义数据模型

每个数据集都有其结构或“模式”。下面的 MedicalBilling 类定义了我们希望生成的合成数据结构。

from langchain_core.pydantic_v1 import BaseModel

class MedicalBilling(BaseModel):
    patient_id: int
    patient_name: str
    diagnosis_code: str
    procedure_code: str
    total_charge: float
    insurance_claim_amount: float

3. 提供示例数据

引导合成数据生成器，提供一些接近现实世界的示例数据。

examples = [
    {"example": "Patient ID: 123456, Patient Name: John Doe, Diagnosis Code: J20.9, Procedure Code: 99203, Total Charge: $500, Insurance Claim Amount: $350"},
    {"example": "Patient ID: 789012, Patient Name: Johnson Smith, Diagnosis Code: M54.5, Procedure Code: 99213, Total Charge: $150, Insurance Claim Amount: $120"},
    {"example": "Patient ID: 345678, Patient Name: Emily Stone, Diagnosis Code: E11.9, Procedure Code: 99214, Total Charge: $300, Insurance Claim Amount: $250"},
]

4. 创建提示模板

使用提示模板来指导生成器生成我们需要的数据格式。

from langchain.prompts import FewShotPromptTemplate, PromptTemplate
from langchain_experimental.tabular_synthetic_data.prompts import SYNTHETIC_FEW_SHOT_PREFIX, SYNTHETIC_FEW_SHOT_SUFFIX

prompt_template = FewShotPromptTemplate(
    prefix=SYNTHETIC_FEW_SHOT_PREFIX,
    examples=examples,
    suffix=SYNTHETIC_FEW_SHOT_SUFFIX,
    input_variables=["subject", "extra"],
    example_prompt=PromptTemplate(input_variables=["example"], template="{example}"),
)

5. 创建数据生成器

创建一个数据生成器对象，它能够与底层语言模型进行通信生成合成数据。

from langchain_experimental.tabular_synthetic_data.openai import create_openai_data_generator
from langchain_openai import ChatOpenAI

synthetic_data_generator = create_openai_data_generator(
    output_schema=MedicalBilling,
    llm=ChatOpenAI(temperature=1),  # 使用您的实际语言模型实例
    prompt=prompt_template,
)

6. 生成合成数据

调用生成器来生成合成数据。

synthetic_results = synthetic_data_generator.generate(
    subject="medical_billing",
    extra="the name must be chosen at random. Make it something you wouldn't normally choose.",
    runs=10,
)

# 使用API代理服务提高访问稳定性

代码示例

以下是一个完整的代码示例，展示了如何使用 langchain 库生成合成数据。

%pip install --upgrade --quiet langchain langchain_experimental langchain-openai

from langchain.prompts import FewShotPromptTemplate, PromptTemplate
from langchain_core.pydantic_v1 import BaseModel
from langchain_experimental.tabular_synthetic_data.openai import create_openai_data_generator
from langchain_openai import ChatOpenAI

class MedicalBilling(BaseModel):
    patient_id: int
    patient_name: str
    diagnosis_code: str
    procedure_code: str
    total_charge: float
    insurance_claim_amount: float

examples = [
    {"example": "Patient ID: 123456, Patient Name: John Doe, Diagnosis Code: J20.9, Procedure Code: 99203, Total Charge: $500, Insurance Claim Amount: $350"},
    {"example": "Patient ID: 789012, Patient Name: Johnson Smith, Diagnosis Code: M54.5, Procedure Code: 99213, Total Charge: $150, Insurance Claim Amount: $120"},
    {"example": "Patient ID: 345678, Patient Name: Emily Stone, Diagnosis Code: E11.9, Procedure Code: 99214, Total Charge: $300, Insurance Claim Amount: $250"},
]

prompt_template = FewShotPromptTemplate(
    prefix=SYNTHETIC_FEW_SHOT_PREFIX,
    examples=examples,
    suffix=SYNTHETIC_FEW_SHOT_SUFFIX,
    input_variables=["subject", "extra"],
    example_prompt=PromptTemplate(input_variables=["example"], template="{example}"),
)

synthetic_data_generator = create_openai_data_generator(
    output_schema=MedicalBilling,
    llm=ChatOpenAI(temperature=1),
    prompt=prompt_template,
)

synthetic_results = synthetic_data_generator.generate(
    subject="medical_billing",
    extra="the name must be chosen at random. Make it something you wouldn't normally choose.",
    runs=10,
)

print(synthetic_results)