Home
avatar

ychhh

LLM4DATA 与未来挑战

一点字 0分钟 大模型数据

10 LLM4DATA 与未来挑战（综述 §3–4）

0 一图看懂：LLM 与数据的双向飞轮

综述全篇的框架就是这个双向飞轮——前九章是 DATA4LLM（数据服务模型），本章反过来：

              ┌─────────────────────────────┐
              │                             │
              ↓                             │
        ┌──────────┐                  ┌──────────┐
        │   LLM    │ ── §3 LLM4DATA ─→│  数据系统 │
        └──────────┘                  └──────────┘
       DATA4LLM §2                    反哺三路：
       （前九章：                       ① 数据操纵：清洗/集成/发现
        获取→去重→过滤→                ② 数据分析：表格/图/代码/文档
        选择→配比→合成→                ③ 系统优化：调配置/查优化/诊断
        管道→存储→服务）                              │
              ↑                                      │
              └──── §4 九个开放挑战（两边的缺口）←────┘

§3 LLM4DATA：模型反哺数据系统

3.1 LLM for 数据操纵（清洗/集成/发现）

数据清洗——传统方法靠死规则（邮编校验这类）+ 大量人工 + 领域专长（如金融表的 schema 知识），泛化差。LLM 的价值：自然语言接口省人工和编程、免复杂运行环境、无缝融入领域知识。三个子任务：

标准化

  • LLM-GDO —— 一句话：用用户自定义提示（UDP，含 in-context 示例）让 LLM 算子替代传统 UDF（如数值归一化）。
  • Evaporate —— 一句话：让 LLM 合成抽取代码而不只是直接抽取——弱监督集成多个候选函数提升质量。细节：Evaporate-Direct 直接提示抽取 vs Evaporate-Code 合成抽取代码。
  • Agent 式：流水线自动生成（Agent-based Pipeline Generation）、CleanAgent；AutoDCWorkflow 做数据错误处理。
  • GIDCL（微调式） —— 一句话：LoRA 微调本地 Mistral-7B 做纠错，每条训练实例都是上下文丰富的 prompt（指令 + 错误单元格含行列上下文 + 示例 + 同簇干净元组检索增广）。细节：训练数据 = 标注元组 + LLM 增广伪标注元组；k-means 同簇干净元组做检索增广。

补全（Imputation）

  • RetClean —— 一句话：缺的值不从模型猜，从知识库/相关表检索上下文帮 LLM 推断。

错误处理

  • LLMErrorBench —— 一句话：给 LLM agent 挂 Python，按错误位置提示迭代探索修改数据集，修正动作由执行管道的性能反馈引导。

数据集成——

  • 实体匹配（两记录是否指同一实体）：
    • MatchGPT：系统评估开源/闭源 LLM 的提示设计、示例选择、规则自动生成、共享训练池微调；
    • BATCHER —— 一句话：把多个实体对塞进一个 prompt 摊薄推理成本，贪心覆盖策略保证每个 query 语义上至少贴近一个示例；
    • KcMF —— 一句话：用专家设计的伪代码指令（if-then-else 逻辑序列）+ 多知识源输出集成投票；
    • COMEM —— 一句话：解「二元匹配忽略全局一致性」——局部用中型 LLM（3B-11B）冒泡排序出 top-k 候选，全局用 GPT-4o 建模记录间交互精排；
    • Jellyfish：对 7B-13B 本地 LLM 做多任务指令微调，用 Mixtral-8x7B 蒸馏的解释轨迹引导。
  • Schema 匹配（如 “employee ID” ↔ “staff number”）：LLMSchemaBench 的提示设计模式可参考——persona 模式、元语言创建（显式定义合法匹配标准）、CoT 推理、output automater（结构化 JSON 输出）；Magneto 用 retrieve-rerank 框架结合 SLM 与 LLM；KG-RAG4SM、Agent-OM（agent 编排整个匹配工作流）。

数据发现——

  • 画像（Profiling）：AutoDDG 生成两种数据集描述（面向用户的 UFD 求可读、面向搜索的 SFD 求检索优化）；LEDD 做数据湖的层级编目（把数据簇总结成语义条目）。
  • 标注（Annotation）：
    • CHORUS —— 一句话：提示六件套——指令 + 示例 + 数据样本 + 元数据 + 领域知识 + 输出格式，组成可参考；
    • Goby —— 一句话：三技巧啃层级本体——树序列化进 prompt + 语法约束解码（生成时强制层级结构）+ 逐步提示（CoT 引导本体导航）；
    • RACOON：用知识图谱检索实体相关三元组转成简洁上下文注入提示；
    • Birdie：让 LLM 自动生成自然语言查询训可微搜索索引（DSI）。

可借用点：跨行/跨字段的语义一致性检查（城市-州-邮编不匹配这类）是规则方法的老大难，LLM 做数据清洗的思路可以直接搬进训练语料治理。

3.2 LLM for 数据分析（速览）

  • 结构化（关系表 + 图）：NL2SQL（schema linking 解歧、内容检索动态精化、多步生成/中间 SQL 表示/解码策略）；NL2Code（PACHINCO 两阶段微调 62B PaLM——64B token Python 语料 + 9.6B token Jupyter notebook 语料；DataCoder 双编码器；Data Interpreter 生成任务/动作图分解复杂查询）；多步 QA（静态分解：Extractor-Reasoner-Executor、S3HQA 检索器-选择器-推理器；迭代分解：TAPERA 的 Planner-Reasoner-AnswerGenerator 循环、ReAcTable、CHAIN-OF-TABLE 迭代更新表格）；端到端 QA：
    • TableGPT2 —— 一句话：表格版基座模型——预训练 593.8K 表 + 微调 2.36M QA，表格编码器 + 适配器 + agent 工作流（基于 Qwen2.5）；
    • CABINET 弱监督选行列；TableMaster 让 LLM 生成 SQL 抽相关行；表转图像走多模态。
    • 图数据：NL2GQL、检索后推理 vs 执行后推理、微调、agent 四路。
  • 半结构化：标记语言类、OCR 依赖 vs OCR-free（文本掩码学习、视觉嵌入学习）。
  • 非结构化：文档（UDOP、Pix2Struct、DocPedia）；程序分析（RepoFusion、CoCoMIC；漏洞检测两路——程序分析式 + 案例驱动提示工程；代码摘要/补全）。

3.3 LLM for 系统优化

任务LLM 用法代表
配置调优（DB 旋钮/索引）系统手册 + 论坛经验塞进 prompt；调优 agentLATuner、λ-Tune、DB-GPT、GPTuner、LLMSteer、Andromeda
查询优化逻辑重写 + 物理计划选择GenRewrite、LITHE、LLM-QO、E2ETune
异常诊断RAG 检索诊断知识库 + 多 agent 协作 + 小模型蒸馏R-Bot；D-Bot（多领域 agent + 树搜索）；Panda（五组件模拟 DBA）；ByteHTAP

这一半和训练数据工作关系不大，但 system 层的「LLM 当诊断/调优 agent」范式与数据管道的自动运维是相通的。

§4 未来挑战：九个开放问题（原文细节版）

DATA4LLM 侧（5 个，全是数据岗的机会）

  1. 任务特定的高效预训练选择 —— 一句话：缺「随模型状态动态调整」的选择策略。预训练大量用通用数据，与目标无关的数据既拖慢训练又妨碍领域适配（训医疗模型时新闻和社媒帖会干扰领域知识学习）；现状靠手写过滤规则或固定标注集。方向：训练中自动留相关弃无关。
  2. 管道优化 —— 一句话：管道仍靠经验+实验，要「提前预测最优预处理配置」。原文举例：FineWeb 决定「文本提取用 WET 还是 WARC」「去重用全局 MinHash 还是逐 snapshot」都要训完模型跑分才知道——总共训了 70+ 个 1B 模型、80,000 H100 小时。
  3. 知识更新与版本控制 —— 一句话：静态数据集会过时甚至有害，要社区共建、可版本管理、实时更新的数据集平台。医疗/金融/法律知识高频更新（医学指南一换旧数据就是错的）；新旧信息冲突如何消解无人研究；ChatGPT/DeepSeek 联网搜索也不保证准确和相关。
  4. 不训练的数据集评估 —— 一句话：数据质量不该训完模型才知道——要「评估分数与模型性能直接挂钩、不依赖训练」的评估系统。现有模型无关评估（可靠性/难度/有效性三维，[393]）不够。这是 OpenDataArena、Meta-rater 这条线的共同动机（详见 05 数据选择 的延伸）。
  5. 混合 RAG 索引 —— 一句话：全文/向量/知识图谱/结构化检索没有一体化引擎——Elasticsearch 强在全文+向量，LightRAG 有向量+图，AutoRAG 只管工作流编排。方向：统一平台 + 数据服务功能（知识过滤、重排序）集成。

LLM4DATA 侧（4 个）

  1. 统一数据分析系统 —— 一句话：别一种数据格式养一个专用模型，要一个模型通吃结构化/半结构化/非结构化。
  2. 私有领域知识注入 —— 一句话：RAG 和领域微调在「新颖/高度复杂」知识上失灵——硬例子：万列 × 百万行、每列挂领域知识的 Text-to-SQL，现有方法全失效。
  3. 非顺序/非文本数据的表示 —— 一句话：表格拍平成序列丢行列结构；列选择率、直方图这些统计信号被省略或当纯文本编码——信息损失。方向：多模态 LLM 或定制编码策略。
  4. 预算约束下的 LLM 利用 —— 一句话：纯 LLM 不现实——LLM 查询优化器一次要几分钟 vs 传统统计方法毫秒级。方向：LLM × 传统方法混合调度、按性价比在多个 LLM 间分配任务。

与当下热点的对齐（2026 视角）

  • 挑战 1 + 4 正是 Meta-rater / OpenDataArena / DataDecide 这批工作在解的题——「选数据」「评数据」两端的自动化；
  • 挑战 2 呼应「用小代理模型省算力找最优配置」的 2025-2026 主线（DataDecide、Mixing Laws、Data-Juicer Sandbox）；
  • 挑战 3 与中训语料时效性、污染治理议题相连；
  • 挑战 4 的「不训练评估」是当前最直接的选题缺口：综述明确说现有三维评估「不够」且「与模型能力不对齐」。
数据 综述 LLM4DATA 挑战 选题机会