Hugging Face

Hugging Face（huggingface.co）是 AI 领域的"GitHub + AWS"：开源模型托管、 数据集、Spaces（demo）、Inference 服务一站式。已成为开源 AI 生态的事实标准。

核心模块

Hub

• 150 万+ 公开模型
• 25 万+ 数据集
• 30 万+ Spaces（demo 应用）

Transformers 库

• 统一加载 / 微调任何开源 LLM
• pipeline() 一行 API（summarize、translate、embed）
• 与 PyTorch / TensorFlow / JAX 全兼容

Datasets 库

• 流式加载大规模数据集
• 内置 cache、内存映射

PEFT / TRL / Accelerate

• PEFT：LoRA / QLoRA 微调（lora）。
• TRL：RLHF / DPO / PPO 训练（rlhf / dpo）。
• Accelerate：多 GPU / TPU / 混合精度训练。

Inference

• Serverless Inference API：免费额度，按 token 计费。
• Inference Endpoints：自部署模型 API（AWS 等云上）。
• Spaces：免费的 GPU demo 托管。

主流模型托管示例

• meta-llama/Meta-Llama-3-8B-Instruct
• Qwen/Qwen2.5-7B-Instruct
• BAAI/bge-large-en-v1.5（embedding）
• Salesforce/blip-image-captioning-large（多模态）
• openai/clip-vit-large-patch14（多模态）

典型工作流

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-7B-Instruct", device_map="auto")

inputs = tokenizer("你好", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0]))

商业 / 合规

• 模型许可因模型而异，看 HuggingFace model card。
• Hub 私有仓库按月收费。
• 训练数据 ethics 审核（Opt-out 机制）。