Amazon 公开的商品数据包含商品元数据和客户评论，为研究电子商务信息提供了丰富材料。本课关注 Electronics（电子产品）类别，介绍数据内容、获取链接、文件格式，以及将数据用于检索增强生成（RAG）流程时的预处理与使用方法。
数据组成与来源
课程使用根据 Amazon 网站整理的公开数据集，供研究和教学使用，包含：
- 商品元数据：商品标题、描述、规格、类别等信息。
- 客户评论：用户评分、评论文本及其他元数据。
- 使用数据时，应遵守数据提供方的适用条款，并正确引用原始整理者。下面提供 Electronics 类别的下载链接，以及格式和字段说明。
可以从 Amazon Reviews 2023 数据页面 查找并下载数据。
1．商品元数据：Electronics
内容：电子产品类别的商品元数据，包括标题、描述、价格、类别层级和关联商品链接，可用于获取商品规格及背景信息。
- 下载：
meta_Electronics.jsonl.gz。该类别约有 160 万种商品，课件列出的压缩文件大小约为 1.2 GB。数据供研究和教学使用，使用时需要引用来源。 - 格式：JSON Lines，每行对应一条商品记录。解压
.gz文件后，按照数据提供方的示例，使用 Python 的json.loads逐行解析为字典。 - 数据字段：参见 商品元数据字段说明。
2．客户评论：Electronics
内容：电子产品的客户评论，包括评论文本、星级评分及其他元数据。评论反映用户看法，可以用于情感分析或整理商品优缺点。
- 下载：
Electronics.jsonl.gz。包含约 4390 万条评论，课件列出的压缩文件大小约为 6 GB。数据供研究和教学使用，使用时需要引用来源。 - 格式：JSON Lines，每行对应一条评论记录。解压
.gz文件后，按照数据提供方的示例，使用 Python 的json.loads逐行解析为字典。 - 数据字段：参见 用户评论字段说明。
预处理与准备
在分析数据或构建 RAG 流程之前，需要进行预处理和筛选，使数据规模更便于处理、内容更符合具体任务，并提高嵌入和搜索结果的质量。
选择便于处理的数据子集
Electronics 类别约有 160 万种商品和 4390 万条评论，处理全部数据需要较多资源。可以根据研究目标筛选子集：
- 热门商品：选择热门或重要的商品，例如按照评论数量或销售排名选出前 N 种商品。这样可以显著减少数据量，同时保留与分析相关的项目。
- 评论数量：只保留评论数量达到一定门槛的商品，确保每种商品有足够数据。例如，选择至少有 50 条评论的电子产品，减少评论稀少的长尾商品。
- 时间范围：研究近期趋势或对近期评论进行 RAG 问答时，可以选取特定时间窗口，例如最近五年的评论。使用更新至 2023 年的数据时，可以按
timestamp筛选 2020—2023 年的数据。 - 随机抽样：部分项目可以从评论中随机抽样，例如从 4390 万条评论中抽取 10 万条，使实验便于执行。许多评论内容重复或相似，因此抽样通常能在缩小规模的同时保留多样性。
- 商品类别分支：Electronics 还包含 Cell Phones & Accessories、Computers、Camera & Photo 等子类别。可以使用元数据中的类别列表，按照类别层级筛选数据。
开发时可以使用规模较小的子集验证数据流程能否完整运行，再根据需要扩大数据规模。例如，选择排名前 1000 的电子产品及其评论作为实验数据集。希望你能在探索 Amazon 商品数据的过程中获得有用发现，顺利完成编程练习。