SQL操作JSON字段的小技巧-Spark

Json数据通常是半结构化、非固定结构的。将来，我们将扩展spark Sql对JSON支持，以处理数据集中的每个对象可能具有相当不同的结构的情况。例如，考虑使用JSON字段来保存表示HTTP标头的键/值对的数据集。每个记录可能会引入新的标题类型，并为每个记录使用一个不同的列将产生一个非常宽的模式。我们计划支持自动检测这种情况，而是使用map类型。因此，每行可以包含Map，使得能够查询其键/值对。这样，Spark SQL将处理具有更少结构的JSON数据集，推动了基于SQL的系统可以处理的那种查询的边界。