【微博客】scala语法笔记注册一个UDF函数，将timestamp转换成年月

原创于 2019-04-24 17:09:16 发布 · 591 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

编程同时被 2 个专栏收录

73 篇文章

订阅专栏

scala

2 篇文章

订阅专栏

本文介绍如何在Spark中使用用户定义函数(UDF)将时间戳转换为特定格式的日期，具体为年月格式。通过注册UDF，可以灵活地进行日期格式的转换，示例代码展示了将timestamp字段转换为yyyyMM格式的过程。

    // 日期格式化
    val simpleDateFormat  = new SimpleDateFormat("yyyyMM")
    // 注册一个UDF函数，将timestamp转换成年月
    spark.udf.register("changeDate",(x:Int)=>simpleDateFormat.format(new Date(x * 1000)).toInt)

    val ratingOfYearMonth = spark.sql("select mid, score, changeDate(timestamp) as yearmonth from ratings")