Skip to content

spark streaming读取redis问题 #56

Description

@yintengfei

自定义RedisZsetReceiver, 读取指定zset结构内的数据piped.zrange(key, 0, -1),该zset内数据只会新增,不会减少~
当我提交任务后,定时执行,spark streaming ui上每个batch time处理的record都不同,还不是递增状态?如何能达到想要的效果?目前的目标就是每个batch,就把redis zset结构内的数据全部读取出来;spark streaming这种适合我的场景吗?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions