pyspark的pickle.PicklingError

今天在用pyspark的时候在一个类中调用rdd的map的时候报错，代码如下：

rdd = df.filter(size(df.emission) > 50).\
         rdd.map(lambda row:hmm_learn(row, self._id))
rdd.collect()

运行的时候报错：

pickle.PicklingError: Cannot pickle files that are not opened for reading

调试了半天才发现是self._id导致的问题，把self._id换成一个普通的变量即可。
原因是我猜的：在每一个task运行的时候已经没有self这个对象了，没有深究原因了。