Hadoop源码学习之-----Mapreduce输入流:InputFormat,InputSplit,RecordReader

最新推荐文章于 2021-03-03 22:36:05 发布

原创最新推荐文章于 2021-03-03 22:36:05 发布 · 680 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

大数据

当前文章被收录于：

大数据

7 篇文章 0 人学习

订阅专栏查看详情

hadoop

当前文章被收录于：

hadoop

2 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文介绍了MapReduce中输入流的基本概念，包括抽象类InputSplit和InputFormat的作用，以及如何通过FileInputFormat和TextInputFormat实现文件的拆分和记录读取。重点讲解了计算SplitFile大小的方法及LineRecordReader的具体实现。

Mapreduce 输入流

这里写图片描述

abstract class inputSplit

abstract class InputFormat:

getSplits : split the input files/db/sequecefiles
createRecordReader  : return the RecordReader of one of split of splits

FileInputFormat

TextInputFormat extends FileInputFormat

//计算SplitFile的大小
  protected long computeSplitSize( long blockSize , long minSize,
                                  long maxSize ) {
    return Math.max(minSize , Math.min( maxSize, blockSize));

createRecordReader:

    String delimiter = context.getConfiguration().get(
        "textinputformat.record.delimiter" );
    byte[] recordDelimiterBytes = null ;
    if (null != delimiter)
      recordDelimiterBytes = delimiter.getBytes(Charsets. UTF_8);
    return new LineRecordReader(recordDelimiterBytes );

LineRecordReader:

    // We always read one extra line, which lies outside the upper
    // split limit i.e. (end - 1)
    while (getFilePosition() <= end || in.needAdditionalRecordAfterSplit()) {

LineReader:

  private int bufferSize = DEFAULT_BUFFER_SIZE;
  private InputStream in;
  private byte[] buffer ;
  private int readCustomLine(Text str, int maxLineLength , int maxBytesToConsume)
    //一个一个buffer读