文件拆分（自用）

原创 已于 2022-12-15 20:21:04 修改 · 310 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#c++
于 2022-12-02 21:55:52 首次发布

按行

#include <iostream>
#include <fstream>
#include <string>
using namespace std;

#define MAX_LINE_PER_FILE   8  //1000000

int main (int argc, char** argv)
{
    unsigned int num_line = 0;
    int index = 0;

    ofstream out;
    string line;
    string file_out;

    if(argc <= 1){
      cout << "need file input" << endl;
      return 0;
    }

    string file_in =  argv[1];
    ifstream in(file_in, ios::in);

    if(in) {
      while (getline (in, line))
      {
        if ((num_line % MAX_LINE_PER_FILE) == 0){
          if(file_out.length() > 0){
            out.close();
          }

          file_out = "out_" + to_string(index) + ".txt";
          index++;

          out.open(file_out, ios::out);

          if(!out) {
            cout << "file created faild!" << endl;
          }
        }

        out << line << endl;
        num_line++;
      }

      cout << num_line << endl;
      out.close();
    }
    else {
      cout <<"no such file" << endl;
    }
  return 0;
}

按大小

#include <iostream>
#include <fstream>
#include <cstring>
#include <unistd.h>
using namespace std;

#if 1
#define MAX_LINE_PER_FILE       100000000
#define SIZE_PER_READ           1000000
#else
#define MAX_LINE_PER_FILE       2000
#define SIZE_PER_READ           1000
#endif


char read_buf[SIZE_PER_READ] = {};

int main (int argc, char** argv)
{
    unsigned int num = 0;
    int index = 0;

    ofstream out;
    string line;
    string file_out;

    if(argc <= 1){
      cout << "need file input" << endl;
      return 0;
    }

    string file_in =  argv[1];
    ifstream in(file_in, ios::binary);

    in.seekg(0, ios::end);
    unsigned int in_size = in.tellg();
    in.seekg(0, ios::beg);

    unsigned int read_size = 0;

    if(in) {
      while (read_size < in_size)
      {
        if ((read_size % MAX_LINE_PER_FILE) == 0){
          if(file_out.length() > 0){
            out.close();
          }

          file_out = "out_" + to_string(index) + ".txt";
          index++;

          cout << file_out << endl;
          out.open(file_out, ios::binary);
          if(!out) {
            cout << "file created faild!" << endl;
          }
        }

        memset(read_buf, 0, SIZE_PER_READ);
        in.read(read_buf, SIZE_PER_READ);
        read_size += SIZE_PER_READ;

        out << read_buf;
      }

      out.close();
    }
    else {
        cout <<"no such file" << endl;
    }
  return 0;
}

折腾 split

#include <iostream>
#include <fstream>
#include <cstring>
#include <unistd.h>
#include <sys/time.h>
#include <ctime>
#include <stdlib.h>
#include <stdio.h>
#include <ctype.h>
#include <time.h>
#include <queue>
#include <list>
#include <thread>
#ifdef WIN32
#include <windows.h>
#else
#include <sys/time.h>
#endif
using namespace std;

string ver = "20221215 v1.0";
#define MAX_LINE_PER_FILE       0X7FFFFFF
#define SIZE_PER_READ           0X800000    // 0X100000
char p_local_time_begin[128] = {};
char p_local_time_end[128] = {};
char p_local_time_mid[128] = {};
clock_t clock_start;
clock_t clock_finish;
clock_t clock_middle;

#ifdef WIN32
#ifndef _TM_DEFINED
struct tm {
    int tm_sec; /* 秒 – 取值区间为[0,59] */
    int tm_min; /* 分 - 取值区间为[0,59] */
    int tm_hour; /* 时 - 取值区间为[0,23] */
    int tm_mday; /* 一个月中的日期 - 取值区间为[1,31] */
    int tm_mon; /* 月份（从一月开始，0代表一月） - 取值区间为[0,11] */
    int tm_year; /* 年份，其值等于实际年份减去1900 */
    int tm_wday; /* 星期 – 取值区间为[0,6]，其中0代表星期天，1代表星期一，以此类推 */
    int tm_yday; /* 从每年的1月1日开始的天数 – 取值区间为[0,365]，其中0代表1月1日，1代表1月2日，以此类推 */
    int tm_isdst; /* 夏令时标识符，实行夏令时的时候，tm_isdst为正。不实行夏令时的进候，tm_isdst为0；不了解情况时，tm_isdst()为负。*/
};
#define _TM_DEFINED
#endif

int gettimeofday(struct timeval *tp, void *tzp)
{
  time_t clock;
  struct tm tm;
  SYSTEMTIME wtm;
  GetLocalTime(&wtm);
  tm.tm_year   = wtm.wYear - 1900;
  tm.tm_mon   = wtm.wMonth - 1;
  tm.tm_mday   = wtm.wDay;
  tm.tm_hour   = wtm.wHour;
  tm.tm_min   = wtm.wMinute;
  tm.tm_sec   = wtm.wSecond;
  tm. tm_isdst  = -1;
  clock = mktime(&tm);
  tp->tv_sec = clock;
  tp->tv_usec = wtm.wMilliseconds * 1000;
  return (0);
}
#endif

void get_local_time(char *time_str, int len, struct timeval *tv)
{
  struct tm* ptm;
  char time_string[800];
  long milliseconds;
  const time_t tt = tv->tv_sec;

  ptm = localtime(&tt);

  // time_t t1;
  // t1 = time(NULL);
  // ptm = localtime(&t1);
  strftime(time_string, sizeof(time_string), "%Y-%m-%d %H:%M:%S", ptm);

  milliseconds = tv->tv_usec/1000;
  snprintf (time_str, len, "%s.%03ld", time_string, milliseconds);
  return;
}

void getStartTime()
{
  timeval current_time_tmp;
  gettimeofday(&current_time_tmp, NULL);
  get_local_time(p_local_time_begin, sizeof(p_local_time_begin), &current_time_tmp);
  clock_start = clock();
}

void getMiddleTime()
{
  timeval current_time_tmp;
  gettimeofday(&current_time_tmp, NULL);
  get_local_time(p_local_time_mid, sizeof(p_local_time_mid), &current_time_tmp);
  clock_middle = clock();
}

void getFinishTime()
{
  timeval current_time_tmp;
  gettimeofday(&current_time_tmp, NULL);
  get_local_time(p_local_time_end, sizeof(p_local_time_end), &current_time_tmp);
  clock_finish = clock();
}

void printTime()
{
  double programTimes = ((double) clock_finish - clock_start) / CLOCKS_PER_SEC;
  double middleTimes = ((double) clock_middle - clock_start) / CLOCKS_PER_SEC;
  printf("start  time = %s\n", p_local_time_begin);
  printf("middle time = %s\n", p_local_time_mid);
  printf("finish time = %s\n", p_local_time_end);
  printf("diff  time1 = %0.3f\n", middleTimes);
  printf("diff  time2 = %0.3f\n", programTimes);
}

list<pair<queue<char *>, bool>> que_list;
bool isReadFinish = false;
int read_cnt = 0;
int write_cnt = 0;

void readFunc(ifstream & in)
{
  in.seekg(0, ios::end);
  unsigned int in_size = in.tellg();
  in.seekg(0, ios::beg);

  unsigned int read_size_all = 0;
  queue<char *> data_que;
  while (read_size_all < in_size) {
    if ((read_size_all & MAX_LINE_PER_FILE) == 0){
      if (read_cnt>0) {
        que_list.back().second = true;
        que_list.emplace_back(data_que, false);

        data_que = queue<char *>();
      }
      read_cnt++;
      while (que_list.size() >= 3) {
        sleep(1);
      }
    }

    char * read_buf = (char *)calloc(SIZE_PER_READ, sizeof(char));
    if(!read_buf) {
      cout << "buf malloc failed!" << endl;
      return;
    }

    unsigned int left_size = in_size - read_size_all;
    if(left_size >= SIZE_PER_READ){
      in.read(read_buf, SIZE_PER_READ);
      read_size_all += SIZE_PER_READ;
    } else {
      in.read(read_buf, left_size);
      read_size_all += left_size;
    }

    data_que.emplace(read_buf);
  }

  que_list.back().second = true;
  que_list.emplace_back(data_que, true);
  isReadFinish = true;
  getMiddleTime();
  return;
}

int checkValidLen(char* buf, int size)
{
  int index = size-1;
  for(; index>=0; index--){
    if(buf[index] != 0){
      break;
    }
  }
  return index+1;
}

void writeFile(list<pair<queue<char *>, bool>>::iterator  it)
{
  string file_out;
  ofstream out;
  static int index = 0;
  bool isFull = false;

  if(it == que_list.end()){
    cout << "it == end\n";
    return;
  }

  queue<char *> data_que = (*it).first;
  if(data_que.empty()){
    cout << "empty\n";
    return;
  }

  file_out = "out_" + to_string(index) + ".txt";
  index++;
  out.open(file_out, ios::out|ios::binary);
  if(!out) {
    cout << "file created faild!" << endl;
    return;
  }

  static unsigned int cnt = 0;
  do {
    isFull = (*it).second;
    while(!data_que.empty()) {
      char *buf = data_que.front();
      int len = checkValidLen(buf, SIZE_PER_READ);
      out.write(buf, len);
      free(buf);
      buf = NULL;
      data_que.pop();

      cnt++;
      if ((cnt & 0X7) == 0) {     // 0X3F
        cout << "<";
      }
    }

    usleep(100000);
  } while(!isFull);

  out.close();
  write_cnt++;
  return;
}

void writeFunc()
{
  list<pair<queue<char *>, bool>>::iterator it;
  while(!isReadFinish) {
    if(que_list.size()>0){
      it = que_list.begin();
      writeFile(it);
      que_list.erase(it);
    }
    usleep(100000);
  }

  if (write_cnt < read_cnt) {
    for(it = que_list.begin(); it != que_list.end(); it++) {
      writeFile(it);
      que_list.erase(it);
    }
  }
  return;
}

int main (int argc, char** argv)
{
  cout << "version: " << ver << endl;
  getStartTime();

  if (argc <= 1) {
    cout << "need file input" << endl;
    return 0;
  }

  string file_in =  argv[1];
  ifstream in(file_in, ios::in|ios::binary);

  if(in) {
    thread th_read(readFunc, ref(in));
    thread th_write(writeFunc);

    th_read.join();
    th_write.join();
  } else {
    cout <<"no such file" << endl;
  }

  cout << endl;
  getFinishTime();
  printTime();
  return 0;
}

提取

#include <iostream>
#include <fstream>
#include <string>
#include <string.h>
using namespace std;

#if 1
#define MAX_LINE_PER_FILE   1000000
#else
#define MAX_LINE_PER_FILE   8
#endif


int main (int argc, char** argv)
{
    unsigned int num_line = 0;
    unsigned int num_read = 0;
    int index = 0;

    ofstream out;
    string line;
    string file_out;
    bool isNeedDebug = false;

    char str_d[15] = " D/";

    char * str_match = NULL;


    if(argc <= 1){
      cout << "need file input" << endl;
      return 0;
    }

    if(argc <= 2) {
      cout << "need special string input" << endl;
      return 0;
    }

    str_match = argv[2];
    cout << str_match << endl;

    if(argc == 4) {
      if((*argv[3] == 'd') || (*argv[3] == 'D')){
        isNeedDebug = true;
        cout << "need d" << endl;
      }
    }

    string file_in =  argv[1];
    ifstream in(file_in, ios::in);

    if(in) {
      while (getline (in, line))
      {
        num_read++;
        //if (line.find(tvp1) != string::npos)) {
        if(strstr(line.c_str(), str_match) != NULL) {
          if(isNeedDebug == false){
            if(strstr(line.c_str(), str_d) != NULL){
              continue;
            }
          }

          if ((num_line % MAX_LINE_PER_FILE) == 0){
            if(file_out.length() > 0){
              out.close();
            }

            if(isNeedDebug) {
              file_out = "out_d_" + to_string(index) + ".txt";
            }else{
              file_out = "out_" + to_string(index) + ".txt";
            }

            index++;

            out.open(file_out, ios::out);

            if(!out) {
              cout << "file created faild!" << endl;
            }
          }

          out << line << endl;

          num_line++;
        }
      }

      cout << num_read << endl;
      cout << num_line << endl;

      out.close();
    }
    else {
      cout <<"no such file" << endl;
    }
  return 0;
}

特殊字符

   32.945 E/NAGSAM  (P  694, T  694): DebugOverwrite.cpp: m_LoadSettings(175) > [31mFailed to open file: /opt/usr/apps/org.tizen.nagsam/debug.xml error: ????=???Y????[0m
   or: ????=?????????[0m
   203.701 I/SMART_DEADLOCK(P  929, T  933): smart-deadlock-logger.c: write_on_hyperuart(158) > ==00002???Fà$??Mà???????à?MàT????à°??????à°??]  
  
  9190.539 D/TV_PLAYER(P  696, T  822): : tv_stream_priv_activate_audio_pipeline(568) > call begin
  9190.539 E/TV_PLAYER(P  696, T  822): : tv_stream_priv_activate_audio_pipeline(572) > stream_name = ATV:0xaec0d400:M(1), stream = 0xaec0d400, audio_enabled = 0, stream_state = 4
  9190.539 D/TV_PLAYER(P  696, T  822): : tv_player_rm_allocate_audio_resource(698) > call begin                                              // loss "call end"
  9190.539 E/TV_PLAYER(P  696, T  822): : tv_player_rm_allocate_audio_resource(701) > [ATV:0xaec0d400:M(1)]
  9190.540 D/TV_PLAYER(P  696, T  822): : tv_player_rm_allocate_audio_out_resource(402) > call begin
  9190.540 E/TV_PLAYER(P  696, T  822): : tv_player_rm_allocate_audio_out_resource(404) > [ATV:0xaec0d400:M(1)]allocate audio out resource, a_out_id[0]
  9190.540 E/TV_PLAYER(P  696, T  822): : tv_player_rm_get_audio_out_category_id(1926) > [ATV:0xaec0d400:M(1)],Use RM_CATEGORY_AUDIO_MAIN_OUT
  9190.714 I/RSC_CENTER_API(P  696, T  822): resource_center.cpp: rc_get_capable_category_id(45) > player_id(141), app_id(org.tizen.tv-viewer), category(9)
  9191.131 I/RSC_CENTER_API(P  696, T  822): resource_center_private.cpp: _rc_dbus_method_call(138) > Method call 'GetCapableCatId'

改写getline

#include <iostream>
#include <fstream>
#include <string>
#include <string.h>
#include <list>
using namespace std;
 
#if 1
#define MAX_LINE_PER_FILE   1000000
#define SIZE_PER_READ       10
#define MAX_READ_TIME       10
#else
#define MAX_LINE_PER_FILE   8
#endif


int get_line (ifstream & in, string & line)
{
    if (!in) {
         cout << "in null" <<endl;
        return 0;
    }

    line = "";

    char change_line[3] = "\r\n"; 
    int i = 0;
    int index = 0;
    char * ptr = NULL;
    char read_buf[SIZE_PER_READ+1] = {};
    bool isFind = false;
    //cout << "-------------" <<endl;

    unsigned int pos = 0;
    pos = in.tellg();

    for(i=0; i<MAX_READ_TIME; i++){
        memset(read_buf, 0, SIZE_PER_READ);
        in.read(read_buf, SIZE_PER_READ);

        if ((ptr = strstr(read_buf, change_line)) != NULL){
            index = ptr - read_buf;          
            in.seekg( 0-(SIZE_PER_READ - index -strlen(change_line))  , ios::cur);
            read_buf[index+strlen(change_line)] = 0;
            line += read_buf;
            isFind = true;
            break;
        } else {
            line += read_buf;
        }
    }

    if(!isFind){
        cout << "no find change line!" << endl;
    }

    int strLen = line.length();
    //cout << "str = " << endl << line;
    //cout << "len = " << strLen << endl;

    return strLen;
} 
 
int main (int argc, char** argv)
{
    unsigned int num_line = 0;
    unsigned int num_read = 0;
    int index = 0;
 
    ofstream out;
    string line;
    string file_out;
    bool isNeedDebug = false;
 
    char str_d[15] = " D/"; 
    char * str_match = NULL; 
 
    if(argc <= 1){
      cout << "need file input" << endl;
      return 0;
    }
 
    if(argc <= 2) {
      cout << "need special string input" << endl;
      return 0;
    }
 
    str_match = argv[2];
    cout << str_match << endl;
 
    if(argc == 4) {
      if((*argv[3] == 'd') || (*argv[3] == 'D')){
        isNeedDebug = true;
        cout << "need d" << endl;
      }
    }
 
    string file_in =  argv[1];
    ifstream in(file_in, ios::in|ios::binary);
 
    if(in) {
      line = "";
      while (get_line(in, line))
      {
        num_read++;
        
        //if (line.find(tvp1) != string::npos)) {
        if(strstr(line.c_str(), str_match) != NULL) {
          if(isNeedDebug == false){
            if(strstr(line.c_str(), str_d) != NULL){
              continue;
            }
          }
 
          if ((num_line % MAX_LINE_PER_FILE) == 0){
            if(file_out.length() > 0){
              out.close();
            }
 
            if(isNeedDebug) {
              file_out = "out_d_" + to_string(index) + ".txt";
            }else{
              file_out = "out_" + to_string(index) + ".txt";
            }
 
            index++;
 
            out.open(file_out, ios::out|ios::binary);
 
            if(!out) {
              cout << "file created faild!" << endl;
            }
          }
 
          out << line << endl;          
          num_line++;
        }        
      }
 
      cout << num_read << endl;
      cout << num_line << endl;
 
      out.close();
    }
    else {
      cout <<"no such file" << endl;
    }
  return 0;
}

提取固定

#include <iostream>
#include <fstream>
#include <string>
#include <string.h>
#include <list>
using namespace std;

#define MAX_LINE_PER_FILE   0XFFFFF
#define SIZE_PER_READ       100
#define MAX_READ_TIME       100
#define IF_NEED_ADD_LINE    1
#define IF_ALL_OUTPUT       0

string ver = "20221208 v1.0";
unsigned int file_size = 0;
unsigned int num_read = 0;

void changeNoneAsicCode(char *buf, int len)
{
  for(int i = 0; i<len; i++){
    if((buf[i]<32) || (buf[i]>126)){
      buf[i] = ' ';
    }
  }
}

char * isHasChangeLine(char *buf, int len)
{
  for(int i=0; i<len; i++) {
    if(buf[i] == '\r'){

      if (i < len-1) {

        if (buf[i+1] == '\n') {
          return (char *)&buf[i+1];
        }
        else {
          return (char *)&buf[i];
        }
      } else {
        return NULL;
      }
    }else if(buf[i] == '\n'){
       return (char *)&buf[i];
    }
  }
  return NULL;
}

int get_line (ifstream & in, string & line)
{
    if (!in) {
      return 0;
    }

    line = "";
    unsigned int pos = in.tellg();
    int left_size = file_size-pos;
    if(left_size == 0){
      return 0;
    }

    char change_line[3] = "\n";
    int i = 0;
    int index = 0;
    char * ptr = NULL;
    char read_buf[SIZE_PER_READ+1] = {};
    unsigned int read_size = 0;

    for(i=0; i<MAX_READ_TIME; i++){
      memset(read_buf, 0, SIZE_PER_READ);

      if(left_size>=SIZE_PER_READ){
        read_size = SIZE_PER_READ;
      }else{
        read_size = left_size;
      }

      in.read(read_buf, read_size);

      if ((ptr = isHasChangeLine(read_buf, read_size)) != NULL) {
        index = ptr - read_buf;
        in.seekg( 0-(read_size - index -strlen(change_line))  , ios::cur);
        read_buf[index+strlen(change_line)] = 0;
        line += read_buf;
        break;
      } else {
        line += read_buf;
      }
    }

    num_read++;
    if((num_read & 0XFFFF) == 0) {
      cout << "<";
    }

    int strLen = line.length();
    return strLen;
}

string num2str(int i)
{
    char buf[7];
    snprintf(buf, sizeof(buf), "%6d", i);
    return buf;
}

int main (int argc, char** argv)
{
    unsigned int num_line = 0;
    int index = 0;
    ofstream out;
    string line;
    string file_out;
    bool isNeedDebug = false;
    int line_len = 0;
    int line_change_num = 0;
    char tvp[15] = "/TV_PLAYER(";
    char tvp_d[15] = "D/TV_PLAYER(";

    cout << "version: " << ver << endl;

    if(argc <= 1){
      cout << "need file input" << endl;
      return 0;
    }

    if(argc == 3) {
      if ((strcmp(argv[2], "-d") == 0) || (strcmp(argv[2], "-D") == 0)) {
        isNeedDebug = true;
        cout << "need d" << endl;
      }
    }

    string file_in =  argv[1];
    ifstream in(file_in, ios::in|ios::binary);
    in.seekg(0, ios::end);
    file_size = in.tellg();
    in.seekg(0, ios::beg);

    if(in) {
      while ((line_len = get_line (in, line))>0) {

        #if !IF_ALL_OUTPUT
        if(strstr(line.c_str(), tvp) != NULL) {
          if(isNeedDebug == false) {
            if(strstr(line.c_str(), tvp_d) != NULL){
              continue;
            }
          }
        #endif

          if ((num_line & MAX_LINE_PER_FILE) == 0){
            if(file_out.length() > 0){
              out.close();
            }

            if(isNeedDebug) {
              file_out = "tvp_d_" + to_string(index) + ".txt";
            }else{
              file_out = "tvp_" + to_string(index) + ".txt";
            }

            index++;

            out.open(file_out, ios::out|ios::binary);

            if(!out) {
              cout << "file created faild!" << endl;
            }
          }

          #if IF_NEED_ADD_LINE
          string strOut = "line " + num2str(num_read) + ": ";
          strOut += line;
          out.write(strOut.c_str(), strOut.length());
          #else
          out.write(line.c_str(), strOut.length());
          #endif
          num_line++;
        #if !IF_ALL_OUTPUT
          }
        #endif
      }

      cout << endl;
      cout << num_read << endl;
      cout << num_line << endl;

      out.close();
    } else {
      cout <<"no such file" << endl;
    }
  return 0;
}

提取指定

#include <iostream>
#include <fstream>
#include <string>
#include <string.h>
#include <list>
using namespace std;

#define MAX_LINE_PER_FILE   0XFFFFF
#define SIZE_PER_READ       100
#define MAX_READ_TIME       100
#define IF_NEED_ADD_LINE    1
#define IF_ALL_OUTPUT       0

string ver = "20221208 v1.0";
unsigned int file_size = 0;
unsigned int num_read = 0;
unsigned int num_line = 0;
bool isNeedDebug = false;
char str_d[15] = " D/";

void changeNoneAsicCode(char *buf, int len)
{
  for(int i = 0; i<len; i++){
    if((buf[i]<32) || (buf[i]>126)){
      buf[i] = ' ';
    }
  }
}

char * isHasChangeLine(char *buf, int len)
{
  for(int i=0; i<len; i++) {

    if(buf[i] == '\r'){

      if (i < len-1) {

        if (buf[i+1] == '\n') {
          return (char *)&buf[i+1];
        }
        else {
          return (char *)&buf[i];
        }
      } else {
        return NULL;
      }
    }else if(buf[i] == '\n'){
       return (char *)&buf[i];
    }
  }

  return NULL;
}

int get_line (ifstream & in, string & line)
{
    if (!in) {
      return 0;
    }

    line = "";
    unsigned int pos = in.tellg();
    int left_size = file_size-pos;

    if(left_size == 0){
      return 0;
    }

    char change_line[3] = "\n";
    int i = 0;
    int index = 0;
    char * ptr = NULL;
    char read_buf[SIZE_PER_READ+1] = {};
    unsigned int read_size = 0;

    for(i=0; i<MAX_READ_TIME; i++){
      memset(read_buf, 0, SIZE_PER_READ);

      if(left_size>=SIZE_PER_READ){
        read_size = SIZE_PER_READ;
      }else{
        read_size = left_size;
      }

      in.read(read_buf, read_size);

      if ((ptr = isHasChangeLine(read_buf, read_size)) != NULL) {
        index = ptr - read_buf;
        in.seekg( 0-(read_size - index -strlen(change_line))  , ios::cur);
        read_buf[index+strlen(change_line)] = 0;
        line += read_buf;
        break;
      } else {
        line += read_buf;
      }
    }

    num_read++;
    if((num_read & 0XFFFF) == 0) {
      cout << "<";
    }

    int strLen = line.length();
    return strLen;
}

bool strMatch(string strLine, list<string> listMatch)
{
  std::list<string>::iterator itm;
  for (itm=listMatch.begin(); itm!=listMatch.end(); itm++) {
    if (strstr(strLine.c_str(), (*itm).c_str()) != NULL) {
      return true;
    }
  }
  return false;
}

string num2str(int i)
{
  char buf[7];
  snprintf(buf, sizeof(buf), "%6d", i);
  return buf;
}

void getMatch(ofstream & out, string line, list<string> listMatch)
{
  static string file_out;
  static int index = 0;

  #if !IF_ALL_OUTPUT
  if(strMatch(line, listMatch)) {

    if(isNeedDebug == false){
      char *ptr = NULL;
      if((ptr = strstr(line.c_str(), str_d)) != NULL){
        if(*(ptr-4) == '.') {
          return;
        }
      }
    }
  #endif

    if ((num_line & MAX_LINE_PER_FILE) == 0){
      if(file_out.length() > 0) {
        out.close();
      }

      if(isNeedDebug) {
        file_out = "out_d_" + to_string(index) + ".txt";
      }else{
        file_out = "out_" + to_string(index) + ".txt";
      }

      index++;

      out.open(file_out, ios::out|ios::binary);

      if(!out) {
        cout << "file created faild!" << endl;
      }
    }

    #if IF_NEED_ADD_LINE
    string strOut = "line " + num2str(num_read) + ": ";
    strOut += line;
    out.write(strOut.c_str(), strOut.length());
    #else
    out.write(line.c_str(), strOut.length());
    #endif
    num_line++;
  #if !IF_ALL_OUTPUT
  }
  #endif

  return;
}

void getOther(ofstream & out, string line, list<string> listMatch)
{
  static string file_out;
  static int index = 0;

  if(!strMatch(line, listMatch)) {
    if ((num_line & MAX_LINE_PER_FILE) == 0){
      if(file_out.length() > 0) {
        out.close();
      }

      file_out = "exclude_" + to_string(index) + ".txt";
      index++;
      out.open(file_out, ios::out|ios::binary);

      if(!out) {
        cout << "file created faild!" << endl;
      }
    }

    #if IF_NEED_ADD_LINE
    string strOut = "line " + num2str(num_read) + ": ";
    strOut += line;
    out.write(strOut.c_str(), strOut.length());
    #else
    out.write(line.c_str(), strOut.length());
    #endif
    num_line++;
  }
  return;
}

int main (int argc, char** argv)
{
  ofstream out;
  string line;
  bool isExclude = false;
  int line_len = 0;
  string str_match;

  cout << "version: " << ver << endl;

  if(argc < 2){
    cout << "need file input" << endl;
    return 0;
  }

  if(argc < 3) {
    cout << "need special string input" << endl;
    return 0;
  }

  list<string> listMatch;

  if ((strcmp(argv[2], "-d") == 0) || (strcmp(argv[2], "-D") == 0)) {
    isNeedDebug = true;
    cout << "need d" << endl;
  } else if ((strcmp(argv[2], "-v") == 0) || (strcmp(argv[2], "-V") == 0)){
    isExclude = true;
    cout << "exclude" << endl;
  } else {
    str_match = argv[2];
    listMatch.emplace_back(str_match);
  }

  for (int i = 3; i < argc; i++) {
    str_match = argv[i];
    listMatch.emplace_back(str_match);
  }

  string file_in =  argv[1];
  ifstream in(file_in, ios::in|ios::binary);
  in.seekg(0, ios::end);
  file_size = in.tellg();
  in.seekg(0, ios::beg);

  if(in) {
    while ((line_len = get_line (in, line))>0) {
      if (!isExclude) {
        getMatch(out, line, listMatch);
      } else {
        getOther(out, line, listMatch);
      }
    }

    cout << endl;
    cout << num_read << endl;
    cout << num_line << endl;

    out.close();
  } else {
    cout <<"no such file" << endl;
  }
  return 0;
}

mktime返回-1说明(C 时间函数)
flysnow010的博客
03-14 1953
mktime参数要求时间是从1970年1月1日0点0分0秒开始时间，不过需要时本地时间，需要根据时区调整t.tm_hour值，才能返回正确的值。
深入解析 gmtime_r：揭开时间转换的神秘面纱
2401_83841822的博客
06-08 2369
在 C/C++ 编程中，时间处理是一个非常常见的需求。本文将详细解析 gmtime_r 函数的实现，逐步讲解其内部工作机制和时间转换的原理，帮助读者深入理解时间处理的核心概念。
【嵌入式】自己写mktime、localtime函数
spiremoon的博客
04-02 3553
世纪秒指自1970年1月1日0时0分0秒至某一日期时间经过的秒数。有些应用场景中，需要将日期时间转换为世纪秒，或者将世纪秒转换为日期时间。 c/c++库中已经有相关的函数，由time.h中的mktime函数和localtime函数分别实现上述两个转换。但在嵌入式设备中，time.h往往只能实现32位的世纪秒运算，最大支持到2038年；且mktime、localtime默认的时间基准年份都是1970...
mktime函数详解
C or CPP
11-10 8540
函数将结构体转换为时间戳，并打印结果。注意在设置年份时，需要将年份减去 1900，因为。将这些时间信息转换为从 1970 年 1 月 1 日开始计算的秒数。中的年份表示从 1900 年开始的年数。同样，月份从 0 开始计数。，然后设置了其中的年、月、日、时、分、秒等时间信息。结构体的指针，结构体包含了年、月、日、时、分、秒等时间信息。是一个 C 标准库中的函数，用于将结构体。表示的时间转换为日历时间（即秒数）。在这个例子中，我们首先初始化了一个。
time_t转换格式化时间
天 下
06-30 1万+
#include #include int main () {     static char str_time[100];     struct tm *local_time = NULL;     time_t utc_time;               utc_time = time (NULL);     local_time = localtime(&utc_t
20190711 - Java把大文件拆分成小文件（按行拆分，及平均拆分）
cfy1024的博客
07-11 3752
按行拆分 public class Test { private static String fileName = "G:/data.txt"; /** *@Description: 按行分割文件 *@Author: annecheng,2019/7/11 */ public static void splitField(int totalLine,...
Python PDF文件拆分-详解
最新发布
nuclear2011的博客
02-28 2671
本文详细介绍了如何使用Python拆分PDF文件，包括将PDF按每一页或特定页数拆分、按特定页码范围拆分和按关键字拆分，以及将PDF的一页拆分为多页。包含详细的步骤介绍和代码示例。
IBM SPSS Statistics教程—文件的拆分和合并
nekonekoboom的博客
07-23 7202
有时候我们需要将一个数据文件进行拆分，以此分析单个或多个不同变量进行数据比较。通常也需要将多个数据文件合并成一个数据文件的操作。那么以上需求我们用IBM SPSS Statistics如何完成呢？ 在这次教程中，我们给大家演示IBM SPSS Statistics如何进行文件的拆分和合并的教程。下面我们使用IBM SPSS Statistics 28（win10）详细演示一遍吧。 导入数据 导入Excel数据 这里我们提前准备了一份Excel表格数据，首先打开已经在中文网下载并安装完成的SPSS软件，
拆分文件，将较大文件根据具体行数拆分
Fields的博客
03-22 1621
拆分文件，将较大文件根据具体行数拆分，主要用于提取数据时，数据量大而在excel展示不成功。将其拆分为具体行数，然后分sheet展示 public static void main(String[] args) { FileReader fr = null; BufferedReader bf = null; FileWriter fw = null; BufferedWriter bw = n...
java 拆分文件
wei_feng__的博客
02-26 2514
场景：某个文件数据比较多，但是需要拆分成多份，手动拆有点太浪费时间，所以写了一个小脚本。 思路： 1. 拿到文件，最做一些简单的检验，在拿到要拆分的数量 2. 得到文件的总行数，除以要拆分的个数，得到每个文件应该存多少行，不能整除多余出来的数据放到最后一个文件中 3. 一行一行读取，先写第一个文件，写到了应该写入的行数，结束 写下一个
linux系统函数之mktime
weixin_46123670的博客
12-12 3233
在工作时需要修复时区转换功能。但是用了很长时间，记录遇到的坑
mktime时间函数
俗科技的博客
01-28 7158
1.函数说明 1.1描述 ​ time_t mktime(struct tm *timeptr) 把 timeptr 所指向的结构转换为自 1970 年 1 月 1 日以来持续时间的秒数，发生错误时返回-1。 1.2.声明 ​ time_t mktime(struct tm *timeptr) 1.3.参数 struct tm { 　 int tm_sec; /* 秒 – 取值[0,59] */ 　　 int tm_min; /* 分 - 取值[0,59] */ 　　
C的时间操作相关函数
code_peak
07-15 1535
UNIX 时间概念 在 UNIX 系统中，将从 1970 年 1 月 1 日开始经过的秒数用一个整数存放，这种高效简洁的时间表示方法被称为 Unix 时间戳，向左和向右偏移都可以得到更早或者更后的时间。实际开发中，对日期和时间的操作非常多，基本无处不在。 时间的概念： 本地时间（locale time） 本地时间是在纪元时间（UTC）时间上加上时区。 格林威治时间（Greenwich Mean Time GMT） 世界时是最早的时间标准。在1884年，国际上将 1s 确定为全年内每日平均长度的 1/
C 库函数 - mktime()
学习日常分享
12-19 1034
C 库函数 time_t mktime(struct tm *timeptr) 把 timeptr 所指向的结构转换为自 1970 年 1 月 1 日以来持续时间的秒数，发生错误时返回-1。
Linux源码中的mktime算法解析
axx1611的专栏
09-20 2万+
Linux源码中的mktime算法解析 我们知道，从CMOS中读出来的系统时间并不是time_t类型，而是类似于struct tm那样，年月日时分秒是分开存储的。 那么，要把它转化为系统便于处理的time_t类型，就需要算法进行转换。 我们都知道我们的公历还是比较复杂的，有大月小月，有闰年非闰年，处理起来会很麻烦。 但是Linux的源代码仅仅用了短短的
Java实现大文本文件拆分
热门推荐
白杨
05-27 2万+
本文给出java拆分大的文本文件的思路和实现方式。
拆分js文件_教你如何正确的拆分JavaScript代码
weixin_29574585的博客
01-10 3482
一个网站该如何以最佳的方式向用户发送资源文件？有很多不同的场景，不同的技术和不同的术语。在这篇文章里，我希望能够让你明白：哪种文件分割策略最适合你的网站和用户，以及如何实现。根据 Webpack 术语表，有两种不同的文件分割类型。它们看起来似乎可以互换，但显然不行：捆绑拆分：创建更多、更小的文件(但每个请求都需要加载它们)以获得更好的缓存效果。代码拆分：动态加载代码，用户只下载他们正在查看的内容所...
使用python对csv文件进行拆分
weixin_44999258的博客
06-16 1万+
背景是在工作中，需要给业务方提供一堆明细数据，从数据库里取出来的明细数据超过csv文件打开的上限了，业务方没法用，所以就需要对其进行拆分先配置相关包并定义一个结果文件的存储路径...
拆分js文件_umi文件拆分
weixin_34731498的博客
12-31 1479
analyze是package.js中定义好的命令’cross-env ANALYZE=1 umi build’ 可以自行添加或者查看umi文档如图所示，目前umi文件比较大，现在来做拆分，比如这：把@ant-design和antd这两个拆分为antdesigns文件、把react|react-dom|react-router|react-router-dom|lodash|lodash-deco...
C# 合并及拆分PDF文件
Eiceblue的专栏
06-21 1万+
C# 合并及拆分PDF文件 有时我们可能会遇到下图这样一种情况 — 我们需要的资料或教程被分成了几部分存放在多个PDF文件中，不管是阅读还是保存都不是很方便，这时我们肯定想要把这些PDF文件合并为一个PDF文件。相对应的，有时候我们也需要拆分一个大的PDF文件，来从中获取我们需要的那一部分资料。这篇文章主要分享如何使用C#来将多个PDF文件合并为一个PDF文件以及将一个PDF文件拆分为多个PDF
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值