DB에 집어넣어보시는 건 어떨지 싶네요.
하루 2만건 정도의 데이터라도 데이터량은 그렇게 크지 않을 테고, 인덱스 정도만 잘 걸어놓으시면 수백만건도 무리가 없을 거라 생각됩니다. SQL을 이용하시면 적절한 형태로 데이터를 가공하는 것도 그다지 어렵지 않으실 듯 합니다.

예전에 2초 단위로 데이터를 받아서 파일로 저장하는 경우가 있었는데, 이 때 이 raw 데이터는 날짜 단위로 저장했습니다. 하루를 꼬박 돌리면 43200 건 정도네요. 최대 40대 정도의 데이터를 받았으니깐, 하루에 최대 160만건 정도의 데이터를 저장한 듯 하네요.
C++의 표준 iostream을 이용했던 걸로 기억하고 STL vector를 이용했습니다. 검색 알고리즘만 잘 작성하면 2만개의 데이터 정도는 1~2초면 가능할 겁니다. 제가 사용했던 분석 모듈에서도 최대 40건의 raw 데이터 하루치 정도를 읽어서 순차적으로 처리하는데 체감속도 상으로는 10초 남짓이면 가능했던 것으로 기억합니다.

일단 파일은 일정 수준(수 GB 정도로 알고 있습니다.)이 넘어가면 더 이상 기록을 할 수 없었던 상황이 발생했던 것으로 기억합니다. 참고하세요.

견웅 님이 쓰신 글 :
: 프로젝트를 하다가 ..  몇일간 파일을 저장하는 작업을 해야 합니다.
: 하루면 2만건 정도의 데이타가 싸이는데.....
: 현재 파일은 1나로 해서 돌리고 있습니다. 또한 파일을 보여주는 부분에서도
: 2만건의 데이타를 검색해서 보여주고 ...  음.. 무리가 있을꺼라 생각하는데..
: 의견을 듣고 싶습니다.
: 이렇게 많은 데이타를 넣어야 하는경우.
: 파일을 어떻게 구성하는지...
: 파일 하나로 다 넣는지 아니면 날짜로 하시는지...