You are not logged in. Please login or register.
My Visual Database → Russian → Чтение данных из большого текстового файла
Добрый день.
Подскажите, как правильно организовать чтение данных из текстового файла. Размер файла может быть до 8Мб. Пробовал использовать класс TStringList, но даже при размере файла 170кб не удаётся загрузить данные из файла. Вместо TStringList загружаю данные из файла прямо в поле memo, а уже потом выполняю поиск нужных данных.
Есть ли какой-нибудь ещё способ чтения информации из файла большого объёма?
Приветствую.
К сожалению нет под рукой большого текстового файла, чтобы протестировать.
Получаете какое либо сообщение об ошибке?
Сообщений об ошибке нет, делаю sl.LoadFromFile(FileName), потом проверяю количество строк sl.Count, получаю "0". Удаляю часть строк в файле, код начинает работать работать.
Может, свойство Count имеет тип Integer, а надо бы какой-нить WideInteger? Это вопрос к Дмитрию.
Пожалуйста приложите данный текстовый файл.
На яндекс диске:
https://yadi.sk/i/LACua8NR3aigZt
На яндекс диске:
https://yadi.sk/i/LACua8NR3aigZt
Протестировал, загружается полностью
procedure Form1_Button4_OnClick (Sender: TObject; var Cancel: boolean);
var
sl: TStringList;
begin
sl := TStringList.Create;
sl.LoadFromFile('d:\log.txt');
ShowMessage(sl.Count);
sl.Free;
end;Получаю количество строк 70723
У вас данный код не работает?
Выяснил, что текстовый файл содержит символы в кодировке KOI-8R, если их удалить код работает.
Попробуйте скормить этот файл, а потом удалить из него последнюю строку...
report2.txt 982 b, 575 downloads since 2018-08-31
Для загрузки файлов в кодировке ANSI
используйте метод LoadFromFileAnsi
sl.LoadFromFileAnsi('d:\log.txt');Для загрузки файлов в кодировке ANSI
используйте метод LoadFromFileAnsisl.LoadFromFileAnsi('d:\log.txt');
Спасибо, работает.
Классическая задача парсинга: имеется текстовый файл, размер очень большой, в память не загружается ( TStringList.LoadFromFileAnsi(), как и ожидалось, выдаёт Out of Memory ). Необходимо читать данные построчно.
Попробовал так:
const
BufSize = 1;
procedure Form1_Button1_OnClick (Sender: TObject; var Cancel: boolean);
var
FileName : string;
TextFile : TFileStream;
buf: Char;
tmpLine: string;
begin
FileName := ExtractFilePath( Application.ExeName ) + 'test.txt';
TextFile := TFileStream.Create( FileName, fmOpenRead );
TextFile.Seek(0,soFromBeginning);
while not (TextFile.Position >= TextFile.Size) do
begin
// считать строку
tmpLine := '';
while not (TextFile.Position >= TextFile.Size) do begin
TextFile.Read( buf, BufSize );
if buf = #13 then
begin
TextFile.Read(buf, BufSize ); // считать #10
break;
end;
tmpLine := tmpLine + buf;
end;
ShowMessage('Строка: '+tmpLine);
end;
TextFile.Free;
end;Но оказалось, что метод TFileStream.Read передаёт в строку байт и тут же его преобразует в Юникод, что приводит к неверным результатам.
Нет явного типа AnsiString...
procedure Form1_Button1_OnClick (Sender: TObject; var Cancel: boolean);
var
TextFile : TFileStream;
buf, s: Char;
b : byte;
FileName, tmpLine: string;
begin
// FileName := ExtractFilePath( Application.ExeName ) + 'test.txt';
FileName := 'D:\1.txt';
TextFile := TFileStream.Create( FileName, fmOpenRead );
tmpLine:='';
while TextFile.Position < TextFile.Size do
begin
TextFile.Read( buf, 1 );
b := ord(buf);
if ( b>=192 ) then s := chr(b+848) else s := chr(b);
tmpLine := tmpLine + s;
ShowMessage(tmpLine); // пробуем закомментить эту строку
end;
ShowMessage(tmpLine);
TextFile.Free;
end;
begin
end.Без комментариев...
Без комментариев...
Огромное спасибо! Работает - а это главное )))
У меня, если убрать ShowMessage - выдает какой-то мусор вместо строки...
И вот это: "if ( b>=192 ) then s := chr(b+848) else s := chr(b);" - жоский костыль которые не даст всю раскладку utf8
Should BUF and S be an AnsiChar instead of a char?
Don't forget a CHAR is only one single character. and only goes to 255 decimal, You have 848 being tested.
Should BUF and S be a string instead of a char?
Don't forget a CHAR is only one single character.
Or cast the showmessage
procedure Form1_Button1_OnClick (Sender: TObject; var Cancel: boolean);
var
TextFile : TFileStream;
buf: string;
s: char;
b : byte;
FileName, tmpLine: string;
begin
FileName := ExtractFilePath( Application.ExeName ) + 'test.txt';
// FileName := 'D:\1.txt';
TextFile := TFileStream.Create( FileName, fmOpenRead );
tmpLine:='';
while TextFile.Position < TextFile.Size do
begin
TextFile.Read( buf, 1 );
b := ord(buf);
if b = $0D then
begin
TextFile.Read( buf, 1 );
ShowMessage('Строка: ' + tmpLine);
tmpLine:='';
continue;
end;
if ( b>=192 ) then s := chr(b+848) else s := chr(b);
tmpLine := tmpLine + s;
ShowMessage('Магия!'); // если закоментровать, то работать не будет
// ShowMessage(tmpLine); // пробуем закомментить эту строку
// ShowMessage(buf +' - '+inttostr(b) + ' - '+s );
end;
ShowMessage('Строка: ' + tmpLine);
TextFile.Free;
end;In the documentation, the first parameter of the Read () procedure must be a string.But this does not affect the result: without a call to ShowMessage () the script does not work.
I amended my post while you were replying - see AnsiChar for B, Buf and tmpLine
Don't forget a CHAR is only one single character. and only goes to 255 decimal, You have 848 being tested.
In the MVD, string data (CHAR and STRING) is stored in Unicode, two bytes are used to store each character.
Решение, подсказанное Дмитрием: использовать класс TCSV
procedure Form1_Button9_OnClick (Sender: TObject; var Cancel: boolean);
var
FileName: string;
CSV: TCSV;
i: integer;
begin
FileName := ExtractFilePath( Application.ExeName ) + 'test.txt';
CSV := TCSV.Create;
CSV.FieldSeparator := chr(0);
CSV.LoadANSIFile(FileName);
for i :=0 to CSV.LineCount - 1 do
begin
ShowMessage( CSV.Fields[i, 0] );
end;
CSV.Free;
end;Протестировал на файле размером 330 Мб, открывается и читает построчно.
бись...
Решение, подсказанное Дмитрием: использовать класс TCSV
procedure Form1_Button9_OnClick (Sender: TObject; var Cancel: boolean); var FileName: string; CSV: TCSV; i: integer; begin FileName := ExtractFilePath( Application.ExeName ) + 'test.txt'; CSV := TCSV.Create; CSV.FieldSeparator := chr(0); CSV.LoadANSIFile(FileName); for i :=0 to CSV.LineCount - 1 do begin ShowMessage( CSV.Fields[i, 0] ); end; CSV.Free; end;Протестировал на файле размером 330 Мб, открывается и читает построчно.
Увы.... тоже не работает, если убрать ShowMessage()...... Печалька 
vovka3003 wrote:
пока нет....
My Visual Database → Russian → Чтение данных из большого текстового файла
Powered by PunBB, supported by Informer Technologies, Inc.
Theme Hydrogen by Kushi
