Принцип действия следующий:

Во-первых хранение данных, так чтобы в них самому не запутаться, организовано следующим образом: все данные хранятся в обычных текстовых файлах, чтобы можно было видеть все "косяки" с данными без спецпрограмм, а заодно просто их редактировать. Поиск данных начинается от некоторой базовой директории. В ней лежат названия поставщиков данных (мы ведь можем получить их из разных источников). В них лежат директории с названиями символов. В них уже лежат сами данные, разбитые по таймфреймам. Все таймфреймы я не храню, только тики, M1, H1 и D1 – остальные считаются «на лету». Тики хранятся по дню, минуты по месяцу, часы по году, дни хранятся все в одном файле.

Обращение к данным «прозрачно» для обращающейся программы. Я использую С++ и обращение выглядит как обращение к классу SYMBOL. Завожу переменную это класса и указываю с какими данными работать, например:
SYMBOL IEESR(“Finam”, “IEESR”);

Далее, могу выбирать интересующие меня, например, часы:
Bar = IEESR.H1(время);

И уже с барами работаю как мне нужно для расчётов. В этом месте происходит «сшивка» с новыми поступающими данными. Если на запрошенное время не находится данных, то система останавливает текущую задачу. Как только данные приходят, задача получает новый бар и продолжает делать то что должна, как будто и не было никакой остановки.

Вся выборка из базы получается полностью прозрачной для вызывающего кода. Система сама определяет в каком файле хранятся запрашиваемые данные, загружает весь файл в память, где и хранит не стирая до тех пор, пока не закончится память, или я не выйду из программы полностью. Это сделано со следующими целями – не нужно повторно обращаться к файлам (это долго), если торговая система периодически перезапрашивает одни и те же данные, и не нужно загружать данные ещё раз, если работают параллельно с одними данными несколько задач. Поскольку данные хранятся в памяти только один раз, то при приходе новых данных достаточно обновить только одну таблицу. Когда эта таблица освобождает память, если она была изменена – она сохраняется на диске в истории.

BlakBird..