Компактная вычислительная платформа для моделирования CMF
Компактная вычислительная платформа для моделирования CMF
Для реализации модели динамики океана высокого пространственного разрешения, а также совместных моделей океан-лед, атмосфера-океан-лед и т. д., и для эффективной обработки больших объемов информации на современных суперкомпьютерах необходима специальная программная среда, эффективно реализующая взаимодействие модельных компонентов между собой и с внешним миром в условиях массивного параллелизма и распределённой памяти. Программная система, объединяющая программные комплексы нескольких моделей, называется каплер (от англ. coupler). За рубежом их создание началось около двух десятков лет назад в группах моделирования океана, атмосферы, льда и т.д. Нами разработана оригинальная программная среда, получившее название Компактная вычислительная платформа для моделирования CMF (Compact Modeling Framework). Задачи CMF состоят в следующем:
• объединить две и более модели физических компонент (океана, морского льда, атмосферы и т. д.) в единую исполняемую программу,
• синхронизировать работу моделей,
• обеспечить обмен данными между ними (включая интерполяцию между разными сетками), выполнять сервисную работу (например, ввод-вывод и межпроцессорные обмены), избегая при этом простаивания физической модели,
• сделать процесс подключения/замены моделей простым и понятным,
• обеспечить поддержку всех этапов жизни модели (в частности, пре- и пост-процессинг данных, визуализацию результатов расчетов).
В CMF3.0 принято разделение: модельные (океан, лед, атмосфера и тд) и сервисные компоненты. Каждая компонента работает на своем пуле процессорных ядер. Все модели отправляют свои запросы общего вида в единую очередь сообщений (рис.1). Сервисные компоненты берут из этой очереди только сообщения, которые могут обработать, забирают или кладут данные в виртуальные глобальные массивы и выполняют соответствующие действия. Архитектура позволяет минимизировать связи между физическими и сервисными компонентами и значительно упростить разработку. Более того, поскольку все сервисы наследуют общий базовый класс Service, добавление нового сервиса не представляет сложностей. Сейчас CMF 3.0 содержит следующие независимые параллельные сервисы: CPL (операции интерполяции данных при пересылке между модельными компонентами на различных сетках), IOS/IOF (I/O Fast, I/O Slow — быстрые и медленные устройства работы с файлами), DAS (система ассимиляции данных наблюдений), NST (нестинг – обеспечение региональной модели граничными условиями из глобальной модели).
В рамках версий CMF2.0, CMF3.0 были предложены различные алгоритмы переинтерполяции между различными сетками компонент совместной модели, см. рис. 2. CMF показала очень хорошие, превышающие мировые аналоги, результаты по скорости обработки больших объемов информации для управляемой ею модели океана. Получена почти линейная масштабируемость до 32768 ядер в модели Мирового океана 1/10 х 1/10 х 49 ИВМИО (разрешение 1/10 градуса и 49 горизонтов, см. рис. 3.). Проведены тестовые расчеты с моделью Мирового океана с разрешением 1/20 градуса.
Компактная вычислительная платформа CMF является первой и, насколько нам известно, единственной разработанной в России параллельной системой для создания совместных гидродинамических геофизических моделей высокого разрешения.
Скачать CMF 2.0/3.0 можно в разделе загрузок.
• объединить две и более модели физических компонент (океана, морского льда, атмосферы и т. д.) в единую исполняемую программу,
• синхронизировать работу моделей,
• обеспечить обмен данными между ними (включая интерполяцию между разными сетками), выполнять сервисную работу (например, ввод-вывод и межпроцессорные обмены), избегая при этом простаивания физической модели,
• сделать процесс подключения/замены моделей простым и понятным,
• обеспечить поддержку всех этапов жизни модели (в частности, пре- и пост-процессинг данных, визуализацию результатов расчетов).
В CMF3.0 принято разделение: модельные (океан, лед, атмосфера и тд) и сервисные компоненты. Каждая компонента работает на своем пуле процессорных ядер. Все модели отправляют свои запросы общего вида в единую очередь сообщений (рис.1). Сервисные компоненты берут из этой очереди только сообщения, которые могут обработать, забирают или кладут данные в виртуальные глобальные массивы и выполняют соответствующие действия. Архитектура позволяет минимизировать связи между физическими и сервисными компонентами и значительно упростить разработку. Более того, поскольку все сервисы наследуют общий базовый класс Service, добавление нового сервиса не представляет сложностей. Сейчас CMF 3.0 содержит следующие независимые параллельные сервисы: CPL (операции интерполяции данных при пересылке между модельными компонентами на различных сетках), IOS/IOF (I/O Fast, I/O Slow — быстрые и медленные устройства работы с файлами), DAS (система ассимиляции данных наблюдений), NST (нестинг – обеспечение региональной модели граничными условиями из глобальной модели).
В рамках версий CMF2.0, CMF3.0 были предложены различные алгоритмы переинтерполяции между различными сетками компонент совместной модели, см. рис. 2. CMF показала очень хорошие, превышающие мировые аналоги, результаты по скорости обработки больших объемов информации для управляемой ею модели океана. Получена почти линейная масштабируемость до 32768 ядер в модели Мирового океана 1/10 х 1/10 х 49 ИВМИО (разрешение 1/10 градуса и 49 горизонтов, см. рис. 3.). Проведены тестовые расчеты с моделью Мирового океана с разрешением 1/20 градуса.
Компактная вычислительная платформа CMF является первой и, насколько нам известно, единственной разработанной в России параллельной системой для создания совместных гидродинамических геофизических моделей высокого разрешения.
Скачать CMF 2.0/3.0 можно в разделе загрузок.