Краткое содержание анализа
С появлением четвертого поколения глобальных обзорных систем (например, китайской CSST “Китайский Хаббл”) астрономические исследования вступили в эпоху больших данных объемом около 100 ПБ (100 миллиардов ГБ). Китайские ученые пытаются создать “централизованные системы искусственного интеллекта” для решения проблем распределения данных и низкой их эффективности использования. Эти системы позволяют связывать данные различных телескопов и многократно анализировать их, что способствует новым научным открытиям. Кроме того, экстремальные условия астрономических исследований (высокие высоты, космос) могут служить “полигоном для испытаний” отечественных технологий в области чипов и хранения данных, стимулируя технологический прогресс. Однако практические проблемы объединения данных требуют решения с помощью унифицированных интерфейсов и общих стандартов.
1. Эпоха астрономических больших данных наступила, но распределенные данные используются лишь поверхностно
Современные астрономические исследования напоминают добычу полезных ископаемых: телескопы (например, CSST) выступают в роли инструментов для сбора данных, содержащих информацию о происхождении и эволюции Вселенной. Однако данные различных исследований хранятся у разных команд и часто используются лишь один раз, после чего архивируются, что эквивалентно раскопке лишь поверхностных слоев данных.
Например, телескопы четвертого поколения, такие как CSST, генерируют огромные объемы данных (около 100 ПБ, что соответствует 1 миллиарду фильмов по 1 ГБ каждый). Обработка этих данных требует тщательной очистки и калибровки; даже незначительные ошибки в алгоритмах могут приводить к серьезным ошибкам при анализе на больших масштабах. Более того, многие научные открытия возможны только благодаря сравнению данных из разных источников (например, оптических и инфракрасных данных), что невозможно сделать с распределенными данными, что является упущением, учитывая значительные инвестиции, вложенные в создание телескопов.
2. Централизованные системы искусственного интеллекта: пробуждение “спящих” данных
Целью создания таких систем является не сбор всех исходных данных в одном месте (поскольку их объем слишком велик, и некоторые из них не могут быть обнародованы), а их объединение с использованием унифицированных интерфейсов и протоколов в единую сеть.
Например, ранее оптические данные телескопа А и инфракрасные данные телескопа Б не могли быть сопоставлены; теперь же с помощью системы искусственного интеллекта они могут быть объединены в одной структуре, что позволяет ученым задавать различные вопросы на основе одних и тех же данных. Как отмечает доцент Тсинхуа Мао Цзюньцзе, именно такое сравнение данных является источником новых открытий.
3. Проблемы с объединением данных? Сначала нужны унифицированные интерфейсы и стандарты
Методы обработки данных различных телескопов сильно различаются (некоторые измеряют оптические параметры, другие — радиоэффекты; используемые чипы также разные). Поэтому нереально сразу объединять все исходные данные. Решение заключается в поиске общих элементов (например, стандартных процессов очистки и калибровки данных), которые затем адаптируются под конкретные потребности каждого телескопа. Участники отрасли согласны использовать унифицированные интерфейсы и протоколы для обмена данными, избегая необходимости переноса огромных объемов информации. Например, руководитель телескопа Моцзы заявил, что если система искусственного интеллекта CSST окажется эффективной, они готовы перейти на использование этой платформы.
4. Экстремальные условия астрономических исследований: полигон для испытаний технологий
Условия астрономических исследований крайне сложны: телескопы, расположенные на высоте (например, в Цинхае на высоте 4300 метров), работают в условиях низких температур и недостатка кислорода; космические телескопы сталкиваются с вакуумом, сильным излучением и большими температурными перепадами. Эти условия идеально подходят для проверки пределов отечественных технологий:
- Хранение данных: обработка и поиск информации в объемах 100 ПБ требуют высокой пропускной способности и скорости выполнения операций, что позволяет выявить недостатки баз данных;
- Чипы: космическое излучение может повлиять на их работу; функционируют ли GPU на таких высотах? Это проблемы, не встречающиеся в обычных коммерческих условиях;
- Технологические решения: например, технология огромных стальных канатов, разработанная для китайского радиотелескопа FAST, нашла применение в промышленности; компания Inspur использовала отечественные серверы и технологии жидкого охлаждения в районе Даочэн на высоте 4410 метров для создания самого высокого в мире центра обработки данных, связанного с астрономическими исследованиями.
В общем, астрономия служит инструментом для выявления технологических недостатков и стимулирования их улучшения в промышленности.
5. Взаимовыгодное сотрудничество науки и промышленности: астрономия как движущая сила технологического прогресса
Ранее проекты вроде Sloan Survey способствовали развитию баз данных Microsoft; теперь китайская астрономия стремится следовать тому же пути, используя потребности науки для стимулирования технологического прогресса. Решение проблем обработки астрономических данных может сделать отечественные чипы и системы хранения данных более надежными и эффективными. В свою очередь, прогресс в промышленности может способствовать дальнейшему развитию астрономии, создавая взаимовыгодный цикл. Это позволяет Китаю лидировать в астрономических исследованиях и способствует внедрению передовых технологий в различные сферы экономики.