Tarantool 1.6: NoSQL database and application server

May 11, 20160 likes1,364 views

Alexander Gornyi

The presentation about Tarantool 1.6 (http://tarantool.org/

Техническая конференция 18 октября 2014 г., г. Казань Tarantool 1.6: NoSQL база данных и application server в одном флаконе Александр Горный Mail.Ru Group

Tarantool 1.6: NoSQL база данных и Application server в одном флаконе

История: 2010   Константин Осипов, руководитель и идеолог Tarantool История 2010 - …

Простота memcached, а ещё: • Репликация • Хранение данных на диске • Авторизация • Произвольный expire Key-value storage Key-value storage

Наша репликация  Внутри • асинхронность • row-based  Снаружи • автоматизм • надежность • самовосстановление Наша репликация

 Скорость  Компактность in-memory  Disk-store  Вторичные ключи  Транзакции NoSQL СУБД NoSQL СУБД

$insert into test(id, name) values (null, ‘bar’)  test:auto_increment{‘bar'} select * from test where name <= ‘foo’ limit 2 desc  test.index.name:select(‘foo', { iterator = 'LE', limit = 2}) Язык Язык$

Database Application server Tarantool Tarantool 1.6 Tarantool 1.6

Важные адреса tarantool.org github.com/tarantool/ try.tarantool.org Debian Важные адреса

Perl PHP Python JavaNode.js Ruby Lua Поддержка языков Поддержка языков

Примеры использования Примеры использования

Наши планы  Автошардинг  Синхронная репликация  Петабайт индексов mail.ru Наши планы

Присоединяйся! Установить с http://tarantool.org/ Присоединяйся

Техническая конференция 18 октября 2014 г., г. Казань Спасибо за внимание! Александр Горный CIO Mail.Ru Group E-mail: gornyi@corp.mail.ru Twitter: @gornal

Максим Трегубов, CUSTIS. Миграция данных из Oracle в Postgres. Доклад о том, как мы для одного из заказчиков тестировали переход с СУБД Oracle на Postgres. Расскажем о выборе инструмента миграции данных, настройке тестовой среды и о полученных результатах. Также немного затронем модную тему DevOps и покажем роль Ansible в миграции данных.

Web лекция 2Technosphere1

#PostgreSQLRussia 2015.09.15 - Николай Самохвалов - 5 главных особенностей Po...Nikolay Samokhvalov

Встречи сообщества http://PostgreSQLRussia.org - Миграция из Oracle в Postgres. Встреча в компании CUSTIS. План встречи: 19:00 Приветственная пицца, свободное общение. 19:20 Вступление. Рассказ о CUSTIS. 19:25 Николай Самохвалов. Коротко о PostgreSQL. 19:35 Максим Трегубов, CUSTIS. Миграция данных из Oracle в Postgres. Доклад о том, как мы для одного из заказчиков тестировали переход с СУБД Oracle на Postgres. Расскажем о выборе инструмента миграции данных, настройке тестовой среды и о полученных результатах. Также немного затронем модную тему DevOps и покажем роль Ansible в миграции данных. 20:10 Вячеслав Муравлев, CUSTIS. Data Access Layer как страховка при миграции СУБД. Для многих АС миграция с одной СУБД на другую сродни наступлению страхового случая «тотал» - необходимо переписать львиную долю кода. Подстраховаться от такого ущерба можно с помощью шаблона проектирования Data Access Layer (DAL). Мы расскажем как этот подход помог нам провести первый этап миграции АС одного из заказчиков с Oracle на PostgreSQL, рассмотрим инструментарий, обсудим применимость подхода на уровне предприятия. 20:30 Иван Кухарчук, ЯНДЕКС. Как можно сэкономить на лицензиях и снизить нагрузку на Oracle, переселив отчёты в PostgreSQL. 20:50 Завершение встречи, свободное общение.

Операционная система GNU/Linux: устройство и функционированиеyaevents

OpenStack - открытая облачная платформа (Руслан Киянчук, Mirantis)GeeksLab Odessa

Контейнерная виртуализация. Золушка в облаках / Юрий Устинов (Русоникс)Ontico

Контейнерная виртуализация. Золушка в облакахrusonyx

Слайды доклада с конференции Российские Интернет Технологии 2013 http://ritconf.ru Для обеспечения работы крупных веб-проектов как правило реализуются два сценария: железный и облачный. Классический железный сценарий предполагает решение задачи в лоб и чреват серьезными осложнениями в дальнейшем. Более модный облачный вариант выбирают все чаще. В этом случае речь идет о построении инфраструктурного облака с использованием гипервизора: полной виртуализации (как правило, VMware), либо паравиртуализации (как правило, XEN). В докладе предлагается третий сценарий развития веб-проектов: построение облака с использованием контейнерной виртуализации Parallels Virtuozzo Containers (виртуализация на базе операционной системы) на примере Русоникса. Опыт Русоникса - это тысячи виртуальных серверов для тысяч разноплановых веб-проектов с заведомо непредсказуемым поведением на базе контейнерной виртуализации и типового железа. Контейнеры обеспечивают невероятную плотность и эффективность использования физических ресурсов. Технология используется, например, в Google для выполнения важнейших задач, таких как вывод результатов поиска и показ контекстных объявлений. Однако, несмотря на все преимущества, контейнерная виртуализация остается в тени и на практике известна не так широко, как VMware в корпоративном мире или XEN в облачно-амазонном.

Andrew Pantyukhin P Nf Sv4guest092df8

Tarantool Silverbox, Юрий ВостриковFuenteovejuna

Fedora CryptoconsolidationKonstantin Lepikhov

2013-01-05 01 Леонид Евдокимов. Web scale. Взорвется всеОмские ИТ-субботники

Cocoa Networkingguest57eb8a

Владимир Бородин - PostgreSQLYandex

Операционные системы GNU/LinuxMikhail Chinkov

FreeBSD 2009 — живее всех живыхAndrew Pantyukhin

Kirill A Korinskiy Rit2010 No Sql Storagerit2010

To Go или не to GoIvan Zezyulya

OpenstackNick Mishin

Анатомия веб сервиса (HighLoad-2014)Andrey Smirnov

Software engineering seminars: DockerSemen Martynov

История веб-браузеровKaterin Boronina

«Сетевые протоколы для веб разработчика — выжимаем максимум» Гузель Рахимова

Мониторь, автоматизируй DockerBadoo Development

— Краткий экскурс в предыдущие доклады; -‌ Описание нашей системы сбора статистики с контейнеров и рассказ почему мы решили отказаться от cadvisord; -‌ Автоматическая система сборки контейнеров и интеграция с teamcity; — Наброс о системе генерации и хранения конфигураций.

Perl resourcesmegakott

(Free and Net) BSD Xen RoadmapThe Linux Foundation

As time goes on more OSes are getting Dom0 support, so there's a growing need to provide a platform independent set of tools from which to operate Xen. This talk will expose the different mechanisms used on NetBSD that diverge from the Linux approach, and how Xen is improving its userspace tools to provide a more platform independent support. The talk also touches upon various features that BSD provides or plans to provide with Xen, thus presenting a coherent roadmap view of where we've come from, and what lies ahead. What's in this talk: Xen and BSD Status updates from the world of BSD Ecosystem/userbase

За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)Ontico

Многие из вас, наверное, видели результаты тестов сравнения Tarantool с остальными СУБД, которые показывают, что Tarantool быстрее всех, оптимальней по памяти, обрабатывает наибольшее количество транзакций в секунду. И, несмотря на то, что исходные коды всех тестов полностью открыты и хорошо откомментированы, позволяя всем желающим повторить тесты, все равно остаются вопросы - за счет чего Tarantool такой быстрый и оптимальный? Я решил суммировать мои ответы на эти вопросы в докладе на Highload++. Итак, почему Tarantool такой быстрый? Краткий ответ: потому что он с самого начала разрабатывался и до сих пор разрабатывается во главе угла с производительностью/оптимальностью/минимальным потреблением всех ресурсов системы. Более полный ответ я раскрою в своем выступлении. Приходите, будет интересно! :)

Хранение json-документов в Tarantool / Андрей Дроздов (Mail.ru Group)Ontico

AVRO - система сериализации данных, созданная сообществом Apache Hadoop. Включает в себя различные структуры данных, компактный формат хранения в бинарном виде, язык описания схем данных и правила миграции данных между разными версиями схемы. С помощью инструментария AVRO можно валидировать данные по схеме, совершать преобразования из одной версии в другую и даже восстанавливать неполные данные при помощи значений по-умолчанию. Поддержка Apache AVRO была добавлена в Tarantool в этом году и уже используются в production. Tarantool можно использовать как документо-ориентированную СУБД. В докладе я расскажу про подход к версионированию данных, разработанный командой tarantool: использование avro схемы для валидации входных данных, преобразования от одной версии к другой в runtime, оптимальное хранение версий документа, изменение схемы данных без избыточности и проблем в предыдущих версиях. Также я расскажу, как применять этот подход для создания бэкендов restful api прямо в базе данных (без дополнительной разработки). Для наглядности мы сравним получившуюся систему с популярными веб-фреймворками: django-rest-framework, go-restful, node.js и посмотрим, кто окажется в лидерах по производительности. Кроме того, во время выступления я покажу live пример создания restful api на стеке технологий tarantool в облаке amazon.

История успеха Яндекс.Почты с PostgreSQL / Владимир Бородин (Яндекс)Ontico

More Related Content

What's hot (18)

Контейнерная виртуализация. Золушка в облакахrusonyx

Andrew Pantyukhin P Nf Sv4guest092df8

Tarantool Silverbox, Юрий ВостриковFuenteovejuna

Fedora CryptoconsolidationKonstantin Lepikhov

2013-01-05 01 Леонид Евдокимов. Web scale. Взорвется всеОмские ИТ-субботники

Cocoa Networkingguest57eb8a

Владимир Бородин - PostgreSQLYandex

Операционные системы GNU/LinuxMikhail Chinkov

FreeBSD 2009 — живее всех живыхAndrew Pantyukhin

Kirill A Korinskiy Rit2010 No Sql Storagerit2010

To Go или не to GoIvan Zezyulya

OpenstackNick Mishin

Анатомия веб сервиса (HighLoad-2014)Andrey Smirnov

Software engineering seminars: DockerSemen Martynov

История веб-браузеровKaterin Boronina

«Сетевые протоколы для веб разработчика — выжимаем максимум» Гузель Рахимова

Мониторь, автоматизируй DockerBadoo Development

Perl resourcesmegakott

Контейнерная виртуализация. Золушка в облакахrusonyx

Andrew Pantyukhin P Nf Sv4guest092df8

Tarantool Silverbox, Юрий ВостриковFuenteovejuna

Fedora CryptoconsolidationKonstantin Lepikhov

2013-01-05 01 Леонид Евдокимов. Web scale. Взорвется всеОмские ИТ-субботники

Cocoa Networkingguest57eb8a

Владимир Бородин - PostgreSQLYandex

Операционные системы GNU/LinuxMikhail Chinkov

FreeBSD 2009 — живее всех живыхAndrew Pantyukhin

Kirill A Korinskiy Rit2010 No Sql Storagerit2010

To Go или не to GoIvan Zezyulya

OpenstackNick Mishin

Анатомия веб сервиса (HighLoad-2014)Andrey Smirnov

Software engineering seminars: DockerSemen Martynov

История веб-браузеровKaterin Boronina

«Сетевые протоколы для веб разработчика — выжимаем максимум» Гузель Рахимова

Мониторь, автоматизируй DockerBadoo Development

Perl resourcesmegakott

Viewers also liked (7)

(Free and Net) BSD Xen RoadmapThe Linux Foundation

За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)Ontico

Хранение json-документов в Tarantool / Андрей Дроздов (Mail.ru Group)Ontico

История успеха Яндекс.Почты с PostgreSQL / Владимир Бородин (Яндекс)Ontico

Tarantool как платформа для микросервисов / Антон Резников, Владимир Перепели...Ontico

NoSQL key-value — популярное решение, но какие преимущества и какой ценой оно даёт? Скорость? Возможно, но ценой урезанного, по сравнению с реляционными базами данных, функционала. Но данные и приложение всё еще разделены сетевым стеком, а иногда и десятками километров оптоволокна. В крупном проекте, работающем на десятках или сотнях серверов нельзя обеспечить высокую скорость доступа к данным с каждой машины. Если хранилище достаточно быстро, то время обработки запроса окажется значительно меньше затрат на работу с сетью, а производительность приложения будут определять сетевые задержки и частота запросов к БД. В проекте Облако@Mail.Ru мы ушли от использования чистых key-value хранилищ в пользу микросервисов на Tarantool, что позволило свести общение с хранилищем данных к минимуму. Да, Tarantool — это еще одна NoSQL база данных, но еще это полноценный сервер приложений. Приложений, расположенных рядом с данными! Я расскажу, как мы пришли к использованию микросервисов на основе Tarantool. Приведу несколько сценариев использования, которые работают в Облаке и могут быть легко адаптированы для другого web-проекта. Вы узнаете о компонентах, которые разработаны и опубликованы нами уже сейчас, и о дальнейших планах развития.

Teradata introductionRameejmd

Teradata is an enterprise data warehouse system that integrates data from multiple sources into a single database. It allows organizations to perform comprehensive analytics to gain insights, improve operations, and increase profits. The presentation discusses how Teradata empowers businesses by providing a 360-degree view of customers and enabling real-time reporting. Case studies on Mobilink, a Pakistani telecom company, and Bank Zachodni WBK in Poland, demonstrate how Teradata helped increase revenues, reduce costs, improve customer retention, and support faster decision-making.

HBase Accelerated: In-Memory Flush and CompactionDataWorks Summit/Hadoop Summit

HBase Accelerated introduces an in-memory flush and compaction pipeline for HBase to improve performance of real-time workloads. By keeping data in memory longer and avoiding frequent disk flushes and compactions, it reduces I/O and improves read and scan latencies. Evaluation on workloads with high update rates and small working sets showed the new approach significantly outperformed the default HBase implementation by serving most data from memory. Work is ongoing to further optimize the in-memory representation and memory usage.

(Free and Net) BSD Xen RoadmapThe Linux Foundation

За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)Ontico

Хранение json-документов в Tarantool / Андрей Дроздов (Mail.ru Group)Ontico

История успеха Яндекс.Почты с PostgreSQL / Владимир Бородин (Яндекс)Ontico

Tarantool как платформа для микросервисов / Антон Резников, Владимир Перепели...Ontico

Teradata introductionRameejmd

HBase Accelerated: In-Memory Flush and CompactionDataWorks Summit/Hadoop Summit

Similar to Tarantool 1.6: NoSQL database and application server (20)

Где сегодня использовать ElasticSearchИлья Середа

Построение системы аналитикиИлья Середа

- Как начать развивать систему аналитики в компании, не имея армию data-инженеров. - Как перейти из состояния «я не понимаю какие квадратики на этой схеме нужны для моих задач» и при этом не уйти в R&D на несколько месяцев. - Как реализовать потоковую обработку данных на PHP (~40К записей в минуту). - Какие технические решения применяли в нашем решении и какие факторы учитывали в принятии решений. Презентация с мероприятия https://habr.com/ru/company/tuturu/blog/426059/

Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...Ontico

Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS

Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016. Тезисы В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками? В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.

NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)Ontico

В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками? В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.

Модернизация хранилища данных для использования передовой аналитикиElizaveta Alekseeva

Устаревшее хранилище данных сильно «тормозит» и обходится слишком дорого? Даже если вам очень хочется выбросить его на помойку, не делайте этого: вы рискуете совершить не просто ошибку, а очень дорогостоящую ошибку. Просто замените платформу СУБД с построчным хранением данных на более современную – с поколоночным.

Netapp prezzardaradan

Пётр Зайцев, PerconaOntico

РИФ 2016, Tarantool – кейсы использованияТарасов Константин

Модернизация хранилища данных для использования передовой аналитикиYuri Yashkin

Обновление хранилища, предназначенного для обработки и анализа больших объемов данных, не должно нарушать функционирования вашей информационной среды. Благодаря низкой стоимости, высокой скорости и масштабируемости массивно-параллельной архитектуры колоночная база данных, в частности HPE Vertica, способна стать важнейшим элементом гибридной архитектуры Больших данных.

Обзор перспективных баз данных для highload / Юрий НасретдиновOntico

РИТ++ 2017, Backend Conf Зал Кейптаун, 5 июня, 10:00 Тезисы: http://backendconf.ru/2017/abstracts/2773.html В этом докладе я рассмотрю несколько перспективных, на мой взгляд, баз данных, которые пока еще не очень популярны, но которые определенно ждет успех в будущем, особенно для highload-проектов. Я расскажу о Tarantool, ClickHouse и CockroachDB, о том, как они устроены, и почему я считаю, что они в будущем станут стандартом де-факто, как раньше был MySQL, а сейчас — MongoDB. ...

Tarantool, .net, newsqlAnatoly Popov

Qlogic: Технологии EthernetExpolink

олег царев Rit 2010 реляционные субд и их нереляционные реализацииrit2010

Rit 2010 реляционные олег царев субд и их нереляционные реализацииrit2010

Использование Tarantool для хранения чатов и лент друзей (Константин Осипов)Ontico

Вычислительная инфраструктура без американских производителей: реалии и возмо...КРОК

MySQL NDB ClusterVittorio Cioe

СУБД 2013 Лекция №10 "Нереляционное решение в области баз данных — NoSQL"Technopark

Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных". Лекция №10 "Нереляционное решение в области баз данных — NoSQL". Лектор - Станислав Ступников. Вводная часть посвящена определению и истории развития концепции NoSQL. Даются характеристики, рассказывается о способах использования. Рассматриваются виды NoSQL БД, теоретические основы NoSQL, а в конце лекции обсуждаются недостатки NoSQL-решений, а также проводится сравнение разных NoSQL-решений. Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi

Checklistfinal perconaconfDeveloperua

Где сегодня использовать ElasticSearchИлья Середа

Построение системы аналитикиИлья Середа

Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...Ontico

Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS

NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)Ontico

Модернизация хранилища данных для использования передовой аналитикиElizaveta Alekseeva

Netapp prezzardaradan

Пётр Зайцев, PerconaOntico

РИФ 2016, Tarantool – кейсы использованияТарасов Константин

Модернизация хранилища данных для использования передовой аналитикиYuri Yashkin

Обзор перспективных баз данных для highload / Юрий НасретдиновOntico

Tarantool, .net, newsqlAnatoly Popov

Qlogic: Технологии EthernetExpolink

олег царев Rit 2010 реляционные субд и их нереляционные реализацииrit2010

Rit 2010 реляционные олег царев субд и их нереляционные реализацииrit2010

Использование Tarantool для хранения чатов и лент друзей (Константин Осипов)Ontico

Вычислительная инфраструктура без американских производителей: реалии и возмо...КРОК

MySQL NDB ClusterVittorio Cioe

СУБД 2013 Лекция №10 "Нереляционное решение в области баз данных — NoSQL"Technopark

Checklistfinal perconaconfDeveloperua

Tarantool 1.6: NoSQL database and application server

1. Техническая конференция 18 октября 2014 г., г. Казань Tarantool 1.6: NoSQL база данных и application server в одном флаконе Александр Горный Mail.Ru Group

2. Александр Горный, CIO Mail.Ru Group

3. Tarantool 1.6: NoSQL база данных и Application server в одном флаконе

4. Mail.Ru Group Mail.Ru Group

5. История: 1998-2006 История 1998-2006

6. История: 2007 История 2007

7. История: 2007-2008 История 2007-2008

8. История: 2009-2010 История 2009-2010

9. Почему open source? Почему open-source?

10. История: 2010   Константин Осипов, руководитель и идеолог Tarantool История 2010 - …

11. Простота memcached, а ещё: • Репликация • Хранение данных на диске • Авторизация • Произвольный expire Key-value storage Key-value storage

12. Наша репликация  Внутри • асинхронность • row-based  Снаружи • автоматизм • надежность • самовосстановление Наша репликация

13.  Скорость  Компактность in-memory  Disk-store  Вторичные ключи  Транзакции NoSQL СУБД NoSQL СУБД

14. Скорость Скорость

15. Скорость Скорость

16. Данные Данные

17.  Hash  Tree  Bitset Индексы Индексы

18. insert into test(id, name) values (null, ‘bar’)  test:auto_increment{‘bar'} select * from test where name <= ‘foo’ limit 2 desc  test.index.name:select(‘foo', { iterator = 'LE', limit = 2}) Язык Язык

19. Database Application server Tarantool Tarantool 1.6 Tarantool 1.6

20. Lua Lua

21. Sophia Sophia Sophia

22. Важные адреса tarantool.org github.com/tarantool/ try.tarantool.org Debian Важные адреса

23. Perl PHP Python JavaNode.js Ruby Lua Поддержка языков Поддержка языков

24. Примеры использования Примеры использования

25. Примеры использования Примеры использования

26. Наши планы  Автошардинг  Синхронная репликация  Петабайт индексов mail.ru Наши планы

27. Присоединяйся! Установить с http://tarantool.org/ Присоединяйся

28. Техническая конференция 18 октября 2014 г., г. Казань Спасибо за внимание! Александр Горный CIO Mail.Ru Group E-mail: gornyi@corp.mail.ru Twitter: @gornal

Tarantool 1.6: NoSQL database and application server

Recommended

More Related Content

What's hot (18)

Viewers also liked (7)

Similar to Tarantool 1.6: NoSQL database and application server (20)

Tarantool 1.6: NoSQL database and application server