The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Netflix опубликовал патчи с реализацией TLS для ядра FreeBSD

15.08.2019 23:09

Компания Netflix предложила для тестирования работающую на уровне ядра FreeBSD реализацию TLS (KTLS), которая позволяет добиться существенного увеличения производительности шифрования для TCP-сокетов. Поддерживается ускорение шифрования передаваемых данных с использованием протоколов TLS 1.0 и 1.2, отправляемых в сокет при помощи функций write, aio_write и sendfile.

Обмен ключами на уровне ядра не поддерживается и соединение должно вначале быть установлено и согласовано в пространстве пользователя. Для передачи ядру полученного в процессе согласования соединения сессионного ключа для сокетов добавлена опция TCP_TXTLS_ENABLE, после активации которой все отправляемые в сокет данные будут инкапсулироваться в кадры TLS с использованием заданного ключа. Для отправки служебных сообщений, например для согласования соединения, следует использовать функцию sendmsg с типом записи TLS_SET_RECORD_TYPE.

Поддерживается два основных метода шифрования TLS-кадров: программный и ifnet (с задействованием аппаратных средств ускорения сетевых карт). Выбор метода осуществляется при помощи опции сокета TCP_TXTLS_MODE. Программный метод позволяет подключать разные бэкенды для шифрования. В качестве примера опубликован бэкенд ktls_ocf.ko с поддержкой AES-GCM, реализованный на базе фреймврока OpenCrypto. Для управления предлагается несколько sysctl в рамках ветки kern.ipc.tls.*. При сборке ядра поддержка TLS включается при помощи опции KERN_TLS.

  1. Главная ссылка к новости (https://twitter.com/lattera/st...)
  2. OpenNews: Релиз ядра Linux 4.13 со встроенной поддержкой TLS
  3. OpenNews: Организация EFF представила инициативу STARTTLS Everywhere
  4. OpenNews: Опубликован RFC для TLS 1.3
  5. OpenNews: Около миллиона TLS-сертификатов подлежат отзыву из-за проблем с энтропией
  6. OpenNews: Около 5.5% сайтов используют уязвимые реализации TLS
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/51293-ktls
Ключевые слова: ktls, tls, freebsd
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (72) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 23:43, 15/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –11 +/
    Ну вот, если теперь в ядро поддержку устройств добавить и на нормальную лицензию перевести, получится вполне годная операционная система... Хотя, подождите ка!
     
     
  • 2.9, Аноним (-), 00:32, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +33 +/
    Так сделай свое ядро, с нетфликсом и амазонами, и сериалы встрой, чтоб ничего не надо качать, поставил и сразу игру престолов смотришь!
     
     
  • 3.25, Наделал (?), 07:18, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    так ведь мы тут в MS, того, уже ж?!

     
  • 3.27, Аноним (27), 07:59, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Зачем?
     
     
  • 4.45, Аноним (-), 14:26, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А чеб нет?
     
     
  • 5.58, Аноним (58), 17:41, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    ачобда ?
     
     
  • 6.60, Канифоль Патрика (?), 19:05, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Так а чё, линуксоиды принципиально не смотрели "Игру Престолов"? Высокомерные, однако.
     
     
  • 7.61, Канифоль Патрика (?), 19:06, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Простите, забыл ввести в курс дела. "Игра Престолов" - это HBO. Её нет на Netflix.
     
     
  • 8.64, Аноним (-), 19:59, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Встроить модуль HBO в ядро, делов то ... текст свёрнут, показать
     
  • 8.71, Аноним (71), 09:36, 17/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Вводи глубже Что такое НВО Или HBO И почему это должно быть интересно жител... текст свёрнут, показать
     

  • 1.2, Аноним (2), 23:45, 15/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Да, в свободное от тивоизации время корпорации иногда скидывают со своего царского стола патчики.
     
     
  • 2.12, анонн (ok), 00:43, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не знал, что в Амазоне, Гугле и КлаудФлари используют БЗД.
    А оно во как выходит!
    Век живи, век (на опеннете) учись!
     
     
  • 3.24, Аноним (24), 06:45, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • –2 +/
    А где в новости упоминается Google?
     
     
  • 4.39, анонн (ok), 12:06, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > А где в новости упоминается Google?

    Вы живете в параллельной вселенной и у вас гугл делится всеми патчами ядра, ФС, используемыми внутри гугля дистрибутивами и прочим? А то у нас, например, ГуглФС так и осталась проприетарной.
    Ну так у нас в бизнес-модели "все есть облако" никакой разницы между GPLv2 и BSD лицензией для конечного пользователя нет. Конечноый пользователь пользуется сервисом, бинарников не видит и требования открыть код может сразу писать на мягкой туалетной бумаге.
    А у вас там хорошо и вендокапец небось уже не за горами?

     
     
  • 5.53, Аноним (53), 16:04, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Всё верно, но патчами для ядра используемыми на смартфонах им приходится делиться, а Sony продавая freebsd на playstation ничем не делилось.
     
     
  • 6.56, zzz (??), 17:33, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    git -C /usr/src log  --since="01.01.2010"|grep -ic "sponsored.*sony", конечно же, не будет
     
  • 5.55, AlexYeCu_not_logged (?), 16:53, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >А то у нас, например, ГуглФС так и осталась проприетарной.

    А она базируется на GPL-продуктах или взаимодействует с ними таким образом, что должна быть открыта?

     
     
  • 6.59, анонн (ok), 18:32, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +4 +/
    >>А то у нас, например, ГуглФС так и осталась проприетарной.
    > А она базируется на GPL-продуктах

    Ну, в качестве ядра ОС используется Линух. А так-то доступ пользователя к этому только в виде услуги, так что открывать вообще необязательно, чем Google и пользуется.

    > или взаимодействует с ними таким образом, что должна быть открыта?

    И? Опять классические двойные стандарты опеннета?
    "Кто-то использует фрю, не открывая свои наработки, ведь BSD лицензия позволяет - Фуууу! Эти проприетарные подстилочки!!!"
    "Google/Amazon/CloudFlare используют линукс на своих серверах, с кастомными патчами, ФС и прочим, которые они не собираются открывать, ведь GPL лицензия позволяет - Урраааа! Линукс везде!"


     
     
  • 7.63, AlexYeCu_not_logged (?), 19:23, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Так по условиям GPL это не является достаточным условием для наследования лиценз... большой текст свёрнут, показать
     
     
  • 8.65, анонн (ok), 21:54, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Например здесь, в этой ветке Капитанит Очевидно Это утрировано А тут, в это... текст свёрнут, показать
     
     
  • 9.74, AlexYeCu_not_logged (?), 18:40, 17/08/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Почему бы и нет Истинность информации не зависит от цитируемости оной Просто е... текст свёрнут, показать
     
     
  • 10.76, анонн (ok), 23:46, 17/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Млин, эталон культуры дискуссии Но маловняемые конечно же пользователи BSD... текст свёрнут, показать
     
  • 8.73, Аноним (73), 14:25, 17/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    только так почему-то считают только пользователи Linux и GPL-одаренные Может не... текст свёрнут, показать
     
     
  • 9.75, AlexYeCu_not_logged (?), 18:47, 17/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Неофит Свободу он выбрал 8230 Свободу в чём и для кого Задумайся, если есть ... текст свёрнут, показать
     
     
  • 10.78, bOOster (ok), 08:38, 19/08/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Открыть код если соблюдаются некоторые условия использования - что есть принужде... текст свёрнут, показать
     
  • 3.26, пох. (?), 07:19, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    так они и не скидывают, им-то зачем?

     
  • 3.36, Аноним (36), 11:29, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Нетфликс использует бзд на кеширующих серверах которые стоят на стороне провайдеров.
     

  • 1.3, Аноним (3), 23:51, 15/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –13 +/
    Впервые бзд что-то получили обратно
     
     
  • 2.4, mikhailnov (ok), 23:53, 15/08/2019 [^] [^^] [^^^] [ответить]  
  • +13 +/
    От Netflix - не впервые.
     
  • 2.13, анонн (ok), 00:58, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +18 +/
    > Впервые бзд что-то получили обратно




    % git -C /usr/src log  --since="01.01.2015"|grep -ic "sponsored.*netflix"
    851



    Ох уж эти анонимные знатоки!

     
  • 2.19, Котофалк (?), 03:08, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +10 +/
    просто каникулы, делать нечего, и школьнеги читают новости чуть внимательней. но сентябрь близко, скоро начнётся как обычно: мы со столлманом запрягли акул бизнеса, бзд ничего не получает. а если получает, то объедки...
     
  • 2.42, Аноним (42), 13:23, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    не стоит так показывать свою некомпетентность.
     

  • 1.5, Аноним (5), 00:20, 16/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Кто в теме: костыль какой-то? Зато быстрый?
     
     
  • 2.21, zanswer CCNA RS and S (?), 05:16, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Нет, реализация TLS сокета в пространстве ядра, у Linux давно уже есть в ядре.
     
     
  • 3.40, Аноним (40), 12:19, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Linux kTLS работает так плохо, что к нему даже больше не стоит притрагиваться.
     
  • 3.67, анонн (ok), 23:32, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Нет, реализация TLS сокета в пространстве ядра, у Linux давно уже есть в ядре.

    Ну раз оно уже есть в Линухе, тогда да - загонять TLS в ядро, со всеми потенциальными проблемами и дырами любой сложной фиговины в ядерном пространстве, совсем не костыль.

     
  • 2.46, Аноним (46), 14:34, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    чтобы не копировать из данные ядра в юзерспейс и обратно. экономия cpu времени.
     
     
  • 3.47, Аноним (46), 14:35, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    не копировать данные из ядра в юзерспейс*
     
  • 3.54, Аноним (53), 16:07, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Данные — это ключ из 16 байт? Потрясающая экономия.
     
     
  • 4.66, Жорик (??), 22:27, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Данные это данные, которые программе не нужны. Например транзитные в случае прокси сервера.
     

  • 1.6, Аноним (-), 00:21, 16/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +13 +/
    Netflix неплохо начинал, но потом количество взяло верх над качеством, и начал конкретно скатываться. Новых сервисов все больше, конкуренция нешуточная. А как по мне, лучшие сериалы все-равно HBO, т.к. снимают меньше, дольше, и часто с оглядкой на негативные и позитивные моменты проектов конкурентов, в итоге получаются почти всегда хиты. Неплохая аналитическая статья по теме вчера вышла.

    https://meduza.io/feature/2019/08/14/sozdateli-igry-prestolov-ushli-v-netflix-

     
     
  • 2.10, KonstantinB (ok), 00:38, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +17 +/
    Да. это имеет прямое отношение к патчам для ядра FreeBSD!
     
     
  • 3.11, Бродяга (?), 00:41, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Зато имеет отношение к Netflix. :)
     
  • 3.32, Аноним (32), 10:06, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Без доходов netflix думаешь за бесплатно начнут патчить FreeBSD
     
     
  • 4.37, Аноним (36), 11:36, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Вот вам видос зачем нетфликсу фрибсд https://www.youtube.com/watch?v=KP_bKvXkoC4
     
  • 3.49, Аноним (49), 15:07, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Здравствуйте, это канал об аниме?
    Как мне пропатчить KDE2 под FreeBSD?
     
     
  • 4.77, Аноним (77), 09:49, 18/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Здравствуйте, это канал об аниме?
    > Как мне пропатчить KDE2 под FreeBSD?

    - Что такое kawaii?
    - Это когда на цундерейного мальчика одевают костюм горничной и насилуют.
    (Один из каналов о FreeBSD)

     
  • 2.34, Аноним (34), 10:46, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • –7 +/
    > meduza.io

    Фу, гадость. Зачем постить такое на опеннете?

     
  • 2.48, Аноним (48), 14:39, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Неплохая аналитическая статья по теме вчера вышла.
    > https://meduza.io

    В тексте:

    > При этом у самого популярного стримингового сервиса в США падают просмотры

    И тут же.

    > В ноябре прошлого года у компании было 137 миллионов подписчиков
    > На момент публикации отчета у Netflix было около 148 миллионов подписчиков

    Чтоб у всех так падали просмотры. +9 млн подписчиков меньше чем за год.
    Медуза как была желтым изданием, так и осталась. Мда.

     
     
  • 3.50, 1 (??), 15:30, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Насчёт цвета склизкого комка щупалец - согласен.

    А вот с логикой у вас проблемы.

    Конечно просмотры как-то коррелируют с подписчиками - но не 1 в 1.

     
     
  • 4.57, zzz (??), 17:36, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Тогда это у вас проблемы, если вы сами заявляете корреляцию, и тут же обвиняете в отсутствии логики.
     
  • 4.62, Канифоль Патрика (?), 19:12, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Насчёт цвета склизкого комка щупалец - согласен.

    Поди, читаете советские газеты до обеда?

     
  • 3.51, Аноним (51), 15:32, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Дурачок, кол-во просмотров не всегда равно кол-ву подписчиков.
     

  • 1.8, Аноним (-), 00:26, 16/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +8 +/
    Нетфликс долго не хотел работать за пределами США. А теперь, когда все стало плохо, поглядите-ка кто приполз!
     
     
  • 2.15, Hewlett Packard (?), 01:13, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > In September, the technology giant unveiled the cast for its Mandarin-language original TV series called "Nowhere Man." In January, it kicked off production for two more originals, called "Triad Princess" and "The Ghost Bride."
    > The aim is to create shows for the millions of Mandarin speakers outside of China. It's also looking to create or acquire shows that have global appeal.
    > Earlier this week, Netflix launched "The Wandering Earth" on its platform. That's been called China's first space epic and is the third-highest grossing film of 2019, according to Box Office Mojo. It was a huge hit in China when it was released earlier this year and Netflix has brought it to the global audience.
    > Netflix has also turned to partnering with Chinese streaming companies. On Thursday, Alibaba-owned streaming platform Youku said Netflix had bought the exclusive distribution rights outside of China for "I Hear You," a 24-episode romantic comedy.
     

  • 1.14, анонн (ok), 01:11, 16/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    А ведь совсем недавно в комментах проскакивала инсайдерская информация от общавшегося с инженерами нетфликс - о том что нетфликс уже 50/50 на линуксе и к 2020 бзд оттуда выкинут вообще.
    Т.е. это типа отступные, на прощание … или кто-то опять назвиздел?
     
     
  • 2.16, Аноним (16), 01:26, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • –6 +/
    Так может это следствие использования Linux,
    посмотрели на это
    https://www.kernel.org/doc/html/latest/networking/tls.html
    и решили перенести в FreeBSD?
     
     
  • 3.17, Дон Ягон (ok), 01:38, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +8 +/
    > Так может это следствие использования Linux,
    > посмотрели на это
    > и решили перенести в FreeBSD?

    "The idea was inspired by some work [PDF] that Netflix did on FreeBSD to improve the performance of TLS."

    ( https://lwn.net/Articles/666509/ )

     
  • 2.23, Аноним (23), 06:34, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > о том что нетфликс уже 50/50 на линуксе и к 2020 бзд оттуда выкинут вообще.

    Перейдут на АЛЬТ, конечно же. Чисто по приколу. Сохранятся и перейдут.

     
  • 2.28, ГабенВульвович (ok), 08:19, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это  вполне открытая информация, точнее первая  часть вашего утверждения - там где нужна java, kubernetes, да и  в  целом вся аппликейшн-инфраструктура  Netflix на Linux в AWS, так было  с самого начала. Вторая часть про  переход - ваши фантазии вместе с  инсайдером
     
     
  • 3.41, анонн (ok), 12:26, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Это  вполне открытая информация, точнее первая  часть вашего утверждения -
    > там где нужна java, kubernetes, да и  в  целом
    > вся аппликейшн-инфраструктура  Netflix на Linux в AWS, так было  
    > с самого начала. Вторая часть про  переход - ваши фантазии вместе с  инсайдером

    Вы смело проигнорировали отсылку на комментарии и, тем более, последее предложение (там разве что тега <сарказм> не прописан явно), зачем-то приписав эти утверждения мне и заодно нафантазировав о моих фантазиях.
    А зря:

    https://www.opennet.ru/openforum/vsluhforumID3/117992.html#85
    >>> "Во FreeBSD устранено 6 уязвимостей"
    >>> Сообщение от Dapredator (ok), 25-Июл-19, 14:41
    >>> В Яндексе бздню выпилили в 2013, Нетфликс уже 50/50 фря/линукс, и, судя по общению с их инженерами, к 2020 фря/линукс будет 0/100.
    >> А инженеры Нетфликса об этом знают, общительный вы наш?
    > Именно там я с ними и общался, на фосдеме. У меня для тебя плохие новости. :-)))

     
     
  • 4.79, тигарэтоя (?), 16:30, 20/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    а зачем ты упомянул клоуна Dapredator ?) он-то, поди, до сих пор пытается осилить ps чтобы убить sssd только нужный.
     

  • 1.29, Аноним (71), 08:44, 16/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    > TLS 1.0 и 1.2

    Шёл 2019 год…

     
     
  • 2.30, mumu (ok), 09:12, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Если вам потоковое вещание гнать, то какая разница? Фсб-шники будут пуйло во всех потоках подменять или что?
     
     
  • 3.69, Аноним (71), 09:27, 17/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Разница такая, что поддержка 1.0 уже активно выпиливается отовсюду, и через годик этот процесс завершат, убрав его из винды и макоси.
     
  • 2.31, пох. (?), 09:55, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Шёл 2019 год…

    любители обмазываться свежайшим все так же рвались за новым бананом, бросив недоеденный предыдущий.

     
     
  • 3.43, zzz (??), 14:12, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Ты сам в теме про OpenBSD распинался, что фуфуфу это старье, чего теперь ноешь.
     
  • 3.70, Аноним (71), 09:28, 17/08/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Зачем мне сгнивший и мухами поеденный банан?
     

  • 1.35, Аноним (34), 10:54, 16/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Забавно - поддержка криптоускорителей была, а TLS на уровне ядра - нет.
     
     
  • 2.52, пох. (?), 15:54, 16/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    криптоускорители были предназначены для ipsec и компании, где траффик из ядра не достается вообще.

    tls на уровне ядра, учитывая что все равно он обустраивается через пинг-понг user/kernel - ну вот может нетфликсе будет полезен. Остальным скорее просадит производительность.

    В частности, он бесполезен без sendfile(), а с ним на zfs имеются... ньюансы ;-)

     

  • 1.68, Ivan_83 (ok), 07:12, 17/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Зачот!

    Осталось потом ещё nginx с этими патчами дождатся.

     
  • 1.72, Онаним (?), 10:01, 17/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Я так понимаю, что это счастье сделано для того, чтобы загнать проприетарные драйверы от криптоакселераторов в ядро, не вынося работу с ними в юзерспейс. Ну велкам, чего.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру