The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

В ядро Linux 6.2 войдёт подсистема для ускорителей вычислений

01.12.2022 22:26

В ветку DRM-Next, которая намечена для включения в ядро Linux 6.2, принят код новой подсистемы "accel" с реализацией фреймворка для ускорителей вычислений. Данная подсистема построена на основе DRM/KMS, поскольку разработчиками уже было произведено расщепление представления GPU на составные части, включающие в себя достаточно независимые аспекты "вывод графики" и "вычисления", так что существующий код мог работать с контроллерами дисплея не имеющими блока вычислений, равно как и с блоками вычислений не имеющими своего контроллера дисплея, как, например, GPU ARM Mali, который является по сути акселератором.

Эти абстракции оказались достаточно близки к тому, что нужно для более общей реализации поддержки ускорителей вычислений, поэтому было решено дополнить подсистему для устройств ускорения вычислений и переименовать её в "accel", так как некоторые поддерживаемые устройства не являются GPU. Например, фирма Intel, купившая компанию Habana Labs, заинтересована в использовании этой подсистемы для акселераторов машинного обучения.

  1. Главная ссылка к новости (https://www.phoronix.com/news/...)
Автор новости: Аноним
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/58236-accel
Ключевые слова: accel, kernel, linux
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (75) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 22:29, 01/12/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    То есть для поддержки TPU в вёдрах больше не понадобятся гуглаговская версия ядра?
     
     
  • 2.2, Аноним (2), 23:02, 01/12/2022 [^] [^^] [^^^] [ответить]  
  • +9 +/
    Постепенно, вероятно, дрова желеща будут уходить на это и майнлайниться. Это назревало давно, поскольку многие GPU на самом деле давно уже стали акселераторами вычислений и даже видеовыход не у всех уже есть, датацентровым числодроиблкам на основе амд и нвидий выход на экран не очень то и нужен был уже давно. А тут доразвили немного идею, давно напрашивалось и вот наконец сделали.
     
  • 2.3, Аноним (3), 23:14, 01/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Сделают всё в лучших традициях: ещё как понадобится.
     
  • 2.8, Аноним (8), 00:36, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Гугловские ускорители вообще через обычные riscv инструкции доступны без вот этого вот всего https://servernews.ru/1074746
     
     
  • 3.10, Аноним (-), 01:01, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Чудак, чтобы RISCV инструкции как-то попали в тот блок, который где-то сбоку от основного системного проца, кто-то должен туда этот код послать.

    Более того, кто-то должен отправить входные данные и забрать результат счета. И вот это вот - примерно то как современные GPU работают. По части вычислений. И там есть всякие интересные моменты, типа пересылки данных, синхронизации, очередей, статусов выполнения, все такое.

    И тут оказалось что 90% этого уже было из-за современных GPU, работают они так.

     
     
  • 4.20, Аноним (20), 04:40, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Мне давно было очевидно, что gpu это глупая идея. Инициативы по замене gpu/npu ядер процессорными симдами здорового человека очень радует, в случае успеха типовая пекарня будет не 8 cpu ядер + 72 CU, а 80 унифированных ядер.
     
     
  • 5.26, Бывалый смузихлёб (?), 07:23, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > в случае успеха типовая пекарня будет не 8 cpu ядер + 72 CU, а 80 унифированных ядер

    Только в случае видеокарт под вычислительным блоком обычно подразумевается не аналог конечного ядра ЦП, а целый блок, в котором собрана пачка маломощных ядер и кое-что ещё

    Едва ли удастся из десятка низкочастотных и медленных ядер сделать одно но высокочастотное и производительное для однопотока

     
     
  • 6.41, Аноним (8), 10:38, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Да нет там никакого десятка медленных ядер.
    Частота у rx6000 серии около 2ггц, у серверных процессоров с десятками ядер примерно такая же. Апнуть конвейер и будет аналог серверного проца, только с большим числом регистров и более жирными кэшами.
    https://images.anandtech.com/doci/4455/GCN-CU.png
     
     
  • 7.67, Аноним (-), 19:25, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Да нет там никакого десятка медленных ядер.

    Есть. Compute Unit (CU) это целая группа ALU где некоторые блоки выделены по 1 на группу, т.к. для каждой мелочевки по такому блоку было бы слишком шикарно и транжирило бы площадь кристалла.

    Поэтому оно за 1 такт может сильно больше операций чем системный проц. Но с весьма большими оговорками относительно характера операций и размещения данных.

     
  • 5.34, Аноним (-), 08:10, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В какой-то момент fixed function hardware наворачивать всех задолбало и они вмес... большой текст свёрнут, показать
     
     
  • 6.40, Аноним (8), 10:32, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >   ALU не очень высокочастотные

    В CPU такие же алу, а GPU часто на том же самом кристалле с тем же самым техпроцессом.
    > дофига дохленьких ядер являются полным позором

    Интел унд ко не стесняются так делать уже сейчас, только в отличие от интела, тут будут простые ядра, но мощным simd. Хорошо же, хоть для той же графики использовать можно, картинки там сжимать/разжимать, скейлить, видео кодировать/декодировать, архивы паковать арифметическим кодированием. Да даже со строками чтобы работать широкие симды полезны.

     
     
  • 7.58, Аноним (58), 18:55, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Не понятно зачем тогда вообще GPU производят В серверных CPU видите ли это ж... большой текст свёрнут, показать
     
     
  • 8.68, Аноним (8), 21:53, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Чтобы деньги зарабатывать Продаёшь отдельно cpu gpu npu vpu - юзер платит... большой текст свёрнут, показать
     
     
  • 9.70, Аноним (-), 01:48, 03/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А все производители суперкомпьютеров, ставящие и то и другое, наверное, лохи пог... большой текст свёрнут, показать
     
     
  • 10.72, Аноним (72), 13:44, 03/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Так их вот эти миллиарды и интересуют, а не чтобы там что-то эффективно было Та... текст свёрнут, показать
     
     
  • 11.74, Аноним (74), 22:14, 03/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Это производителя миллиарды интересуют А клиентуру интересует как платить помен... большой текст свёрнут, показать
     
     
  • 12.76, Аноним (8), 02:22, 04/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Справедливости ради GPU и под общей крышкой с CPU вполне сносные, даже на той же... большой текст свёрнут, показать
     
     
  • 13.77, Аноним (-), 06:53, 04/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну да Шина разумеется их слабое место, которое и обеспечивает звание затычки дл... большой текст свёрнут, показать
     
     
  • 14.78, Аноним (8), 12:34, 04/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну да, tensorflow на rocm бэкэнде на rx570 мало того что глючил и ломал картинку... текст свёрнут, показать
     
  • 14.79, Аноним (8), 12:51, 04/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    В blender benchmark у r5 3600 и rx570 opencl кстати тоже близкие результаты полу... текст свёрнут, показать
     
  • 5.45, Аноним (45), 11:36, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Imtel Larabee как пример почему нифига не выйдет.
     
  • 5.46, Аноним (-), 11:49, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Инициативы по замене gpu/npu ядер процессорными симдами здорового человека очень радует, в случае успеха типовая пекарня будет не 8 cpu ядер + 72 CU, а 80 унифированных ядер.

    CPU ограничен скоростью памяти. GPU там на каких-то мозговыносящих терабайтах в секунду данные из памяти тягает и обратно складывает, и всё за счёт того, что память заточена под нагрузку. CPU же хорош только пока все данные в кеше.

    Вот когда они оперативку разгонят раз в 10-100, вот тогда GPU станет не нужным, а пока, я лучше на GPU посчитаю.

    >  Мне давно было очевидно, что gpu это глупая идея.

    Опеннет икспердам всё очевидно.

     
     
  • 6.47, Аноним (20), 12:12, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Докинут ширины шины памяти, делов-то. В мак M1 до 200 ГБ/с раскачали, у rtx 3050 224гб/с, разница невелика.
     
     
  • 7.66, Аноним (-), 19:21, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > у rtx 3050 224гб/с, разница невелика.

    1) 200Гб/с для GPU уже давно не рекорд. HBM может и сильно больше.
    2) Есть разница между бандвизом и латенси. Одно дело качать каждый такт широкой шины эвон какой блок, другое репрограмить все это на другой адрес, и ждать пока чипы сообразят чего от них хотят. Если так часто делать, что останется от терабайтов в секунду?

     
     
  • 8.73, Аноним (73), 16:28, 03/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так и m1 проц для печатной машинки А кто говорил что нет Делаешь много кан... текст свёрнут, показать
     
     
  • 9.75, Аноним (75), 22:35, 03/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так не всем суперсервер надо Особенно вон тем с батарейным питанием Вот тол... большой текст свёрнут, показать
     
  • 6.53, Аноним (53), 13:40, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >CPU ограничен скоростью памяти. GPU там на каких-то мозговыносящих терабайтах в секунду данные из памяти тягает и обратно складывает, и всё за счёт того, что память заточена под нагрузку. CPU же хорош только пока все данные в кеше.

    Потому что на видеокартах память припаяна рядом с процессором.

     
     
  • 7.57, Аноним (57), 16:14, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Не только. Она ещё заточена на то, чтоб её читать массивами. Там ж много ALU читает каждый по элементу массива, каждый из которых может быть произвольной структурой, чотатам щитает, и пишет структурку в память. Таким образом дохрена обработка масива паралельна становится. Вот память заточена под такой доступ.

    Память же проца -- это RAM память, или поруски рандом акцес мемори.

     
  • 6.54, Ддд (?), 13:49, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Ну давай иди посчитай хоть чтото сначала а потом перди тут)
     
  • 6.60, Аноним (58), 19:02, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Опять же эти терабайты в основном на последовательном жирном линейном доступе, к... большой текст свёрнут, показать
     
  • 5.82, Аноньимъ (ok), 03:20, 13/01/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Главное отличие не в ядрах, а в характере доступа к памяти.
     

  • 1.4, Аноним (4), 23:43, 01/12/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Получается что можно будет обойтись без OpenCL?
    Или OpenCL будет задействовать данный механизм?
     
     
  • 2.5, Аноним (3), 23:53, 01/12/2022 [^] [^^] [^^^] [ответить]  
  • +12 +/
    Будет всё просто по-другому, чтобы было что постоянно переписывать.
     
     
  • 3.6, Аноним (6), 00:13, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А потом компилять! Ждём ebuild'ы...
     
  • 2.7, Аноним (8), 00:32, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Только-только ржавый опенцл в мезу втащили, а уже выкидывать пора😁
     
     
  • 3.50, Аноним (50), 12:28, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Лучше сразу и выкинуть.
     
  • 2.11, Аноним (-), 01:03, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Это более низкий уровень, некий базовый обмен с акселераторами и налажывание выполнения джобов на них. Откуда эти джобы берутся, какое апи вывешивается для их генерации и прочее - вне этого контекста.

    GPU может озадачивать вулкан, может opengl, может compute-нагрузка при том из нескольких источников, что opencl что compute шейдеры в вулкане или opengl. Это другой аспект и реализуется другим уровнем софта.

     
  • 2.17, pfg21 (ok), 01:30, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    без опенцл не обойтись. это описание того чего надо вычислить.  
    а тут просто правильное представление ядром аппаратных ресурсов для програмулин, которые и будут пихать опенцл в вычислительные ресурсы.
     

  • 1.9, Аноним (9), 00:44, 02/12/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    Только бы эти аутисто ускорители желательно не затрагивали версию 20.04 и 21.04 потому что лучше сделать не могут.
     
     
  • 2.18, Аноним (18), 01:31, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Узбагойтесь, ваш домашний селерончик как работал, так работать и будет.
     

  • 1.12, Аноним (12), 01:04, 02/12/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    в итоге все эти дрова и обвязки для _ускорителей_ по факту будут только тормозить ядро
     
     
  • 2.14, Аноним (-), 01:09, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Это как? Вот прям ща opencl на моем GPU долбит в 30 раз больше хешей чем CPU в принципе мог изобразить. Можете попробовать порвать такой результат без аскселерации, удачи.
     
     
  • 3.23, Аноним (-), 07:17, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А в чём смысл для дома хеши вычеслят? Опять майнинг? А практичнее что-то кроме крипты как пример есть?
     
     
  • 4.24, Аноним (-), 07:20, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Не всмысле для дома как жилиища, а в мысле как бы точнее выразится. Длоя обычного рядового пользователя компьютера.
     
     
  • 5.25, Аноним (-), 07:20, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Для.
     
  • 4.35, Аноним (-), 08:15, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > А практичнее что-то кроме крипты как пример есть?

    "Угадать" ваш пароль в 100500 раз быстрее, если хэш удалось утащить, например :)

     
  • 4.80, Аноним123 (?), 11:23, 05/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Смотрите вы ваш Ютубчик. Там сначала декодирование TLS, потому декодирование AV1.
     

  • 1.15, username hidden (?), 01:13, 02/12/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    автор, разбивай предложения на куски. 5 раз за коротенькую новость написать "подсистема" -- это жесть полная.
     
     
  • 2.16, Аноним (-), 01:26, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > автор, разбивай предложения на куски. 5 раз за коротенькую новость написать "подсистема"
    > -- это жесть полная.

    Там под новостью кнопка "исправить" есть. Жми смело и правь как душе угодно. Как модератор апрувнет так и будет по твоему. Если апрувнет, конечно, так что сильно придуряться не стоит.

     
     
  • 3.39, Аноним (39), 10:30, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Так она без JavaScript не работает, как и плюсы-минусы.
     
     
  • 4.43, Аноним (43), 10:47, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Прочитай код, сделай сам запрос через curl.
     
  • 4.61, Аноним (74), 19:06, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Так она без JavaScript не работает, как и плюсы-минусы.

    Ну да, паскудство, что сказать. Тогда придется жить с тем что есть.

     

  • 1.21, ИмяХ (?), 06:32, 02/12/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Опять в ядро тащат то, что должно быть в драйверах. Синдром Плюшкина во все поля.
     
     
  • 2.28, Аноним (-), 07:36, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А драйвере где? Драйвера в ядре. Или имелось ввиду сначало в драйвер производитель чипа помещает, а потом в ядро драйвер размещают? Так имелось ввиду?
     
     
  • 3.29, Аноним (-), 07:36, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    драйвера
     
  • 3.30, Аноним (-), 07:42, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А забыл видео карта же. Я не пользуюсь в линукс драйверами для видкокарт те что не в ядре а отдельно.
     
     
  • 4.31, Аноним (-), 07:44, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Вот как раз один из вариантов по чму ак не все устанавливают драйвера для видеокарты, а используют драйвера те что в ядре уже есть.
     
     
  • 5.32, Аноним (-), 07:45, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    так
     
  • 5.52, Аноним (50), 12:38, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Потому, что те, что в не в ядре - клозетсорс, а исполняться хотят в пространстве ядра.
     
  • 2.51, Аноним (50), 12:34, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А кто сказал, что оно не в модуле будет?
     

  • 1.37, Попандопала (?), 08:28, 02/12/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Линь теперь определенно ось для копателей.Больше гикам подработать негде, по фану, не нужно программируют толпами. Бесполезники.D
     
  • 1.42, Аноним (42), 10:45, 02/12/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Мне кажется, что пора делать линух гибридным (хотябы как NT). Засирают ядро, ей богу...
     
     
  • 2.49, Аноним (50), 12:27, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Как Стрекозиное ядро.
     
  • 2.55, Аноним (55), 14:03, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Он и так гибридный. Просто API ядра нестабильное, это так специально, чтобы производители либо драйвера открывали, либо сами их и поддерживали, либо не делали и не поддерживали вовсе (самый приемлимый для производителя вариант).
     
     
  • 3.59, Аноним (50), 18:59, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Вообще-то сборку можно выбрать: вкомпилить в ядро или загружаемым модулем ядра. Но нельзя в каком-то виде для исполнения в отдельном адресном пространстве.
     
     
  • 4.64, Аноним (74), 19:13, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Вообще-то сборку можно выбрать: вкомпилить в ядро или загружаемым модулем ядра. Но
    > нельзя в каком-то виде для исполнения в отдельном адресном пространстве.

    Там вообще довольно много чего есть для выпихивания ряда вещей в юзерспейс. Так что кому оно надо - это уже давно практикует. А то что не очень популярно - простите, парни, оверхед от переключения контекста между кернелом и юзером никуда не пропадет, чудес не бывает. Его минимизировали насколько могли, в том числе рядом весьма хитрых трюков, но полной халявой это не станет.

     
  • 2.63, Аноним (74), 19:11, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Мне кажется, что пора делать линух гибридным (хотябы как NT). Засирают ядро,
    > ей богу...

    Оно модульное и к тому же конфигуряется что и как. И что значит - засирают? Добрых 90% этого и так уже было и использовалось GPUшками. Просто не понятно почему это счастье должно быть доступно только им когда NPU какие-нибудь тоже с удовольствием бы той инфраструктурой пользовались.

     

  • 1.44, InuYasha (??), 10:53, 02/12/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Ускорители вычислений... Изобретите мне замедлитель времени!
     
     
  • 2.48, Аноним (50), 12:24, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это будет лучше, чем криокамера :)
     
  • 2.56, Аноним (55), 14:05, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Изобретён давно. Правда эффекта ощутимого при существующих технологиях пока нет.
     
  • 2.62, Аноним (74), 19:09, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Ускорители вычислений... Изобретите мне замедлитель времени!

    Чо, релятивизм тебе в школе не читали? Где взять столько энергии и технологии двигателей ты сам как-нибудь придумай. Да и как это работает тебе не факт что понравится.

     
     
  • 3.69, InuYasha (??), 22:13, 02/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    О, умник из "Чарли и школоладная фабрика" засветился ) Ну, читай, читай. А я в аспирантуре читал что релятивизм - это всего лишь общепринятая гипотеза. Теория, в лучшем случае.
     
     
  • 4.71, Аноним (-), 02:06, 03/12/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Может, ты в аспирантуре бухал а не читал? Иначе знал бы что вот как раз по части времени релятивизм недурно подтвержден, допустим, спутниками навигационных систем. Которые бы дико гнали в координатах из-за только подумайте, того факта что их время течет иначе чем на Земле. Вот прямо так. Что хотите с этим фактом то и делайте, но на спутниках атомные часы, это позволяет довольно точно померять то что там творится с временем, более того, компенсация этого для приведения к земному времени абсолютно необходимое условие для какой-то разумной точности позиционирования - свет очень быстрая штука, ошибка в секунду это 3*10^8 метров ошибки дистанции. И вот тут приходится учитывать все мыслимые эффекты. Релятивизм один из топовых аспектов коррекции.
     
  • 2.81, Аноним123 (?), 11:28, 05/12/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Без проблем. Разгоняетесь до скорости света и наблюдаете из своей ракеты как Земля умирает от старости.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру