Як працює повнотекстовий пошук? Розбираємо на практиці інвертовані індекси

 

Розбір в деталях, як працюють інвертовані індекси. Інвертовані індекси використовуються для повнотектового пошуку в MySQL, PostgreSQL, Elastic Search та інших базах даних. Спробував відповісти на наступні питання: Навіщо потрібні інвертовані індекси й які їх можливості? Чому не працюють звичайні індекси для повнотекстового пошуку? Як влаштовані інвертовані індекси всередені? Що таке стемінг й лематизація? Які є механізми компресії інвертованих індексів? Як працює VByte Encoding? Як використати Map Reduce для побудови інвертованого індексу, коли індекс не влазить в пам'ять? Як створити інвертований індекс в MySQL Приклади коду з відео -
Станьте спонсором цього каналу: https://www.youtube.com/channel/UChhNJ3SmzX_d7kMpSEMDfzg/join
Допоможіть каналу розвиватися й отримуйте доступ до ексклюзивного контенту. Зміст відео: 0:00 - Вступ 1:29 - Опис даних 2:00 - Чому не працють звичайні індекси 4:45 - Інвертований індекс 9:50 - Навіщо потрібен Map Reduce 15:52 - Код Map 17:10 - Токенизація 18:30 - Стоп слова 19:25 - Стемінг та лематизація 22:20 - Запускаємо Map 22:45 - Фаза Shuffle 24:15 - Код й запуск Reduce 27:25 - Компресія індексу 29:22 - Дельта компресія 33:16 - VByte encoding 41:10 - JS Searcher проти MySQL (без FTS) 44:2 - Повнотекстовий індекс в MySQL 45:32 - Розмір FTS індексу MySQL 46:17 - Деталі про проект 46:46 - Що за кадром? 47:55 - Завершення Мої соцмережі: Жабаскрипт в телеграмі -
Я в Твітер - https://twitter.com/ViktorTurskyi
Мій Linkedin -
#програмування #українською #mysql #postgres #sql #indexes #programming #javascript #fulltextsearch #elasticsearch #mapreduce