Как сделать семный анализ
Оценивает его насыщенность ключевыми словами, водность, заспамленность.
Семантический анализ текста от Istio оценивает его насыщенность ключевыми словами, водность, заспамленность. Поисковые системы определяют качество и релевантность текстового контента по словам и словосочетаниям, из которых он состоит.
Если в тексте достаточно тематических ключевых фраз, то поисковики оценят его как хороший. Статьи, в которых преобладает вода и мало ключевых слов, не попадают на первые страницы выдачи. Контент, перенасыщенный ключевиками, относится к переспаму, его поисковые системы показывают редко.
Что показывает семантический анализ текста?
SEO-анализ текста позволяет оценить статью по показателям процента ключевых слов, количеству стоп-слов. Сервис показывает:
- плотность ключевиков, их процентное соотношение в ядре и в тексте;
- объем статьи: количество слов и символов (с пробелами и без);
- словарь: общее количество единиц, словарь ядра;
- частотность слов, выводит топ-10 наиболее употребляемых;
- язык статьи и приблизительную тематику;
- процент воды.
Семантический анализ от Istio позволяет автоматически посчитать количество символов, оценить тошнотность и водность. Для удобства пользователей сервис подсвечивает ключевики и воду, создает наглядную карту частотных слов.
Проверка тошноты статьи
Параметр тошноты текста показывает его заспамленность ключевиками. Чем их больше, тем выше показатель. Поисковые системы расценивают такую статью как некачественную, в выдачу она не попадает.
В нижней части страницы отображается количество и процентное соотношение ключевых фраз в ядре и тексте.
Водность текста
Анализ воды текста отображает наличие в статье стоп-слов, фразеологизмов, соединительных единиц, не несущих смысловой нагрузки. Если их удалить, контент не потеряет смысла и станет качественнее.
Сервис выделяет цветом слова без смысловой нагрузки. Это единицы с необъективной оценкой, не несущие конкретной информации, а также усилители. Выделенные фразы рекомендуется удалить или заменить.
Небольшое количество незначимых единиц естественно для любого текста. Показатель нужно сводить к минимуму, чтобы получать качественный контент без воды для поисковой системы.
Количество символов, частотность слов
В нижней части страницы размещен анализ количества символов (со стоп-словами и без них), частотность единиц текста. В отдельное поле вынесена проверка частоты ключевиков. Оценивается их процентное соотношение ко всей статье и только к значимым фразам.
Для того чтобы проверить текстовый контент на показатели воды, тошноты и частоты фраз, необходимо:
Работать с ресурсом можно без регистрации и авторизации. На Istio нет ограничений по символам для проверки.
Понятие "семный анализ". Отличие переводческого семного анализа от других. Возникновение окказиональных сем. Основные принципы оценки адекватности перевода. Промежуточный статус словообразования. Несовпадение английской и русской языковых традиций.
| Рубрика | Иностранные языки и языкознание |
| Вид | реферат |
| Язык | русский |
| Дата добавления | 02.04.2016 |
| Размер файла | 25,1 K |
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Министерство образования и науки РФ
Федеральное государственное образовательное учреждение высшего
Институт иностранных языков
по английскому языку
Семный анализ слова как средство повышения эффективности при переводе
Выполнил: студентка 1 курса ИИЯ
ассистент кафедры ЛиМК
В данной работе подробно изучены понятия: "сема", "семный анализ", " окказиональное значение".
Целью работы является изучение семного анализа при переводе и его эффективность.
Для достижения цели необходимо решение задач:
- раскрыть понятие и сущность семного анализа
- указать отличие переводческого семного анализа от других
- рассмотреть возникновение окказиональных сем
- изучить основные принципы оценки адекватности перевода и провести такую оценку.
В нашем случае подход должен определяться целями выявления переводческой трудности и выяснения способов ее преодоления. С этой точки зрения все вышеперечисленные методы дополняют друг друга и могут рассматриваться как вспомогательные для метода семного анализа. Таким образом, нашей задачей является выяснение того, как при помощи семного анализа мы можем повысить эффективность перевода текста.
1. Семный анализ
Метод семного анализа - это описание значения как совокупности сем, через понятие семы (то есть компонента значения, отражающего отдельный признак предмета номинации).
Сема - компонент значения, отражающий отличительный признак денотата слова (предмета, явления, процесса) или употребления слова и способный различать значения слов.
Семы - это микрокомпоненты значения, которые дифференцируют или объединяют отдельные значения слов.
Семный анализ представляет собой выделение сем и описание значений как упорядоченной совокупности сем.
Обычно значения описываются исследователями в опоре на данные словарей, что часто порождает неточности, поскольку в традиционных толковых словарях составителями до сих пор обычно не используется семный анализ - есть значения описываются без использования понятия сема и не дифференцируются друг от друга в терминах семных различий. Это и приводит к многочисленным сложностям и неточностям.
Следует отметить, что перечисленные выше проблемы системности, регулярности словообра зования успешно решались в структуралистской парадигме лингвистических исследований. Однако при структуралистском подходе многие проблемы семантики (в частности, семантики словообразования) не нашли своего решения. Компонентный или семный анализ (при всех своих достоинствах) тоже не всегда оправдан, поскольку семы неоднородны. Если представители дескриптивной лингвистики вопросами семантики вообще не занимались, то попытки генеративистов в этом направлении можно признать неудачными. Обращение, помимо анализа, к синтезу производных и, следовательно, в связи с этим к проблеме выводимости лексического значения, производного из значения его компонентов, к производным с идиоматической и неидиоматической семантикой, к семантическим приращениям синтаксического и лексического типов представляет собой начало подхода к новой научной парадигме.
Необходимо также отметить, что есть некоторые отличия между французским и американским вариантами этого анализа. Для американского варианта базовой моделью служит генеративизм-трансформационализм, а для французского - структурализм.
В знаменитой работе Ф. Растье Semantiqueinterpretative[1987] дается прекрасный сопоставительный анализ теоретических оснований американской и европейской версий компонентной семантики. В ней общая лингвистика имеет законченную форму (infra). Ф. Растье, инвертируя направление анализа с генеративного на интерпретативный, убедительно доказывает жизнеспособность модернизированного структурализма, по крайней мере, в семасиологическом направлении (infra).
Ввиду более широкого значения компонента по сравнению с семой семный анализ является, одним из методов компонентной семантики. Сема может мыслиться как “свойство не лингвистического объекта, принадлежащего реальному или воображаемому референтному миру”, либо как “чистое различие между функциональными”.
Первое значение семы более характерно американской экстенсиональной семантике, а второе значение - европейскому (французскому) семному анализу.
Семы детерминируются отношениями между семемами; которые в свою очередь соотносятся с эйдетическми “смыслами”, входящими в состав понятия, а те соотносятся с предполагаемыми свойствами референта. Структурная лингвистическая семантика “работает” на уровне сем, не переходя границу между лингвистическими и нелингвистическими реалиями.
В связи со статусом семы обнаруживается проблема лингвистических универсалий. Как ни странно, универсальный характер сем признается как генеративистами, так и структуралистами с той лишь разницей, что для одних он связан с категориями человеческого разума, а для других - с перцепциями мира. В этом пункте сходятся М. Бирвиш (semanticmarkers) и А.-Ж. Греймас(classemes). Ф. Растье, однако, как, впрочем, и Б. Потье, утверждает, что семы - лингвистические единицы; тогда как универсалии. мыслимы только на предельно отвлеченном - исключительно металингвистическом - уровне. Тем не менее, признавая необходимость разработки некоего универсального аппарата, “подлежащего” под различением сем как лингвистических единиц, структуралисты вводят понятие ноэмы как примитива семантической. Следует отметить, что фигура семиотического квадрата, активно используемая в период расцвета парижской семиотической школы, в дальнейшем оказалась мало пригодной для семантического схематизирования.
Семантический квадрат представляет собой визуальное изображение логического членения некой семантической категории. Он сравним с квадратом Аристотеля, шестиугольником Р. Бланше (логика), построениями Ж. Пиаже (психология). Элементарная структура значения представляется как отношение между минимум двумя элементами, опирающимися на оппозицию. В противоположность бинарному соотношению элементов, идущему от фонологии, предлагается различение двух пар элементов, составляющих оппозицию А/Д, как результат присутствия и отсутствия определенного признака; а также оппозицию А/не-А, выражающую один признак, но представленный в разных формах.
Следовательно, семный анализ, представляет собой концептуально-методическую базу, наиболее эффективную и применимую на уровне лексики и на уровне текста.
2. Отличие переводческого семного анализа от других
Переводческий семный анализ несколько отличается от анализа, проводимого в рамках лингвистической науки. Интерпретируя семантику слова, лингвист указывает все возможные варианты трактовки исходя из словарного содержания. Переводчик же трактует семное наполнение лексической единицы в контексте, учитывая ее структуру, валентность, дистрибуцию, этимологическое развитие, лексические и грамматические нормы языка. Следовательно, переводчик должен видеть связь семантических компонентов для воссоздания прагматики материала.
Семный анализ является эффективным и универсальным методом пред- переводческой интерпретации. Переводчик должен рассматривать сему как функциональную единицу, которая несет определенный компонент значения.
Несовпадение английской и русской языковых традиций приводит к необходимости функциональной замены: однородные подлежащие, выраженные отглагольными существительными, заменяются однородными определениями.
Следующий этап -- выделение дифференциальных сем, обеспечивающих уникальность слов. Учет контекстуальных реализаций дифференциальных сем позволяет разграничивать разные значения многозначного слова.
Выявив актуальные семы, переводчик должен обратить внимание на семы потенциальные, присутствующие в значении слова не всегда, реализующиеся в контексте. Потенциальные семы показывают отношение говорящего к предмету высказывания, возникают на основе ассоциаций. Не отражая основные признаки предмета или явления действительности, они характеризуют его с большей полнотой, чем актуальные семы, так как обобщают культурные представления носителей языка, несут коннотативные элементы значения. В русском языке следует найти эквивалент настолько же привычный и повседневный. Помимо этого, переводчик должен учитывать грамматические нормы языка-цели.
Можно сказать, что семный анализ является наиболее глубоким и позволяющим раскрыть весь смысл оригинального текста более точно.
семный анализ перевод английский
3. Выявление окказиональных сем
Следующая ступень -- окказиональные семы, отражающие индивидуальное мировосприятие автора высказывания.
ОККАЗИОНАЛЬНОЕ ЗНАЧЕНИЕ (от лат. occasionalis -- случайный) -значение, не соответствующее общепринятому (нормативному) употреблению, носящее индивидуальный характер, обусловленное специфическим контекстом и индивидуальным опытом.
Перевод при помощи выбора одного из нескольких частичных соответствий является весьма распространенным способом перевода. Мастерство переводчика в значительной степени заключается в умении отыскать ряд соответствий единице оригинала и выбрать из этого ряда вариант, наиболее подходящий по условиям контекста. Однако существование у единицы одного или нескольких переводческих соответствий не означает обязательного появления таких соответствий в любом переводе, если в оригинале использована данная единица. В ряде случаев условия употребления языковой единицы в контексте вынуждают переводчика отказаться от использования регулярного соответствия и найти вариант перевода, наиболее точно передающий значение единицы в данном контексте. Нерегулярный, исключительный способ перевода единицы оригинала, пригодный лишь для данного контекста, называется окказиональным соответствием или контекстуальной заменой.
Адекватное воссоздание окказиональных сем -- нелегкая задача для переводчика. Возникновение окказиональных сем обусловлено тем, что в процессе употребления слово приобретает новое значение, не всегда совпадающее со значением, зафиксированным в словаре.
Таким образом, отдельные соответствия используются в переводе с большей или меньшей регулярностью, и знание таких соответствий помогает переводчику решить, следует ли их применить в данном конкретном случае или более целесообразно прибегнуть к контекстуальной замене.
4. Оценка адекватности перевода
Завершающим этапом является оценка адекватности перевода. Использование семного анализа для оценки адекватности исходного и переводного текстов позволяет преодолеть случайность и субъективизм со стороны переводчика, проверить правильность перевода, избежать неточного перекодирования исходного текста.
Переводной текст должен производить на читателя такое же воздействие, какое производил бы текст исходный.
С переводческой точки зрения семный анализ должен быть направлен на определение адекватности семантики, ритма синтаксических конструкций, степени вовлеченности рассказчика в повествование.
На первый план выходят такие базовые понятия перевода, как адекватность и эквивалентность, комплексность и многогранность которых позволяет использовать их в качестве критериев оценки художественного перевода, так как с их помощью можно оценить соответствия выходного текста исходному, учитывая при этом разнообразные особенности текста оригинала и отражение их в тексте перевода.
Главной чертой адекватного перевода является сохранение коммуникативной функции и формы оригинала.
Адекватность перевода ориентирована на перевод как процесс, эквивалентность рассматривает отношения между исходным и выходным текстом как результат;
В данном отрывке можно сказать, что рассказчик описывает свое состояние со стороны: I thought. При переводе происходит замена вводных слов на не собственно-прямую речь. Лексический состав первого предложения полностью меняется, тем не менее прагматическая семантика воссоздается адекватно.
Слово greed по вообще опускается переводчиком.
Рассказчик оригинала, отстраненно вспоминающий события прошлого, в переводе погружается в происходящее, лишается возможности трезво смотреть на вещи.
Таким образом, при переводе текста прагматика может быть искажена даже личными предпочтениями переводчика, хотя смысл текста передается полностью, при этом некоторые детали, вполне значимые, могут быть сильно искажены или опущены.
Поставленная цель работы была достигнуты и решены следующие задачи:
- раскрыто понятие и сущность семного анализа
- указано отличие переводческого семного анализа от других
- рассмотрено возникновение окказиональных сем
- изучены основные принципы оценки адекватности перевода и проведена оценка адекватности перевода.
Приводя примеры переводов книг зарубежных писателей, можно сделать вывод, что семный анализ является отличным средством повышения эффективности при переводе. Изучив его более подробно, можно рекомендовать использовать его всем лингвистам для переводов текстов.
Список использованной литературы
2. Брандес М. П., Провоторов В. И. Предпереводческий анализ текста: учеб. пос. М., 2001. 223 с. (книга)
3. Латышев Л. К., Семёнов А. Л. Перевод: теория, практика и методика преподавания: учеб. пос. М., 2003. 192 с. (книга)
4 .Рецкер Я. И. О самостоятельной работе начинающего переводчика // Мосты. 2008. № 2 (18). С. 5-10. (статья из журнала)
Размещено на Allbest.ur
Подобные документы
Характер научно-технического текста. Различия в переводе английских и русских научно-технических текстов. Анализ перевода научно-технического текста с английского на русский язык с точки зрения эквивалентности и адекватности. Основные приемы перевода.
курсовая работа [46,2 K], добавлен 02.12.2011
Понятие переводческого эквивалента. Грамматические трансформации при переводе. Лексические трансформации при переводе. Основные типы замен при лексических трансформациях. Транскрипция с сохранением некоторых элементов транслитерации.
шпаргалка [27,2 K], добавлен 22.08.2006
Понятие и классификация фразеологической единицы, особенности перевода устойчивых сочетаний слов. Сопоставительный анализ концептов "вражда" и "дружба" в русской и английской фразеологии, их универсальные черты и национально-культурная специфика.
дипломная работа [93,1 K], добавлен 12.03.2015
Лингвистическая модель переводческого процесса. Перевод как вид речевой деятельности, как феномен коммуникации. Роль интерпретации при переводе. Основные типы семантических транформаций в переводе художественного текста, их виды и универсальность.
реферат [23,5 K], добавлен 30.06.2009
Типологические особенности жанра литературной сказки. Анализ общих типологических особенностей литературной сказки Э.Т.А. Гофмана "Золотой горшок". Анализ способов передачи стилистических тропов в переводе, приемов сохранения переводческой адекватности.
дипломная работа [87,4 K], добавлен 12.08.2014
Понятие, базовые характеристики, особенности и способы локализации во внутриязыковом переводе. Основные сложности и принципы перевода малых рекламных текстов. Реклама как отражение менталитета страны: принципы и стратегии перевода данного вида текста.
курсовая работа [93,3 K], добавлен 21.04.2013
Языковая картина мира как форма фиксации национальной культуры. Концепт как основа языковой картины миры, фразеологическая единица - способ репрезентации. Сравнение репрезентации соматического пространства в русской и английской языковых картинах мира.
Семантический анализ слова Лекция № 4
Слово и его значение o С л о в о есть единица словарного состава языка. o Слова называют предметы и явления объективной действительности и таким образом имеют определённую предметную отнесённость. o Слова как названия закрепляются в процессе языкового общения народа, творца и носителя языка.
Слово и его значение o Всякое слово имеет определённое звучание, свой звуковой состав, который является его звуковой формой. o Звуковой состав слова связан с определённым значением. Именно наличие значения в слове отличает его от других звуков, не связанных с каким-либо смыслом. Значение слова соотнесено с определённым понятием , а через понятие – с явлениями и предметами объективно сущест- вующего мира.
Слово и его значение o Понятие существует постольку, поскольку оно выражено в языковой форме. Но слово и понятие не тождественны: слово есть единица языка, тогда как понятие – единица мышления. Понятие есть обобщённое отражение действительности в мышлении. Понятие обобщает признаки предмета.
Слово и его значение o Воспринимая окружающие нас предметы и явления материального мира, мы отражаем их в своём сознании и таким образом получаем представления о предметах и явлениях. o Но представления – ещё не понятия, они являются лишь отражённым образом предметов и явлений, поэтому более конкретны, чем понятия. o Понятия есть обобщённые представления о предметах, их признаках и связях с другими предметами реального мира.
Язык как система знаков o В современной лингвистике словарный состав языка рассматривается как с и с т е м а з н а к о в (слово – знак предмета, явления реального мира). o Американский философ и логик Чарльз Пирс (1839 -1914), основатель с е м и о т и как науки, определял знак как нечто такое, зная которое, мы узнаем нечто большее. Всякая мысль – это знак и всякий знак – это мысль.
Семиотика – наука о знаках o Семиотика (от гр. σημειον – признак, знак) – наука о знаках. Наиболее существенное деление знаков – это деление на иконические знаки, индексы и символы.
Типы знаков o Иконический знак ( икона от гр. εικων образ) представляет собой отношение сходства или подобия между знаком и его объектом. Иконический знак построен на ассоциации по сходству. Это метафоры, образы (живописные изображения, фото, скульптура) и схемы (чертежи, диаграммы).
Типы знаков o Индекс (от лат. index - доносчик, указательный палец, заголовок) это знак, который относится к обозначаемому объекту благодаря тому, что объект реально воздействует на него. При этом значительного сходства с предметом нет. Индекс построен на ассоциации по смежности. Примеры: пулевое отверстие в стекле, буквенные символы в алгебре.
Типы знаков o Символ (от гр. Συμβολον - условный знак, сигнал) это единственный подлинный знак, так как не зависит от сходства или связи. Его связь с объектом условна, так как существует благодаря соглашению. Большинство слов в языке представляют собой символы.
Семантический треугольник
Семантический квадрат
Знаковая теория языка Ф. де Соссюра: основные понятия o Фердинанд де Соссюр (1957 -1913), великий швейцарский лингвист, оказавший огромное влияние на лингвистику XX века, предложил свою знаковую теорию языка. Основные положения этого учения: o Язык – это система знаков, выражающих понятия. o Язык можно сравнить с другими системами знаков, такими, например, как азбука для глухонемых, военные сигналы, формы учтивости, символические обряды, оперение самцов, запахи и т. д. Язык только наиважнейшая из этих систем. o Семиология – наука, изучающая системы знаков в жизни общества. o Лингвистика – часть этой общей науки. o Семиотика – cинонимичный термин для соссюровского слова семиология , более употребительный в современной лингвистике.
Знаковая теория языка Ф. де Соссюра: основные понятия o Языковой знак Согласно Ф. де Соссюру языковой знак – это не связь вещи и ее названия, а совокупность понятия и акустического образа. o Понятие – это обобщенный, схематичный образ предмета в нашем сознании, наиболее важные и характерные черты данного объекта, как бы определение предмета. Например, стул – это сиденье с опорой (ножками или ножкой) и спинкой. Понятие – означаемое (фр. signifié) o Акустический образ - это звуковой идеальный эквивалент звука в нашем сознании. Когда мы произносим слово про себя, не двигая губами и языком, мы воспроизводим акустический образ реального звука. Акустический образ – означающее (фр. signifiant).
Знаковая теория языка Ф. де Соссюра: основные понятия o Обе эти стороны знака имеют психическую сущность, т. е. идеальны и существуют только в нашем сознании. o Акустический образ по отношению к понятию в некоторой степени материален , так как он связан с реальным звуком. o Доводом в пользу идеальности знака служит то, что мы можем говорить сами с собой не двигая ни губами, ни языком, произносить звуки про себя. o Таким образом, з н а к – двусторонняя психическая сущность, состоящая из означаемого и означающего.
Компоненты процесса обозначения o Знаковая теория предполагает 4 компонента процесса обозначения. В нижеследующем примере участвуют следующие компоненты:
Компоненты процесса обозначения o 1. Денотат (референт) o 2. Понятие o 3. Акустический o 4. Воплощения
Разделы семиотики o Американский семиотик Чарльз Моррис (1901 -1979), последователь Чарльза Пирса, выделял три раздела семиотики: o Семантика (от гр. Σημα – знак) – отношения между знаком и предметом, обозначаемым им. o Синтактика (от гр. Συνταξις – строй, связь) – отношения между знаками. o Прагматика (от гр. πραγμα – дело, действие) – отношения между знаками и теми, кто использует эти знаки (субъектами и адресатами речи). o Некоторые системы знаков: семафорная азбука, принятая на флоте; знаки Зодиака и др.
Денотативное и коннотативное значение языкового знака o Д е н о т а т и в н о ( ٭ референциальное) значение – е применительно к слову – отображение обозначаемого этим словом предмета или явления действительности; применительно к высказыванию – отображение предметной ситуации. Делает возможной коммуникацию. o Р е ф е р е н ц и а л ь н о е ٭ значение – отношение между знаком и предметом, обозначаемым данным знаком. ٭ Денотат (то же, что референт) – предмет или явление, обозначаемое лексической единицей, словосочетанием.
Денотативное и коннотативное значение языкового знака o К о н н о т а т и в н о е ( ٭ прагматическое) значение – созначение, сопутствующее основному денотативному значению и определяемое функционально-стилисти- ческой и эмоциональной окраской языкового выражения. o П р а г м а т и ч е с к о е значение – специфическое восприятие заключённой в языковом высказывании информации со стороны различных получателей и групп получателей. Прагматическое значение определяется прагматическими отношениями (в семиотике отношения между знаками и лицами, использующими ту или иную знаковую систему).
Коннотация, типы коннотаций o Коннотация – добавочное значение (дополнительное содержание, окраска, окрашенность) слова (или выражения), его сопутствующие стилистические оттенки, которые накладываются на его основное значение, служат для выражения разного рода экспрессивно- эмоционально-оценочных обертонов, которые могут придавать высказыванию торжественность, игривость, непринуждённость, фамильярность и т. д.
Типы коннотаций: o Стилистическая ( stylistic ) – компонент значения, отражающий характер ситуации, в которой употребляется данное слово (официальный, фамильярный), этические условия общения (вежливые, грубые), цель коммуникации (научная, художественная, официально-деловая), например: slay (poetic) ÷ kill (neutral) ÷ do in (slang) o Эмоциональная (emotional and affective), например: mammy ÷ mother o Оценочная – выражает одобрение или неодобрение, например: group ÷ clique o Градуальная – выражает степень (качества и т. д. ), например: big ÷ tremendous ÷ great ÷ colossal; worship ÷ adore ÷ love ÷ like
Прямое и переносное значения o Слово может иметь прямое и переносное значение. o В п р я м о м значении слово является названием того предмета или явления, с которым оно соотнесено в своём логическом значении ( head голова , heart сердце , green зелёный). o П е р е н о с н о е значение основано на переносе слова как названия с одного предмета на другой предмет, явление, действие либо на основании какого-либо сходства, либо реальной связи между предметами, явлениями и т. д. o Основные виды переноса наименования – м е т а ф о р а и м е т о н и м и я.
Сочетание слов в речи o Одни слова могут сочетаться с большим числом слов: to have и good сочетаются почти с любым существительным. o Другие – ограничены в своей способности сочетаться с другими словами: to moo (a cow moos), moony (a moony night). o High mountains, но a tall man. o Будучи употреблено в необычном сочетании, слово приобретает переносное значение. Например: He could not speak, he only mooed. Он не мог говорить он только мычал.
Грамматическое значение o Каждое слово относится к определённой части речи и изменяется в соответствии с категориями (парадигмами), характерными для данной части речи (например, числа и падежа имени существительного; степеней сравнения прилагательного). o Принадлежность слова к той или иной части речи определяется совокупностью трёх его особенностей: типом выражаемого им понятия, присущими ему грамматическими категориями и его синтаксическими функциями в предложении.
Знаменательные и служебные части речи o Слова, имеющие предметно-вещественное содержание и являющиеся названиями предметов или явлений, качеств, действий, составляют з н а м е н а т е л ь н е части ы речи, тогда как слова, осуществляющие связь между словами, являются с л у ж е б н ы м и частями речи. o Знаменательные части речи имеют определённые синтаксические функции и выполняют роль членов предложения.
Вывод o Слово, таким образам, многогранно и представляет единство нескольких сторон: звуковой – так как имеет определённый звуковой состав, семантической – так как обладает значением, и грамматической – так как всегда является так или иначе грамматически оформленным.
Контекст и значение слова o В связной речи в процессе языкового общения слова выступают в окружении других слов. Словесное окружение, в котором употребляется слово, называется контекстом. Контекст конкретизирует и уточняет значение слова. o Именно в контексте слово выявляет своё значение и свои оттенки значения. Контекст может изменять значение слова, придавать ему новые значения и новые оттенки значения. Таким образом, значение слова определяется и обусловливается контекстом.
Семантический или смысловой анализ текста — одна из ключевых проблем как теории создания систем искусственного интеллекта, относящаяся к обработке естественного языка (Natural Language Processsing, NLP), так и компьютерной лингвистики.
Результаты семантического анализа могут применяться для решения задач в таких областях как психиатрия, политология, торговля, филология, поисковые системы, системы автоматического перевода и т.д.
В этой статье мы разберем, как поисковые системы извлекают из запроса его семантическое значение, метод TF-IDF и закон Ципфа. В первой части статьи вы можете узнать про основной способ обработки языка Bag-of-words, как поисковая система понимает отдельные слова и предложения и находит соответствующий документ. Читайте и становитесь настоящим гуру поисковой оптимизации.
TF-IDF и закон Ципфа
Проверка по закону Ципфа — это метод распределения частоты слов естественного языка: если все слова языка (или просто достаточно длинного текста) упорядочить по убыванию частоты их использования, то частота n-го слова в таком списке окажется приблизительно обратно пропорциональной его порядковому номеру n (так называемому рангу этого слова). Например, второе по используемости слово встречается примерно в два раза реже, чем первое, третье — в три раза реже, чем первое, и так далее. Наиболее часто используемые 18% слов (приблизительно) составляют более 80% объема всего текста.
Самые популярные слова будут отображаться в большинстве документов. В результате такие слова усложняют подбор текстов, представленных с помощью модели мешка слов. Кроме того, самые популярные слова часто являются функциональными словами без смыслового значения. Они не несут в себе смысл текста.
Мы можем применить статистическую меру TF-IDF (частота слова — обратная частота документа), чтобы уменьшить вес слов, которые часто используются в тексте и не несут в себе смысловой нагрузки. Показатель TF-IDF рассчитывается по следующей формуле:
- tfi,j — частота слова в тексте
- dfj — количество документов, содержащих текст с данным словом
- N — общее количество документов
Что нужно знать SEO-специалисту
Семантические слова
Семантический поиск стал ключевым словом в SEO сообществе с 2013 года. Семантический поиск — это поиск со смыслом, в отличие от лексического поиска, где поисковая система ищет буквальные совпадения слов или вариантов запроса, не понимая общего значения запроса.
Приведем простой пример. Вводим запрос в Яндекс или Google — пьяный на новый год перепутал квартиру фильм. Результаты выдачи можете увидеть на фото.
Но как поисковая система может понять значение слова или смысл поискового запроса? Или как мы должны указать значение слова, чтобы компьютерная программа могла понять и практически использовать его в выдаче документов?Ключевой концепцией, которая помогает ответить на эти вопросы, является дистрибутивный анализ. Она была впервые сформулирована еще в 1950-х годах. Лингвисты заметили, что слова с похожим значением имеют тенденцию встречаться в одной и той же среде (то есть рядом с одними и теми же словами), причем количество различий в значении между двумя словами примерно соответствует разнице в их LSI-фразе.
- Лангустины считаются деликатесом.
- У лангустинов белое мясо в хвосте и на теле, сочное, слегка сладкое и постное.
- При выборе лангустинов мы обращаем внимание на полупрозрачный оранжевый цвет.
- Креветки — это лакомство, которое хорошо сочетается с белым вином и соусом.
- Нежное мясо креветки можно добавить к пасте.
- При варке креветки меняют свой цвет на красный.
Тот факт, что лангустин встречается с такими словами, как деликатес, мясо и макароны, может указывать на то, что он является своего рода съедобным ракообразным, в чем-то похожим на креветок. Таким образом, можно определить слово по среде, в которой оно встречается и по множеству контекстов.
Каждое слово и его семантическое значение представлены вектором. Семантические свойства каждого слова определяются его соседями, то есть типичными контекстами, в которых оно встречается. Такая модель может легко уловить синонимию и родственность слов. Векторы двух одинаковых слов будут проходить рядом. Векторы слов, которые появляются в одном и том же тематическом поле, будут образовывать кластеры.
В семантическом поиске нет магии. Концептуальное различие заключается в том, что слова представляются в виде векторных вложений, а не лексических элементов.
Что нужно знать SEO-специалисту
Компьютерная лингвистика — это увлекательная и быстро развивающаяся наука. Концепции, представленные в этой статье, не новы и не революционны. Однако они довольно просты и помогают получить общее представление о проблемном поле.
Читайте также: