Как узнать какие продукты мне не подходят

Как следует из определения, диаграмма рассеяния - это набор точек, который показывает значения двух переменных. Мы можем попытаться построить диаграмму рассеяния для двух переменных из нашего набора данных о жилищном строительстве.

 fig, ax = plt.subplots (figsize = (16,8)) 
 ax.scatter (boston_df ['INDUS'], boston_df ['TAX']) 
 ax.set_xlabel ('Доля акров, не связанных с розничной торговлей на город ') 
 ax.set_ylabel (' Полная ставка налога на имущество на $ 10 000 ') 
 plt.show () 

На графике выше мы видим, что большинство точек данных находятся внизу слева, но есть точки, которые далеки от населения, например, в правом верхнем углу.

Обнаружение выбросов с помощью математической функции

Z-Score-

Определение Википедии

Z-score - это стандартное отклонение со знаком, на которое значение наблюдения или точки данных превышает среднее значение того, что наблюдается или измеряется.

Интуиция, стоящая за Z-оценкой, заключается в описании любой точки данных путем нахождения их взаимосвязи со стандартным отклонением и средним значением группы точек данных.Z-оценка находит распределение данных, где среднее значение равно 0, а стандартное отклонение равно 1, то есть нормальное распределение.

Вам должно быть интересно, как это помогает в идентификации выбросов? Что ж, при вычислении Z-показателя мы повторно масштабируем и центрируем данные и ищем точки данных, которые слишком далеки от нуля. Эти точки данных, которые слишком далеки от нуля, будут рассматриваться как выбросы. В большинстве случаев используется порог 3 или -3, то есть, если значение Z-оценки больше или меньше 3 или -3 соответственно, эта точка данных будет идентифицирована как выбросы.

Мы будем использовать функцию Z-score, определенную в библиотеке scipy, для обнаружения выбросов.

 из scipy import stats 
 import numpy as npz = np.abs (stats.zscore (boston_df)) 
 print (z) 

Глядя на приведенный выше код и выходные данные, трудно сказать какая точка данных является выбросом. Давайте попробуем определить порог для выявления выброса.

 порог = 3 
 печать (np.where (z> 3)) 

Это даст результат, как показано ниже -

Результаты не могут вас смутить.Первый массив содержит список номеров строк, а второй массив номеров соответствующих столбцов, что означает, что z [55] [1] имеют Z-оценку выше 3.

 print (z [55] [1]) 3.375038763517309 

Итак , точка данных - 55-я запись в столбце ZN является выбросом.

Оценка IQR -

График прямоугольной формы использует метод IQR для отображения данных и выбросов (форма данных), но для того, чтобы получить список идентифицированных выбросов, нам нужно будет использовать математическую формулу и получить выброс данные.

Определение Википедии

Межквартильный диапазон ( IQR ), также называемый средним или средний 50% , или технически H-разброс , является мерой статистической дисперсии, равной разница между 75-м и 25-м процентилями или между верхним и нижним квартилями, IQR = Q 3 - Q 1.

Другими словами, IQR - это первый квартиль, вычитаемый из третьего квартиля; эти квартили можно четко увидеть на прямоугольной диаграмме данных.

Это мера дисперсии, аналогичная стандартному отклонению или дисперсии, но гораздо более устойчивая к выбросам.

IQR в чем-то похож на Z-оценку с точки зрения определения распределения данных и последующего сохранения некоторого порога для выявления выброса.

Давайте выясним, что мы можем использовать коробчатый график с использованием IQR и как мы можем использовать его для поиска списка выбросов, как мы это делали при вычислении Z-показателя. Сначала мы рассчитаем IQR,

 Q1 = boston_df_o1.quantile (0.25) 
 Q3 = boston_df_o1.quantile (0,75) 
 IQR = Q3 - Q1 
 print (IQR) 

Здесь мы получим IQR для каждого столбца.

Поскольку теперь у нас есть оценки IQR, пора зафиксировать выбросы. Приведенный ниже код даст результат с некоторыми истинными и ложными значениями. Точка данных, где у нас есть False, означает, что эти значения действительны, тогда как True указывает на наличие выброса.

 print (boston_df_o1 <(Q1 - 1.5 * IQR)) | (boston_df_o1> (Q3 + 1.5 * IQR)) 

Теперь, когда мы знаем, как обнаруживать выбросы, важно понимать, нужны ли они быть удаленным или исправленным.В следующем разделе мы рассмотрим несколько методов удаления выбросов и, при необходимости, подстановки новых значений.

Во время анализа данных, когда вы обнаруживаете выброс, одним из самых сложных решений может быть то, как поступить с выбросом. Должны ли они их удалить или исправить? Прежде чем мы поговорим об этом, мы рассмотрим несколько методов удаления выбросов.

Z-Score

В предыдущем разделе мы видели, как можно обнаружить выбросы, используя Z-оценку, но теперь мы хотим удалить или отфильтровать выбросы и получить чистые данные.Это можно сделать с помощью всего одного строчного кода, поскольку мы уже рассчитали Z-оценку.

 boston_df_o = boston_df_o [(z <3) .all (axis = 1)] 

Итак, приведенный выше код удалил около 90+ строк из набора данных, т.е. выбросы были удалены.

Оценка IQR -

Так же, как Z-оценка, мы можем использовать ранее рассчитанную оценку IQR, чтобы отфильтровать выбросы, сохраняя только действительные значения.

 boston_df_out = boston_df_o1 [~ ((boston_df_o1 <(Q1 - 1.5 * IQR)) | (boston_df_o1> (Q3 + 1.5 * IQR))). Any (axis = 1)] boston_df_out.shape 

Приведенный выше код удалит выбросы из набора данных.

Существует несколько способов обнаружения и удаления выбросов, но методы, которые мы использовали для этого упражнения, широко используются и просты для понимания.

Следует ли удалять выбросы. Эти мысли могут возникать у каждого аналитика / специалиста по данным хоть раз при каждой проблеме, над которой он работает. Я нашел несколько хороших объяснений -

https: // www.researchgate.net/post/When_is_it_justifiable_to_exclude_outlier_data_points_from_statistical_analyses

https://www.researchgate.net/post/Which_is_the_best_method_for_removing_outliers_in_a_best_method_for_removing_outliers_in_a_a_data_set 9000-data_set 9000-data_set

000-data_set 9000-0003

Подводя итог их объяснения - неверные данные, неправильный расчет, их можно определить как выбросы, и их следует отбросить, но в то же время вы можете захотеть исправить и их, поскольку они изменяют уровень данных i.е. означают, что вызывает проблемы при моделировании данных. Например, 5 человек получают зарплату 10К, 20К, 30К, 40К и 50К, и вдруг один из них начинает получать зарплату 100К. Рассмотрим эту ситуацию, поскольку, если вы являетесь работодателем, новое обновление зарплаты может быть воспринято как необъективное, и вам может потребоваться увеличить зарплату и другим сотрудникам, чтобы сохранить баланс. Итак, может быть несколько причин, по которым вы хотите понять и исправить выбросы.

На протяжении этого упражнения мы видели, как на этапе анализа данных можно столкнуться с некоторыми необычными данными i.е выброс. Мы узнали о методах, которые можно использовать для обнаружения и удаления этих выбросов. Но был поднят вопрос о том, можно ли удалить выбросы. Чтобы ответить на эти вопросы, мы нашли дополнительные материалы для чтения (эти ссылки упоминаются в предыдущем разделе). Надеюсь, этот пост помог читателям узнать о выбросах.

Note- Для этого упражнения использовались инструменты и библиотеки, указанные ниже.

Framework- Jupyter Notebook, Language- Python, Libraries - библиотека sklearn, Numpy, Panda и Scipy, Plot Lib- Seaborn и Matplot.

1. Boston Dataset
2. Github Repo
3. Выбросы KDNuggets
4. Обнаружение выбросов

.

php - Как узнать, какая страница отправляет данные формы $ _POST?

Переполнение стека

1. Около
2. Продукты
3. Для команд

1. Переполнение стека Общественные вопросы и ответы
2. Переполнение стека для команд Где разработчики и техно

.

Примеры вопросов и ответов | Prospects.ac.uk

Поначалу более сложные вопросы по форме заявки могут показаться пугающими, но с некоторой практикой вы сможете узнать, как убедиться, что ваши ответы произведут впечатление на рекрутеров. как ваши личные данные или историю образования. Другие разделы потребуют от вас немного большей работы.

Вас могут попросить написать личное заявление или задать вопросы, основанные на компетенции.Они требуют, чтобы вы обсудили конкретные моменты, когда вы продемонстрировали необходимые навыки и качества для данной должности, со ссылкой на описание должности и спецификацию человека, указанную в объявлении.

Чтобы получить дополнительную информацию о заполнении формы и о том, что включить, узнайте, как написать успешное заявление о приеме на работу.

Хотя точные формулировки вопросов могут различаться в разных формах заявления о приеме на работу, они, как правило, затрагивают схожие основания. Вот десять типичных вопросов и ответов, которые помогут вам.

Почему вы хотите здесь работать?

Работодатель пытается выяснить ваши мотивы и серьезно ли вы рассмотрели свое заявление. Вам нужно показать, что вы провели исследование и точно понимаете, что влечет за собой работа. Объясните, как это вписывается в ваши долгосрочные карьерные планы.

Пример ответа:

Ваша компания выделялась, когда я исследовал ведущие производители электроники в стране. Мне известно о вашей приверженности разработке инновационных потребительских товаров, и я считаю, что эта должность идеально подходит, учитывая мой большой дизайнерский опыт.

Как вы думаете, почему вы подходите на эту роль?

Вам необходимо описать, насколько ваши навыки, знания и опыт соответствуют плану работы, а также объяснить вашу мотивацию и цели.

Пример ответа:

Я всегда хотел работать дизайнером выставок в музее, который принимает культурные изменения и дает посетителям чувственный опыт. Моя степень помогла мне развить ключевые художественные и организаторские навыки, а опыт, который я получил от работы в моем местном музее, стал идеальной подготовкой к карьере в этой области.Я был бы рад возможности стать частью команды, которая работает над концепциями ваших предстоящих выставок и коллекций.

Кратко опишите ваши соответствующие навыки и опыт

Даже если у вас не было прямого опыта, вы все равно можете выделить любые передаваемые навыки, относящиеся к должности. Превратите свой ответ в положительный, дав понять, что вам нужна работа, чтобы получить опыт в этой области.

Пример ответа:

Хотя у меня еще не было возможности получить опыт работы в рекламном агентстве, я уже создал концепции высокого уровня, которые использовались ведущими брендами, такими как Marks & Spencer.В университете я был копирайтером для ряда маркетинговых кампаний студенческих союзов и вызвал интерес к своей работе через свой веб-сайт, который я разработал сам.

Приведите пример, когда вы работали под давлением

Вам нужно доказать, что вы успешно справлялись с дедлайнами в прошлом. Опишите, как вы преодолевали препятствия, которые не могли контролировать.

Пример ответа:

Во время стажировки в прошлом году я столкнулся с различными противоречивыми требованиями относительно своего времени из-за того, что моя роль была межведомственной.В одну конкретную неделю давление действительно грозило стать непреодолимым, поскольку многие ключевые сотрудники заболели. Однако это позволило мне показать, что я могу принять вызов. Я покинул компанию с похвалой от моих коллег, поскольку я всегда выкладывался, несмотря ни на что.

Какое ваше самое большое достижение?

Выберите что-нибудь за пределами академической жизни, имеющее особое значение для вас. Это оценка вашего отношения и мотивации, чтобы выяснить, совместимы ли ваши ценности с ценностями организации.

Пример ответа:

Когда у моей матери в прошлом году диагностировали серьезное заболевание, это, очевидно, было травмирующим и напряженным временем для всей семьи. Несмотря на то, что я не занимался спортом со школы, я решил записаться на пробежку и собрать деньги, чтобы повысить осведомленность о болезни. Я много месяцев тренировался и придерживался строгого режима питания. Мне удалось собрать почти 3000 фунтов стерлингов на благотворительность и финишировать в гонке за время, о котором я даже не мог мечтать.

Приведите пример того, как вы внесли положительный вклад в команду и каков был результат.

Работодатель проверяет, есть ли у вас опыт работы в сплоченной командной среде. Опишите сценарий, в котором вам пришлось задействовать сильные стороны и качества, чтобы выполнить групповое задание. Объясните вашу конкретную роль, как преодолевались слабости и чему вы научились.

Пример ответа:

Во время моей работы в университетском кинематографическом обществе мы решили провести серию семинаров для местного сообщества.Моя роль заключалась в планировании повседневной деятельности, чтобы в интенсивный курс было включено все, что мы хотели включить. Несмотря на то, что некоторые задачи были перевыполнены, мероприятие имело оглушительный успех, и участники отметили, насколько хорошо оно было организовано.

Опишите случай, когда вам пришлось передать сложную информацию.

Это проверка вашей способности эффективно анализировать сложную информацию и передавать ее так, чтобы аудитория могла понять. Установите сцену и пошагово опишите свой мыслительный процесс.

Пример ответа:

В моем научно-исследовательском проекте я должен был представить идеи, лежащие в основе моего мышления, остальной части класса. Хотя презентации в университете были обычным делом, это было особенно сложное предложение. Мне нужно было отфильтровать соответствующую информацию и резюмировать свою работу, представив ее на уровне, который другие студенты могли бы оценить и понять.

Какая самая большая проблема, с которой вы столкнулись, и как вы с ней справились?

Работодатель будет стремиться узнать о вашем отношении к вызовам, а также о вашей способности решать проблемы и преодолевать препятствия, поэтому вам необходимо предоставить убедительный пример, демонстрирующий вашу способность адаптироваться в этой области.

Пример ответа:

На моей летней работе в загруженном отделе послепродажного обслуживания мне неизбежно приходилось иметь дело с некоторыми жесткими клиентами. Это была моя первая настоящая работа, и мне пришлось научиться успешно вести переговоры и взаимодействовать со многими людьми в течение рабочего дня. Во многих случаях я был единственным сотрудником, работающим за столом, поэтому мне приходилось справляться с давлением, которое требовала эта роль. Теперь я чувствую, что лучше подготовлен, чтобы справиться с любыми трудностями, которые встречаются на моем пути.

Каковы ваши самые сильные и слабые стороны?

Описание ваших сильных сторон может быть более естественным, но когда дело доходит до ваших слабых сторон, важно быть честным и раскрыть то, что вы действительно хотите улучшить. Ваши ответы должны быть хорошо продуманы и адаптированы к той должности, на которую вы претендуете. Покажите им, что вы активно стремитесь учиться и расти.

Пример ответа:

Я целеустремленный человек, который много работает для достижения своих целей.Способность преодолевать препятствия и доводить дело до конца всегда была моей сильной стороной, поэтому мне удалось преуспеть в таком конкурентоспособном предмете. Однако я знаю, что как перфекционист мои навыки делегирования можно улучшить. Я приветствовал бы обучение управлению конфликтами, а также любые другие возможности для развития в этой области.

Обсудите случай, когда вам не удалось завершить проект в срок.

Ваш ответ должен адекватно обосновывать причины пропуска крайнего срока.Хотя есть разные способы подойти к этому, вам нужно дать хорошее объяснение и продемонстрировать, что вы извлекли уроки из этой неудачи. Работодатель хочет определить, сможете ли вы эффективно распоряжаться своим временем в будущем.

Пример ответа:

В первый год мне не удалось сдать задание по истории вовремя, так как я недооценил, сколько времени потребуется для завершения проекта. Я увлекся сбором информации и оставил рецензию на последнюю минуту.Я потерял оценки в своей последней оценке, но, к счастью, все же смог пройти год. С тех пор этого никогда не происходило, поскольку я уделял достаточно времени каждой задаче. Я, безусловно, извлек из этого ценный урок.

Пожалуйста, предоставьте дополнительную информацию в поддержку вашего приложения.

Обычно оно помещается в конце формы и похоже на личное заявление, что делает его одним из самых важных разделов для правильного понимания. Для вас это возможность показать работодателю, почему вы лучший кандидат на эту работу.Вам нужно будет напрямую соотнести свои навыки с теми, которые указаны в описании должности.

Прежде чем приступить к этому разделу, узнайте больше о том, какие навыки хотят получить работодатели.

Узнать больше

Написано Рэйчел Суэйн, редакционным менеджером

Перспективы · Май 2019

Вам также могут понравиться…

.

---

Смотрите также

• 
  Какие продукты очищают кровь от токсинов
• 
  Какие продукты исключить при крапивнице
• 
  Памятка в каких продуктах живут витамины
• 
  Какими продуктами можно отравиться
• 
  Продукты содержащие много фосфора
• 
  На какую сторону фольги класть продукты
• 
  Используя дополнительные источники информации выясните какие продукты
• 
  Продукты содержащие вальпроевую кислоту
• 
  Какие продукты уменьшают холестерин в крови
• 
  Употребление каких продуктов питания расширяет защитные
• 
  Продукты с малым содержанием углеводов таблица